Azure Data Factory

wat is azure data factory?

Azure Data Factory is een Cloud data-integratiedienst waarmee organisaties gegevens kunnen verzamelen, transformeren en laden vanuit diverse bronnen naar bestemmingen zoals databases, datawarehouses, datalakes en lakehouses. Het stelt gebruikers in staat om end-to-end data workflows te ontwerpen en te beheren, inclusief het plannen, orchestreren en bewaken van gegevensverwerkingsactiviteiten.

applicatie-integratie versus data-integratie.

Voordat we dieper ingaan op de onderdelen van Azure Data Factory, is het belangrijk om het verschil tussen applicatie-integratie en data-integratie te begrijpen.

Applicatie-integratie is het verbinden van verschillende applicaties om data met elkaar te delen. Dit omvat het real-time uitwisselen van berichten, het synchroniseren van gegevens en het coördineren van bedrijfsprocessen tussen applicaties.

Data-integratie richt zich op het verzamelen, transformeren en laden van gegevens vanuit diverse bronnen naar een centrale omgeving voor opslag en analyse. Hiervoor moet data uit diverse systemen gehaald worden, getransformeerd worden naar het juiste formaat en ingeladen in het doel systeem. Meestal hebben we het hier over zogenaamde ETLs & ELTs (Extract, Load, Transform).

Azure Data Factory richt zich vooral op data-integratie en biedt een reeks tools en mogelijkheden om data workflows te ontwerpen en uit te voeren.

componenten van azure data factory.

Data Pipelines en Data Flows vormen de basis van Azure Data Factory, waarmee data integraties kunnen worden gemaakt en beheerd.

data pipelines.

Pipelines in Azure Data Factory stellen gebruikers in staat om data integraties te orchestreren en te plannen, waardoor complexe workflows kunnen worden gemaakt en beheerd.

Een pipeline in Azure Data Factory is een logische verzameling van activiteiten die worden gebruikt om gegevens van de ene bron naar de andere te verplaatsen, te transformeren en te laden. Het biedt een visuele interface waarmee gebruikers data workflows kunnen samenstellen door activiteiten te configureren en te verbinden.

De belangrijkste kenmerken en voordelen van ADF pipelines zijn onder andere:

1. Visuele (low code) interface: Met de low code interface van Azure Data Factory kun je pipelines samenstellen door activiteiten te slepen en neer te zetten. Vervolgens kunnen deze activiteiten gekoppeld en geconfigureerd worden. Dit vereenvoudigt het ontwikkelingsproces en maakt het gemakkelijk om je datastromen te begrijpen.
2. Breed scala aan standaard connectoren: Azure Data Factory heeft een uitgebreide set standaard connectoren voor populaire services en systemen. Dit betekent dat je gemakkelijk gegevens kunt uitwisselen met diverse bronnen en bestemmingen, zoals databases, cloudopslag, SaaS-applicaties en meer. Hierdoor kun je snel starten met het integreren van je data, zonder dat je je zorgen hoeft te maken over complexe details.
3. Triggers voor geautomatiseerde verwerking: Met Azure Data Factory kun je triggers instellen om pipelines automatisch te starten op basis van gebeurtenissen, tijdsschema's of externe signalen.
4. Monitoring en beheer: Azure Data Factory biedt uitgebreide monitoring- en beheermogelijkheden om de prestaties van je pipelines te volgen en problemen te identificeren. Je kunt de status van je data workflows controleren, fouten en waarschuwingen ontvangen en gedetailleerde logs analyseren. Dit helpt je bij het optimaliseren van je gegevensverwerking en het proactief oplossen van eventuele problemen.
5. On-premises en cloudintegratie: Met Azure Data Factory kun je naadloze integratie realiseren tussen on-premises en cloudomgevingen. Dit kan worden bereikt door het installeren van een 'self-hosted integration runtime' binnen je lokale netwerk of door gebruik te maken van diverse Azure VPN-diensten.

Kortom, ADF pipelines is een essentieel onderdeel van Azure Data Factory waarmee gebruikers data integraties kunnen ontwerpen, beheren en uitvoeren. Het biedt een intuïtieve ontwerpinterface, gegevensbeweging en -transformatie, orkestratie en planning, flexibiliteit en herbruikbaarheid, evenals uitgebreide monitoring- en beheermogelijkheden.

data flows.

Naast pipelines biedt Azure Data Factory ook een krachtige functie genaamd Data Flows. Met Data Flows kunnen gebruikers gegevenstransformaties ontwerpen en uitvoeren op schaal, zonder dat er codering nodig is.

ADF Data Flows maakt ook gebruik van een visuele (low-code) interface. In deze interface kun je transformatie-, validatie- en aggregatiestappen toe voegen om gegevens te manipuleren. Hierdoor wordt het proces van gegevenstransformatie vereenvoudigd en versneld, zelfs voor gebruikers zonder uitgebreide programmeerkennis.

De voordelen van ADF Data Flows zijn onder andere:

1. Eenvoudige (low code) interface: De Data Flow Editor biedt een intuïtieve interface waarmee je transformaties kunt ontwerpen door eenvoudig de gewenste stappen toe te voegen en te configureren.
2. Schaalbaarheid: ADF Data Flows is ontworpen om te werken met grote hoeveelheden gegevens. Het kan automatisch schalen om parallelle gegevensverwerking mogelijk te maken, waardoor het snel en efficiënt de meeste veeleisende datasets kan verwerken.
3. Herbruikbaarheid en modulariteit: Met ADF Data Flows kunnen gebruikers transformatiestappen opnieuw gebruiken in verschillende Pipelines, waardoor de ontwikkeltijd wordt verkort en de consistentie vergroot.
4. Datavalidatie: Met ADF Data Flows kunnen gebruikers met een Data Assert transformatie regels instellen waaraan data moet voldoen. Hierdoor kan de kwaliteit van de data gewaarborgd worden. Niet alleen kunnen validaties op regelniveau worden ingesteld, maar ook kan gecontroleerd worden op dubbele waarden in een dataset. Bij fouten kunnen acties worden uitgevoerd, waardoor de integraties proactief gemonitord kunnen worden.
5. Debugging en weergeven van data: ADF Data Flows biedt ingebouwde mogelijkheden om live te debuggen en je data te bekijken in iedere stap van het proces. Hierdoor kun je nauwkeuriger en efficiënter ontwikkelen.

azure synapse analytics & microsoft fabric.

Twee andere producten binnen het Microsoft-ecosysteem die we moeten noemen zijn Azure Synapse Analytics en Microsoft Fabric.

azure synapse analytics.

Azure Synapse Analytics is een geïntegreerde analytics-service die al je datavragen in een gecombineerd product samenbrengt. Dit betekent dat ADF een onderdeel is van Synapse, dat wordt aangeduid als de Synapse Data Pipelines & Synapse Data Flows.

Naast de features van ADF biedt Synapse de volgende componenten in een geïntegreerde oplossing:

• SQL-databases maken en beheren
• Apache Spark notebooks gebruiken voor analyse, transformatie en het trainen van AI modellen
• Power BI rapportages maken

Dit maakt Synapse een mooie oplossing voor business gebruikers, data scientist en data engineers.

microsoft fabric.

Microsoft Fabric is de nieuwste oplossing die Microsoft heeft aangekondigd tijdens het jaarlijks Microsoft Build event in 2023. Dit is momenteel in preview en is een evolutie van de mogelijkheden die Synapse biedt.

In Microsoft Fabric vinden we wederom Data Factory terug met veel van de features zoals we die kennen.

verschillen tussen azure synapse analytics & microsoft fabric.

De grootste verschillen tussen Synapse & Microsoft Fabric zijn:

1. OneLake: In OneLake wordt alle data van de gehele organisatie opgeslagen. OneLake is de OneDrive voor data. Dit betekent dat je eenvoudig je data kunt delen en dat deze is opgeslagen in een open standaard. Het doel van OneLake is het elimineren van onnodige data verplaatsing.
2. SaaS: Microsoft Fabric is een SaaS-dienst, zoals Office365 & Power Automate. Dit betekent dat je binnen 5 minuten aan de slag kunt en dat je zelf geen (Azure) resources hoeft aan te maken. Bovendien is de kostenstructuur transparanter doordat je niet voor alle afzonderlijke diensten hoeft te betalen, maar 1 gecombineerde prijs betaalt.
3. AI (GPT-4): In Fabric kun je chats gespreken voeren met copilot, deze kan je helpen met het maken van PowerBI rapportages en vragen beantwoorden over je data.