Azure Data Factory (ADF) is een gegevensintegratieservice en valt onder een van de Azure services die Microsoft aanbiedt.
Microsoft heeft met ADF vier pijlers waar het zich op richt.
- Gebruiksvriendelijk (low-code)
- Goedkoop (op elk moment schaalbaar naar een lager of hoger serviceniveau, en betaling per gebruik)
- Krachtig (meer dan 90 ingebouwde connectoren)
- Intelligent (Data bekijken voor je het hebt geladen, automatisch op- en afschalen)
Hieronder worden deze pijlers verder uitgelegd.
Met ADF stelt Microsoft je in staat om data te laten bewegen tussen databases, zogenoemde Extract – Transform – Load (ETL) processen. Deze ETL-processen heten in ADF ‘pipelines’. Deze pipelines zijn in ADF op een low-code manier te ontwerpen, dit betekent dat je al met weinig kennis van programmeren of coderen een ETL-proces kunt inrichten om je data te ontsluiten.
ADF is gemakkelijk in het Azure Portal te schalen naar een hoger of lager serviceniveau, maar dit valt ook te automatiseren, waarbij je bij een zware query meer kracht kunt verwachten van ADF, en bij gemakkelijke queries, minder vermogen verbruikt.
ADF heeft vele standaard connectoren waarmee het kan verbinden en ondersteunt API’s, dit maakt ADF een handige tool om gemakkelijk je ETL-processen te orkestreren.
ADF werkt naadloos samen met vele andere Microsoft producten, zoals Power BI, Power Automate, SSIS, Azure SQL database, Dynamics en vele andere Azure services.
Als je bijvoorbeeld al veel SSIS-packages gemaakt hebt, en deze logica wil overnemen in ADF, dan kun je gebruik maken van een zogeheten SSIS-Runtime integratie. Deze SSIS-packages kunnen gebruikt worden in ADF naast je nieuwe pipelines.
Het onderhoud van pipelines kan, met een snel veranderend gegevenslandschap, veel tijd in beslag nemen. Met ADF kun je niet alleen de pipeline uitvoeringen visueel bekijken, maar je kunt ook notificaties instellen bij een fout gelopen pipeline zodat je tijdig op de hoogte wordt gesteld om gerelateerde problemen op te lossen.
ADF is standaard beschikbaar in Azure Synapse Analytics, benieuwd hiernaar? Lees dan dit artikel en bekijk het webinar over Azure Synapse Analytics via deze link.
Ben je nieuwsgierig geworden naar de mogelijkheden van Azure Data Factory voor jouw organisatie?
Neem gerust contact op met een van onze experts.
