Azure Synapse Analytics
De Azure cloud bevat een groot aantal services die je in staat stellen om waarde uit data te halen. Denk hierbij aan het verwerken van data voor rapportages, het ontwikkelen van voorspellende modellen of het aansluiten van sensoren voor operationele processen en analyses. Voor alle scenario’s heb je verschillende data services nodig in Azure. Met de komst van Azure Synapse Analytics zijn een groot deel van benodigde data services samengevoegd in één studio. Hiermee behaal je optimale beheersbaarheid, flexibiliteit en schaalbaarheid. Ook het ontwikkelen van programmatuur zal sneller gaan vanuit deze integrale oplossing, wat ook de overdracht naar collega’s versneld.
Azure Synapse Analytics helpt jouw organisatie om meer waarde uit data te halen terwijl je in control blijft. Hoe dat precies zit, lees je hieronder!
Wat is Azure Synapse nu eigenlijk?
Azure Synapse biedt een uniforme ervaring die dataverwerking, oftewel gegevensintegratie, big data-analyse, datawarehousing en data visualisatie samenbrengt op een schaalbare manier in de Cloud. In plaats van een veelvoud aan services samen te voegen of een silo-puntoplossing te creëren voor slechts een van deze drie gebieden, biedt Synapse dit aan vanuit één studio. Doordat er vanuit één studio gewerkt wordt zijn zaken zoals het beveiligen van pipelines en het beheren van toegang voor ontwikkelaars veel efficiënter en beter beheersbaar.
Figuur 1: Azure Synapse Overview
De kracht van Azure Synapse Studio
Synapse Studio is de web-native ervaring die alles op één locatie samenbrengt, zodat je in een logische workflow elke taak kunt uitvoeren die je nodig hebt om een complete oplossing te bouwen, zonder constant te wisselen tussen verschillende applicaties of browsers. In de Synapse Studio herken je als Azure Engineer veel functionaliteiten, omdat er in Synapse gebruikt wordt gemaakt van bekende data services zoals Azure Data Factory.
Figuur 2: Azure Synapse Studio
SQL Pool
Azure Synapse is in eerste instantie ontstaan vanuit Azure SQL Datawarehouse (Dedicated SQL Pool), de MPP (massively parallel processing) database, vergelijkbaar met andere op kolommen gebaseerde scale-out databasetechnologieën zoals Snowflake, Amazon Redshift en Google BigQuery. Voor de eindgebruiker gedraagt ​​een Dedicated SQL Pool zich net als traditionele SQL Server, maar achter de schermen verdeelt het de opslag en verwerking van gegevens over meerdere knooppunten.
Figuur 3: Azure Synapse Dedicated Pool vs. Serverless Pool
Overigens is een Dedicated SQL Pool niet altijd de ideale oplossing voor kleinere implementaties. Als uitgangpunt kan je vaak 1TB aan data als meetpunt gebruiken om te kiezen voor een SQL Pool of een Azure SQL Database.
Met de komst van Azure Synapse Anaytics is ook de Serverless SQL Pool geïntroduceerd, welke erg handig is voor ad-hoc analyses. Tegenwoordig wordt Data Lake rechtstreeks als input gebruikt voor Power BI. Deze Serverless SQL Pool wordt standaard bij de Azure Synapse installatie uitgerold en is direct bruikbaar.
Security en Compliance
Vanuit de bovenstaande basis is Microsoft gestart met het toevoegen van allerlei nieuwe functionaliteiten. Denk aan de meest geavanceerde privacy- en beveiligingsfuncties, native ondersteuning voor Azure Active Directory, geautomatiseerde detectie van bedreigingen, always-on data-encryptie, beveiliging op kolomniveau en beveiliging op rijniveau. Ook biedt Azure Synapse de mogelijkheid om gebruik te maken van Managed Virtual networks, die de verschillende onderdelen van Synapse naadloos aan elkaar verbinden. Dit ontzorgt het netwerkteam weer in het onderhouden van het netwerk en draagt het ook bij aan het compliant zijn van je organisatie.
Apache Spark
Apache Spark is een parallel processing framework dat verwerking in het geheugen ondersteunt om de prestaties van analytische toepassingen voor big data te verbeteren. Apache Spark in Azure Synapse Analytics is een van Microsoft’s implementaties van Apache Spark in de cloud. Met deze Apache Spark Pool kan je eenvoudig gegevens verwerken die in de Cloud zijn opgeslagen.
Figuur 4: Azure Synapse Apache Spark
Data integratie
Velen van jullie kennen de mogelijkheden van Data Integratie in Azure Data Factory. Deze zijn niet anders in Azure Synapse, maar toch nog even een korte opsomming:
- 95+ connectoren beschikbaar
- Veilige connectiviteit met lokale gegevensbronnen
- Andere clouds en SaaS-applicaties
- Schedule en Event based triggering
Voor sommige is de Power Query functionaliteit nieuw waarbij een Excel-achtige interface wordt getoond en je gegevens volledig visueel kan transformeren naar elke gewenste vorm. En uiteraard de integratie met de Apache Spark Pools en Serverless Pools kunnen we nu aan de bovenstaande lijst toevoegen.
Power BI
Je kan nu Power BI rechtstreeks gebruiken via Synapse Studio. De nieuwe Power BI-prestatieversneller, zoals Microsoft deze noemt, voor Azure Synapse automatiseert het maken en optimaliseren van gerealiseerde weergaven, wat resulteert in razendsnelle queryprestaties. Dit vereenvoudigt en versterkt de samenwerking van de data-analisten en data-engineers omdat ze nu dezelfde analyseservice kunnen gebruiken voor het opvragen van gegevens en het bouwen en bekijken van dashboards. Naast deze Power BI integratie is er ook native integratie met Azure Machine Learning. Ideaal toch?
Azure Purview
Een naadloze integratie met Azure Purview is een van de nieuwste functionaliteiten die Azure Synapse tegenwoordig biedt. Azure Purview helpt met het automatisch identificeren en classificeren van gevoelige data en geeft inzicht in hoe de data gebruikt wordt. Zo ontstaat er een visueel beeld van bron naar alle tussenliggende laadslagen en bewerkingen, tot aan het Power BI rapport. Deze lineage is een hele sterke toevoeging en een antwoord op de groeiende vraag naar Data Governance en Data Lineage. Meer weten? Check dan onze blog over Azure Purview.
Managed Oxygen
Managed Oxygen van is ons flexibele Data & AI-platform. Dankzij onze standaard Platform Lifecycle Management is Azure Synapse volledig geïntegreerd in ons Dataplatform en voor onze klanten eenvoudig toe te voegen aan hun Dataplatform. Lees alle informatie over ons Managed Oxygen platform.
