Om als organisatie data gedreven keuzes te kunnen maken is er vaak behoefte om gegevens uit diverse systemen te combineren om goede beslissingen te kunnen nemen. Je wil bijvoorbeeld transactiedata uit MicroStrategy combineren met klantdata uit een CRM systeem en publiekelijk beschikbare data van de overheid. Vaak wordt er dan uit elk systeem een export van relevante data gemaakt om deze vervolgens te combineren en te analyseren. Voor een ad hoc analyse is dit geen probleem, maar wat als je structureel data uit deze bronsystemen met elkaar wilt combineren? Voorkom repetitief handmatig werk; gebruik een API!
De voordelen van een API
Vaak hebben bovengenoemde systemen naast hun standaard user interface een API: een application programming interface. Voor proces- en structurele oplossingen is een API vaak de betere oplossing; een API geeft minder handmatig werk doordat data acquisitie, data voorbereiding en data validatie geautomatiseerd kunnen worden. Vanwege bovengenoemde voordelen is het kunnen werken met API’s een belangrijk onderdeel van data gedreven management; geef analisten de vrijheid om efficiënt met veel en diverse databronnen te kunnen werken.
In deze blogpost leer je hoe je zelf een API koppeling maakt om data op te halen, zodat ad hoc rapportages veranderen in structurele informatie voorziening!
Hoe communiceren we met API’s?
Een Application Programming Interface, afgekort API, is een set regels en protocollen voor een software applicatie. Deze regels en protocollen maken het mogelijk -en idealiter makkelijk- om verschillende applicaties met elkaar te laten communiceren. In de context van een CRM systeem kunnen we dan het volgende verzoek doen:
“Geef mij alle klanten in Noord-Holland die in 2016 een aankoop hebben gedaan”
Vervolgens kunnen we een vergelijkbaar verzoek doen aan een databron welke demografische data bevat:
“Geef mij per postcode in Noord-Holland de demografische samenstelling van deze postcode”
Deze twee databronnen kunnen samen tot nieuwe inzichten leiden zoals “In welke regio’s wonen mijn meest winstgevende klanten?” en “Wat is kenmerkend aan die regio met betrekking tot mijn klanten?”(Visualiseer geografische data vervolgens in Tableau!)
API’s maken het mogelijk om bovenstaande verzoeken (ook wel requests genoemd) om te zetten in een format waarmee de software kan werken. Zonder zelf te hoeven programmeren willen we dus één of meerdere databronnen aanspreken via hun respectievelijke API’s: Alteryx maakt het mogelijk om dit middels een visuele workflow te doen.
Afbeelding 1. Alteryx is een visuele designer voor data workflows; van data preparatie tot advanced analytics in één tool!
Open Data Nederland: Centraal Bureau voor de statistiek
Om een goed beeld te krijgen van het werken met API’s gebruiken we een voorbeeld van Open Data Nederland; deze API is voor iedereen toegankelijk en het bevat erg waardevolle informatie.
Zo is er de Sociale Monitor: De Sociale Monitor is een verzameling indicatoren die gezamenlijk een beeld schetsen van het welzijn en de welvaart van de Nederlandse bevolking. Als je deze data vaker voor analyse doeleinden beschikbaar wilt hebben dan wil je niet elke keer de meest recente data handmatig downloaden via de CBS website. We kunnen de workflow om deze dataset op te halen een keer bouwen in Alteryx en op elk gewenst moment aanroepen om de meest recente data op te halen.
Om de data op te halen van de hierboven genoemde link hebben we de volgende workflow in Alteryx nodig:
Afbeelding 2. Workflow Alteryx
Alteryx geeft ons de mogelijkheid om de volgende acties in een workflow te creëren en beheren:
1. De data aanvragen en ontvangen. (Data acquisitie)
2. De opgehaalde data formatteren naar een tabel structuur (Data voorbereiding en Data validatie)
3. De data analyseren, veranderen, verrijken en samenvoegen met andere databronnen (Data Blending)
4. De data exporteren naar andere formats zoals Excel, Qlik of Tableau voor verdere analyse
Afbeelding 3. Het eindresultaat: de gewenste gegevens in tabel structuur
Het resultaat is de gewenste data in tabelstructuur. Elke stap in het proces is visueel in te zien; de kwaliteit en volledigheid van de data kan worden gecontroleerd en gewaarborgd voordat ermee gewerkt wordt. Deze workflow kan zowel worden ingepland om elke dag/week/maand de nieuwste data op te halen, als gedeeld worden tussen data analisten die daardoor dit proces kunnen hergebruiken.
Zelf gelijk aan de slag met API’s en data? Download de Alteryx trial en de workflow die in dit blog gebruikt wordt.