Het afgelopen jaar leek het er herhaaldelijk op dat droogterecords zouden worden verbroken. En dat na een jaar als 2018 waarin veel schade werd veroorzaakt door de aanhoudende droogte. In twee blogs omschrijf ik mijn stappen om een droogtemonitor te maken aan de hand van open data. Met een interactieve droogtemonitor kunnen bijvoorbeeld agrariërs beter bepalen hoeveel ze hun land moeten beregenen en weten waterbedrijven nog beter hoeveel water ze aan de bodem kunnen onttrekken voor drinkwater.
Komkommertijd: krijgen de komkommers wel genoeg water?
Veel Nederlanders mogen graag over koetjes en kalfjes ‘ouwehoeren’ – en dus wordt ook over het weer afwisselend gepraat en geklaagd. Als er uitzonderlijke weerscenario’s optreden waardoor moestuinen en akkers droog komen te liggen, ben ik één van de laatsten die je zal belemmeren hierover je beklag te doen. Het continu monitoren van de droogte vind ik een interessant analytisch vraagstuk om te tackelen.
Bij Infotopics heb ik inmiddels al heel wat uren kunnen spelen met slimme software zoals Alteryx en Tableau en natuurlijk lees ik de blogs van collega’s. Zo ook die van Merlijn die in 2015 concludeerde dat er geen windmolens in Oost-Nederland gebouwd moeten worden. Voor mijn vraagstuk maak ik ook gebruik van KNMI data. Aangezien ik de droogte op basis van actuele data wil monitoren over alle locaties binnen Nederland en tegelijkertijd geen tijd (lees: geen zin) heb om dagelijks alle bestanden te downloaden, pak ik graag de API documentatie van het KNMI erbij zodat ik het geautomatiseerd kan ophalen in Alteryx.
KNMI data ophalen met Alteryx Designer
Deze KNMI macro haalt in één keer alle KNMI data op en geeft locatiedata van alle weerstations en de dagelijkse meetresultaten.
Maar wat zit er onder motorkap?
Na het volgen van een Alteryx training, het maken van Alteryx Weekly Challenges en wat doelmatig uitproberen, kwam ik uit op de bovenstaande workflow voor het ophalen van data voor de droogtemonitor.
Als je de API van het KNMI met de POST methode bevraagt over alle weerdata van alle weerstations, krijg je een flinke lijst met tekst terug. Deze tekst bestaat uit geografische data van de weerstations (lengte- en breedtegraden, ID velden, etc.), 39 kolommen aan meetresultaten per dag en per weerstation en een lijst met metadata oftewel uitleg wat iedere kolom betekent.
| # RH | = Daily precipitation amount (in 0.1 mm) (-1 for <0.05 mm) |
| # EV24 | = Potential evapotranspiration (Makkink) (in 0.1 mm) |
Deze twee kolommen heb ik nodig om de droogtemonitor mee te kunnen ontwikkelen.
Welk weerstation moet ik gebruiken?
Om de interactieve droogtemonitor te verrijken met een kaart met alle weerstations heb ik een aanvullende macro ontwikkeld waarmee locaties van de weerstations als Voronoi-diagram bovenop de kaart van Nederland kunnen worden gevisualiseerd. Het voordeel hiervan is dat ik in één oogopslag zie welk weerstation het dichtstbijzijnde is voor alle mogelijke plaatsen in Nederland.
Het resultaat van deze Voronoi kan gebruikt worden om jouw eigen locatiedata te koppelen aan individuele KNMI weerstations. Denk daarbij voor de droogtemonitor aan de koppeling tussen grondgebieden van akkers met neerslag- en verdampingsdata; bij windmolens aan de locatie van die windmolens en de lokale windsnelheid of denk bij supermarkten aan de maximumtemperatuur en de hoeveelheid ijs die je dan verkoopt. Er zijn legio mogelijkheden met deze KNMI data.
Het eindresultaat in Tableau ziet er als volgt uit:
Ik mag dan van Drenthe naar Groningen zijn verhuisd, maar wat het weer betreft, behoort mijn thuis nog steeds toe aan de provincie Drenthe (Eelde om precies te zijn).
Deze macro heeft als invoer een lijst met weerstation locatiegegevens nodig en geeft je vervolgens Voronoi geografieën terug.
Voor deze macro is gebruik gemaakt van de BAG-data waarvoor collega’s al eerder een solution hebben ontwikkeld.
Voor ieder weerstation wordt een coördinaat vastgesteld en vergeleken met provinciegrenzen van de BAG-data; zodoende is ieder weerstation gekoppeld aan een provincie. Door rondom ieder weerstation een cirkel met een diameter van 200 km te tekenen, waarbij overlap tussen al die cirkels wordt voorkomen, ontstaat een Voronoi-diagram die ook de gebieden buiten Nederlands grondgebied beslaat. Door dan weer uit die te grote Voronoi het Nederlands grondgebied te knippen, krijg je een diagram die zich wel beperkt tot Nederlands grondgebied.
De droogtemonitor… Zo gepiept?
Zo gemakkelijk als het is om met deze twee macro’s de KNMI data op te halen, zo ingewikkeld blijkt het deze droogtemonitor te ontwikkelen. Zie ook de onderstaande visualisaties ontwikkeld in Tableau Desktop en gedeeld via Tableau Public.
In een notendop is het volgende aan de hand. De metingen zijn begonnen in De Bilt aan het begin van de vorige eeuw, maar cijfers over neerslag en verdamping tezamen lieten nog vele jaren op zich wachten. Vanaf 1965 zijn er voor vijf weerstations (De Bilt, Eelde, Maastricht, Vlissingen en De Kooy) vrijwel iedere dag metingen beschikbaar om een droogteanalyse mee te kunnen doen. De hoeveelheid missende data maakt het lastiger om deze droogte analyse te combineren met de kaartgrafiek.
Wat hebben we geleerd?
Wat we op dit moment sowieso kunnen vaststellen is dat we met Alteryx geautomatiseerd de data van het KNMI kunnen ophalen en verwerken in een interactieve droogte analyse. Uit deze analyse volgt dat 1976 het grootste neerslagtekort kende en dat 2018 de twijfelachtige eer toekomt om op de tweede plek te staan. Het jaar 1998 was daarentegen het natste jaar met een neerslagoverschot van ruim een halve meter.
Hoe om te gaan met missende data?
In een volgende blog omschrijf ik hoe ik met de gouden standaard voor data imputeren – predictive mean matching – de gatenkaas in deze dataset verder aanvul.
Meer weten?
Wil je meer weten over het werken met Alteryx en wat het voor jou kan betekenen? Of ben je bijvoorbeeld benieuwd hoe macro’s jou kunnen helpen in je dagelijkse werk en wil je een training hierin volgen? Neem dan contact met ons op!
