Colofon Uitgegeven door: PDOK beheerorganisatie (Kadaster) en PDOK Advies (Geonovum) Fons Sanders en Jan van Gelder 8 februari 2021 Versie 1.0
Het jaar 2020 was voor PDOK een dynamisch jaar. De data-afname ging in oktober voor het eerst over de grens van 20 miljard hits per jaar heen. Inmiddels blijkt het gebruik van PDOK over heel 2020 uit te komen op ruim 30 miljard: 30,9 miljard hits. En dat is goed nieuws, bij de beschikbaarstelling van open overheidsdata voor iedereen. De verwachting is dat deze significante groei serieus door zal gaan, ook in 2021. Daar dragen onder meer de nieuwe datasets in het kader van de Basisregistratie Ondergrond (BRO) en INSPIRE aan bij. Verder was het PDOK platform achterliggend jaar stabiel en voortdurend beschikbaar; over het hele jaar gemeten bedroeg de beschikbaarheid 99,60%, een percentage dat er mag zijn. Om de infrastructuur technisch snel schaalbaar te laten zijn en zo onder meer in te kunnen haken op (pieken in) het massieve gebruik, vervolgde PDOK het project migratie naar de cloud. Ook is het 3G-programma opgestart: met generieke componenten worden processen vergaand gestandaardiseerd en geautomatiseerd, iets wat data-aanbieders voordelen gaat bieden. Het is ook een substantiële stap richting self-services voor de data-aanbieder. Verder optimaliseerde PDOK achterliggend jaar haar servicemanagement. Daardoor heeft elke data-aanbieder nu zijn eigen PDOK-informatiemanager, waarmee snel kan worden afgestemd en geschakeld bij vragen op het niveau van de concrete dataset. Dit vergemakkelijkt het werkproces zowel voor aanbieder als PDOK.
In het Covid-19 jaar heeft ook PDOK haar communicatie noodgedwongen ingeperkt. Beurzen en congressen als GeoBuzz en INSPIRE zijn niet gehouden, dus fysieke en daarmee zichtbare aanwezigheid ter plaatse met een stand zat er ook voor PDOK dit jaar helaas niet in. De digitale communicatie daarentegen ging volop door; ook andersom wisten gebruikers PDOK prima te vinden voor vragen (via het Klantcontactcenter) of met posts op het Geoforum. De diverse PDOK-overleggremia vonden allen telkens online plaats, waarmee het contact met de stakeholders warm bleef.
Voor 2020 en later is onderstaand aantal speerpunten met name bepalend voor de doorgroei van de PDOK. Per punt wordt aangegeven wat in afgelopen jaar de voortgang is geweest.
In 2020 heeft PDOK voor verschillende geharmoniseerde datasets die aangemerkt zijn voor INSPIRE webservices gerealiseerd. Dit waren vooral datasets die onder Annex 3 van de INSPIRE implementatie vallen. De nieuwe webservices zijn ontwikkeld met de 3G componenten uit het 3G programma waarmee ze zoveel mogelijk geautomatiseerd gerealiseerd zijn.
Samen met Geonovum heeft PDOK in Q1 onderzocht tegen welke issues we t.a.v. INSPIRE aanliepen en indien nodig hebben we samen hiervoor issues uitgezet bij Europa.
In de 2e helft van 2020 hebben we gewerkt aan de INSPIRE validatie van de webservices en bijbehorende metadata. We hebben onderzocht in hoeverre we de validaties t.a.v. de metadata profielen voor services en de services zelf zoveel mogelijk konden automatiseren. Ook hebben we onderzocht of het mogelijk was om de linkage checker van Europa geautomatiseerd aan te roepen. Beide onderzoeken hebben er in geresulteerd dat we programmatuur hebben kunnen bouwen om zoveel mogelijk geautomatiseerd te kunnen valideren van de INSPIRE compliancy eisen ten aanzien van de webservices met de bijbehorende metadata. Dit zijn belangrijke 3G componenten waar we begin 2021 de laatste aanpassingen voor zullen doen, zodat PDOK nog beter de compliancy van INSPIRE vanuit haar verantwoordelijkheid als serviceprovider kan monitoren en indien nodig acties kan ondernemen. Omdat PDOK slechts een deel van de keten is, is een goede samenwerking met de data-aanbieders van PDOK nodig om de totale compliancy eisen van INSPIRE goed in te richten en te bewaken. De data-aanbieder speelt met name een belangrijke rol in het maken van de juiste geharmoniseerde dataset en de daarbij behorende metadata van de dataset.
In 2020 heeft PDOK het 3G-programma geïntroduceerd. Het Generiek, Geautomatiseerd en Gestandaardiseerd (3G) verwerken en aanbieden van (meta) data maakt het mogelijk om de komende jaren op een gezonde en efficiënte manier verder te groeien en op een eenduidige manier data uit te wisselen en te verwerken. Het 3G programma kan wel vergeleken worden met een fabriek met diverse productiestraten. De PDOK fabriek is ingericht op een schaalbare cloud omgeving met productiestraten die data en configuratie kunnen verwerken tot services inclusief service metadata. De focus lag in 2020 op de meest voorkomende producten: de WMS, Atomfeed, WFS. In 2020 zijn er veel nieuwe en/of bestaande datasets en services ingericht via de nieuwe 3G productiestraten. Ook zijn er stappen gemaakt rondom het maken van afspraken rondom aan-en uitleveringen van/via PDOK. Deze afspraken zijn samengevat in documentatie en een nieuwe GeoPackage validator die door PDOK gebruikt wordt om aanlevering te valideren, maar ook gebruikt kan worden door data-aanbieders.
PDOK is in 2020 begonnen met de eerste stappen om te kunnen migreren naar de cloud. Deze migratie heeft veel voordelen, waaronder het makkelijk kunnen op- en afschalen van de infrastructuur. En dat levert weer financieel voordeel op. Aangezien de groei in afname en nieuwe datasets jaarlijks stijgt, is dit zeer welkom. In 2020 zijn zowel een aantal bestaande als nieuwe datasets op de cloud omgeving van PDOK ingericht via de nieuwe productiestraten. Ook zijn de BGT downloads (API’s en interface) gemigreerd en bevinden de BRT-achtergrondkaart, de DKK (digitale kadastrale kaart) en de TOPNL producten zich in de migratie naar de cloud.
Het jaar 2020 leverde een recordgebruik op van 30,9 miljard hits. Het totaal aantal datasets steeg van 192 naar 218. Kijkend naar de resultaten over voorgaande jaren alsmede het aantal nieuw verwachte datasets, rekent PDOK over 2021 met een afname van ca. 35 miljard hits.
PDOK drukt de afname van het gebruik uit in ‘hits’. Elke hit is een geautomatiseerde bevraging (zgn. ‘request’) door een applicatie van een afnemer van een webservice die bij PDOK staat. Voor meer uitleg hierover, Statistieken en grafieken
KDP heeft in 2020 gewerkt aan de overstap van de oude databases naar MarkLogic. Hierbij is niet alleen de data overgezet, maar is er ook tijd in gestoken om de koppelvlakken en verwerkingen stabieler en robuuster te maken. Daarnaast is er tijd gestoken in het verbeteren van de verwerkingsstraat van de data en in het verbeteren van het koppeLVlak met de bronhouders van data. Hierbij is er een generieke straat ingericht die middels configuratie in te stellen is per klant. Daarnaast heeft KDP een groot deel van zijn tijd gestoken in de doorontwikkeling van de producten en diensten voor Informatiehuis Ruimte en voor de Stelselcatalogus ten behoeve van het Digitaal Stelsel Omgevingswet. Hiertoe is bijvoorbeeld de API die ruimtelijke plannen ontsluit bijgewerkt, is er een 2e versie van de bestuurlijke grenzen API opgeleverd en is er een eerste versie van de BAG voorinvullen API gerealiseerd.
Voor het Nationaal GeoRegister heeft er in september een belangrijke release plaats gevonden. Met deze release zijn we overgegaan naar versie 2.1.0 voor metadata profiel ISO 19115 voor geografie en ISO 19119 voor services. Verder is er ook ten aanzien van de validatie een belangrijke wijziging doorgevoerd. De validatie van de Nederlandse metadata profielen wordt in het Nationaal Georegister uitgevoerd. Voor de INSPIRE metadata validatie wordt nu de ETF validatie van Europa toegepast die men in Europa als API beschikbaar heeft gesteld.
In dit hoofdstuk de inhoudelijke verslaglegging over 2020 van de Geonovum-adviseurs voor PDOK.
Op strategisch vlak is het opstarten van de nieuwe governancestructuur van PDOK de belangrijkste ontwikkeling van 2020. Naar analogie van het BAG-BAO is het PDOK DAO nu het belangrijkste overleg. Geonovum ondersteunt het DAO vanuit een adviserende rol. Dit kunnen adviezen richting het Ministerie BZK zijn als eigenaar van de voorziening, richting het Kadaster als beheerder van de voorziening of richting de andere stakeholders van PDOK. Vergelijkbare rollen vervult PDOK Advies ook bij de PDOK Klankbordgroep en het PDOK INSPIRE overleg, al zijn de onderwerpen daar meer tactisch en operationeel van aard. In het DAO heeft PDOK Advies ondersteund bij het opstellen van brieven richting Ministerie BZK over de financieringsconstructie (tarifering) en faciliteert PDOK Advies samen met Ministerie BZK de discussie in het DAO over de strategie voor PDOK in 2025. In het verlengde van de invoering van het nieuwe governancemodel heeft PDOK Advies Ministerie BZK geadviseerd rond de inhoudelijke onderbouwing om tot wettelijke verankering van PDOK te komen. Ten slotte is PDOK Advies gestart met het analyseren van SpotInfo als usecase van een private partij die waarde toevoegt aan open overheidsdata door het slim combineren van gegevens uit verschillende bronnen. Doel van de analyse is om beter te begrijpen hoe een publieke voorziening dergelijke toegevoegde waarde zo goed mogelijk kan faciliteren.
In het begin van 2020 heeft PDOK Advies, in samenwerking met het INSPIRE team bij Geonovum, PDOK ondersteund bij het verder verbeteren van de INSPIRE compliancy. Om die compliancy beter te borgen, heeft PDOK Advies meegewerkt aan de vaststelling van de generieke aanpak met betrekking tot INSPIRE datasets. Deze generieke aanpak is vervolgens in de 3G-aanpak van PDOK geïmplementeerd. Op standaardenvlak stonden de meeste activiteiten in het teken van de modernisering van standaarden. Zo hebben we geadviseerd over de uitfasering van TMS en verdere toepassing van GeoPackage. Op dit laatste vlak blijft PDOK deels afhankelijk van opdrachten van data-aanbieders om populaire downloads ook in GeoPackage-formaat aan te gaan bieden. Zeker voor BGT-data zien we vanuit gebruikers een sterke behoefte om GeoPackages te kunnen downloaden naast de verschillende GML-smaken. Op het gebied van Vector Tiling hebben we PDOK betrokken bij de Geonovum-activiteit om tot een Praktijkrichtlijn Vector Tiling te komen. Deze zal naar verwachting begin 2021 worden afgerond. Verder hebben we de Linked Data High5 van DisGeo met belangstelling gevolgd, specifiek met het oog op eventuele consequenties voor distributie van de (samenhangende) geobasisregistraties in de toekomst. Als laatste werken we vanuit PDOK Advies samen met het Basisprogramma Standaardisatie & Innovatie van Geonovum aan een implementatiestrategie voor de OGC API standaarden. Deze activiteit is in het laatste kwartaal gestart en daarom voor 2020 nog niet heel relevant, maar de komende jaren zal de invoering van deze nieuwe OGC API standaarden veel impact hebben op zowel PDOK als het werk van PDOK Advies.
Voor het Nationaal Georegister en metadata is de ontwikkeling, vaststelling en invoering van versie 2.1 van de Nederlandse metadataprofielen (voor data en voor services) het belangrijkste resultaat in 2020. Deze aanpassing van versie 2.0 naar 2.1 was noodzakelijk vanwege aangescherpte eisen vanuit INSPIRE. Door vroegtijdige communicatie met de (meta)data-aanbieders zijn we erin geslaagd om de data-aanbieders vroegtijdig voor te laten sorteren op versie 2.1, waardoor in de meeste gevallen voorkomen kon worden dat metadata in korte tijd tweemaal aangepast moest worden. Inmiddels zien we in metingen van het Joint Research Centre van de EU dat Nederland goed scoort op aanpassing van de metadata. Verder zijn we gestart om de vindbaarheid van data te verbeteren, door te bekijken hoe we de vindbaarheid van metadata kunnen verbeteren. Het Kadaster voert een experiment in opdracht van PDOK Advies uit om een deel van de metadata uit het NGR ook als linked data aan te bieden. Hierdoor zou metadata in theorie ook beter gevonden moeten worden door zoekmachines, waardoor potentiële gebruikers datasets niet alleen kunnen vinden wanneer ze in het NGR gaan zoeken, maar ook vaker wanneer ze zoekmachines als Google gebruiken. Doel van het anderhalf jaar durende experiment is om te ontdekken of dit effect ook in de praktijk optreedt. Dat inzicht vormt belangrijke input bij het bepalen van vervolgstappen. Als laatste punt rond het NGR is onze afstemming met het Forum Standaardisatie te noemen over eventuele opname van het DCAT-profiel van data.overheid.nl op de Pas-toe-of-leg-uit-lijst van het Forum Standaardisatie. KOOP heeft als beheerder van data.overheid.nl dat profiel aangemeld. Vanuit PDOK Advies vragen we aandacht voor de relatie tussen dergelijke generieke metadatastandaarden en de standaarden die specifiek voor metadata van geodata en geoservices bestaan. Deze relatie is belangrijk om te borgen dat metadata uit het NGR ook goed overgenomen kan worden in data.overheid.nl.
De communicatie was in 2020 natuurlijk anders dan de jaren daarvoor vanwege de corona maatregelen. Daardoor gingen geplande events niet door, en waren de overleggen allemaal online. Ook de PDOK overleggen (PDOK DAO, PDOK Klankbordgroep overleg en het PDOK INSPIRE overleg) zijn volledig digitaal gedaan. Anders weliswaar, maar het went.
Hierna volgen enkele kerngetallen voor PDOK, afgezet tegen voorgaande jaren. De cijfers spreken, onder meer op het onderdeel van het datagebruik, voor zich.
In onderstaande grafiek wordt het totaal aantal hits van de PDOK-services weergegeven. De grafiek toont het gebruik per maand van januari t/m december 2020.
Het gebruik van de PDOK-services vertoont opnieuw een stijgende lijn. Over Q4 bedroeg het aantal hits: 7,1 miljard. Over heel 2020 bedroeg het aantal hits op alle PDOK webservices 30,9 miljard, een nieuw jaarrecord.
UITLEG BEGRIP ‘HIT’:
PDOK drukt de afname van het gebruik uit in hits. Elke hit is een geautomatiseerde bevraging (zgn. ‘request’) door een applicatie van een afnemer van een webservice die bij PDOK staat. Daarbij onderscheidt PDOK 3 categorieën hits:
De categorieën 2) en 3) leveren de gebruiker overigens niets op, maar belasten echter wel het PDOK platform in technische zin. Daarom gaat PDOK deze categorieën tegen het licht houden en bezien wat er technisch mogelijk is om van dit type hits af te komen.
Onderstaande grafiek toont de twintig PDOK-services met het hoogste totaal aantal hits van Q4 2020.
In onderstaande grafiek wordt het gebruik van het Nationaal Georegister weergegeven door middel van het totaal aantal hits op de server. De grafiek toont het gebruik per maand van heel 2020.
Het totaal aantal hits op het NGR bedraagt in Q4: 5,4 miljoen. Over heel 2020 bedraagt het aantal NGR-hits 20,7 miljoen.
In onderstaande grafiek wordt het gemiddelde van de beschikbaarheid van de PDOK-webservices weergegeven. De grafiek toont het gemiddelde van elke maand van 2020.
Het voortschrijdend beschikbaarheidsgemiddelde over de afgelopen twaalf maanden komt op 99,60%, en is daarmee conform het INSPIRE-vereiste.