Colofon Uitgegeven door: PDOK beheerorganisatie (Kadaster) en PDOK Visi (Geonovum) Fons Sanders en Jan van Gelder 17 februari 2022 Versie 1.0
Voorliggend PDOK-document doet verslag van de activiteiten die in 2021 zijn ondernomen om concreet invulling te geven aan het ‘Jaarplan PDOK 2021’. Van deze verslaglegging maakt het PDOK Adviesdeel (Visi), verwoord door Geonovum, integraal onderdeel uit.
Publieke Dienstverlening Op de Kaart (PDOK) is, ter toelichting, onderdeel van het concept Nationale Geo Informatie Infrastructuur (NGII). Feitelijk vormt zij een serieus bestanddeel van de NGII-backbone. Samen met andere overheidspartijen levert PDOK betrouwbare, toegankelijke en efficiënt beschikbaar gestelde geo-informatie aan derden. Daarnaast is PDOK gespecialiseerd om geo-informatie te ontsluiten onder de Europese INSPIRE eisen.
Binnen de context van het PDOK dienstencentrum zitten de separate diensten:
Met deze componenten van PDOK, die onderdeel uitmaken van de standaard Kadaster infrastructuur, werd ook in 2021 handen en voeten gegeven aan het maatschappij breed ‘meervoudig’ ontsluiten van ‘eenmalig’ ingewonnen actuele open overheidsdata. PDOK doet er in dit licht dan ook alles aan om als een ‘solide en goed geolied’ geo-informatie portaal te functioneren.
Hieronder worden de concrete realisaties opgenomen van de 2021-speerpunten.
PDOK, hét Platform voor hoogwaardige data: om dit waar te maken hanteert PDOK een hoog serviceniveau. Data aanbieders en afnemers mogen ervan uitgaan dat de gestelde eisen aan het serviceniveau van de PDOK exploitatie duidelijk en transparant zijn. Dit serviceniveau en bijbehorende eisen zijn vastgelegd in de Producten en Diensten Catalogus en met onderliggende Dienst Niveau Overeenkomsten. Deze documenten zijn gepubliceerd op onze website PDOK.nl.
Ook in 2021 was de beschikbaarheid en performance van PDOK zonder meer hoog. Over heel 2021 was de beschikbaarheid 99,86%. Het gebruik van PDOK steeg over 2021 van 30 naar 36,4 miljard hits. De verwachting is dat deze stijging zich doorzet. Voor meer statistische informatie over PDOK, zie hoofdstuk 6 van dit jaarverslag.
In 2020 zijn wij gestart met de migratie van PDOK naar een cloud omgeving (Microsoft Azure). In 2021 zijn we verder gegaan met deze cloudmigratie. Dit nieuwe platform zal meer gestandaardiseerd en flexibel zijn waardoor PDOK de grip op de infrastructuurkosten verhoogt. Dit programma is nodig om bij de wederom extreme groei dezelfde en hogere kwaliteit te kunnen bieden zonder de kosten teveel te laten stijgen. De cloudmigratie betekent ook het migreren van alle datasets naar nieuwe endpoints en inrichting in de cloud.
Het afgelopen jaar was het nieuwe PDOK platform volop in gebruik. De ervaringen hebben geholpen om verbeteringen en vernieuwingen door te voeren. Zo zijn de WMS, WFS en Atomfeed productiestraten verbeterd en hebben we die ervaring kunnen gebruiken om de nieuwe WMTS productiestraat te introduceren. De PDOK Selfservice is verder uitgebreid met nieuwe functionaliteiten zoals het beschikbaar kunnen stellen van historie. Ook ondersteunt het nieuwe PDOK platform inmiddels raster als formaat. In het verleden zijn er veel verschillende Atom download services ingericht met verschillende resultaten voor afnemers als gevolg. De nieuwe Atom download service is afgelopen jaar doorontwikkeld en kent nu een generieke en gestandaardiseerde implementatie, wat de kwaliteit en gebruikerservaring ten goede komt.
Inmiddels is ongeveer een derde van de datasets en services uitgeserveerd en geüpdatet via het nieuwe PDOK platform (op de cloud) en we zien dat meer dan 50% van het verkeer op het nieuwe platform landt. Medio 2021 is de PDOK Selfservice beschikbaar gekomen waarmee PDOK en data-aanbieders data kunnen valideren en eenvoudig en snel gestandaardiseerde services en metadata kunnen inrichten. Inmiddels zijn bijna 100 (data)aanleveringen gevalideerd en zijn rond de 20 datasets met de PDOK selfservice ingericht op pre-productie. Waar deze werkzaamheden eerder ingepland en handmatig moesten worden gedaan, gaat dit nu een stuk eenvoudiger met een snelle doorlooptijd. Ook worden datasets nu op een generieke en eenduidige manier uitgeleverd. Ontbreekt er iets of zijn er wensen/eisen dan worden deze getoetst tegen de standaarden (denk aan OGC of INSPIRE) en worden deze zo nodig toegevoegd in de PDOK selfservice. Dit in tegenstelling tot het verleden waar er per geval gekeken werd naar de wensen met verschillende implementaties en output tot gevolg. Een voorbeeld hiervan is de nieuwe Atom download service implementatie.
Voor 2021 is opnieuw een groei in het aantal nieuwe datasets zichtbaar geworden; het aantal steeg van 218 naar 239 datasets. Voor INSPIRE is de nodige inspanning gedaan en deze stroom zorgt ook voor uitbreiding op het aantal datasets. Naast uitbreiding van het aantal datasets zal er ook een uitbreiding plaatsvinden op het aantal services waarmee datasets worden ontsloten. Op dit moment bedraagt het aantal webservices 747.
PDOK heeft voor het beheer van de INSPIRE webservices een aantal verbeteringen doorgevoerd. Speerpunt in 2021 was om een betere monitoring in te richten en daarmee de mogelijkheid te creëren om periodiek de compliancy van de webservices en de bijbehorende metadata te kunnen controleren. Door het beschikbaar stellen van API’s vanuit het Europese Geoportaal hebben we dashboards kunnen bouwen die de webservices en de metadata toetsen tegen de juiste conformance classes. Daarnaast hebben we ook een dashboard gemaakt dat de controles die de linkage checker doet geautomatiseerd kan toetsen waarbij het resultaat gepresenteerd wordt in een dashboard. Dit maakt dat PDOK ondanks het grote aantal webservices dat PDOK beheert voor INSPIRE dit wekelijks kan uitdraaien en beoordelen.
Naast de monitoring heeft PDOK met de 3G ontwikkelingen de mogelijkheid ingebouwd om de INSPIRE vereisten op een consistente manier te borgen in de nieuw te bouwen webservices en service metadata. Doordat we dit nu geautomatiseerd verwerken, kunnen we fouten makkelijker traceren en indien nodig structurele verbeteringen doorvoeren in het maakproces en de webservices en de metadata van de services. Voor de jaarlijkse Europese rapportage in december heeft PDOK veel werk gehad aan het doorvoeren van verbeteringen en het oplossen van fouten. We verwachten door de structurele verbeteringen, de betere monitoringsmogelijkheden en de overgang naar de cloud in 2022 met alle webservices dat dit ervoor zal zorgen dat PDOK een constante kwaliteit kan borgen t.a.v. de compliancy van de INSPIRE webservices en bijbehorende service metadata in 2022.
In 2021 heeft het Nationaal Georegister stabiel gedraaid. Per maand hebben we gemiddeld genomen 2 miljoen hits gehad. In 2021 is er in opdracht van Ministerie van BZK een onderzoek gestart naar welke ontwikkelingen rondom metadata standaarden en catalogi er gaande zijn en wat de impact daarvan is op de toekomst van het Nationaal Georegister. Zie 4.7 en in hoofdstuk 5 voor meer informatie.
PDOK stelt vast dat er vanuit maatschappelijke vraagstukken meer en meer behoefte is aan gerichte geo-informatie om enerzijds beleid te kunnen maken en anderzijds om besluitvorming op te baseren. Deze behoefte stuurt een betere vindbaarheid aan van geo-informatie en vraagt om gecombineerde geo-informatie gericht op een bepaald thema. PDOK vervult hierin o.a. met het beheer van het NGR een belangrijke rol om te voldoen aan de vraag vanuit de maatschappij. In dit kader moet voor 2021 worden genoemd het grootschalige onderzoek dat Geonovum op verzoek van BZK heeft uitgevoerd rondom het Nationaal Georegister (NGR) en de ‘toekomst van metadata’, onder meer door het interviewen van gebruikers. Deze verkenningen onderstrepen het grote belang van metadata en zullen vermoedelijk tot aanpassing van het NGR leiden. De afronding van dit onderzoek zal in Q1 van 2022 plaats vinden.
Het is belangrijk dat geo-informatie makkelijk gevonden kan worden. Om dit te bereiken gaan wij zorgen dat bijvoorbeeld de meta-informatie van de geo-dataset voldoende kwalitatief is beschreven en vastgelegd zodat de zoekfunctie verbeterd wordt. Het Nationaal Georegister speelt hierin een belangrijke rol maar ook het PDOK portaal. Door de metadata goed te beschrijven en te indexeren zorgen wij ervoor dat geo-informatie gevonden kan worden met de standaard zoek engines die wij kennen en vaak gebruiken, denk dan aan Google. Ook moet het mogelijk zijn om te zoeken via attributen naar bepaalde geo-informatie. Met linked data technologie hebben wij inmiddels goede stappen gezet in deze zo gewenste verbetering.
PDOK wil een prominente rol gaan spelen bij het verstrekken van de geo-informatie die nodig is om de doelstellingen van VIVET" te bereiken. Vanuit de samenwerkende netbeheerders zijn (2021) of worden binnen het programma VIVET" diverse geo-informatie datasets verzameld en samengebracht tot een nieuwe geo-informatie bron. Het eerste resultaat is een WMS-service van de nieuwe dataset ‘Beschikbare capaciteit elektriciteitsnet’. In januari 2022 is deze informatie ontsloten via PDOK.
Vooralsnog heeft PDOK geen directe rol bij het verstrekken van geo-informatie aan gemeenten door middel van een bevragings-API. PDOK is wel vaak beleidsmatig aangedragen als de plek waar je deze data met API zou kunnen beheren en verstrekken.
De DSGO ontwikkeling heeft achterliggend jaar nog geen concrete samenwerking opgeleverd in die zin dat PDOK data is gaan ontsluiten in het kader van de Gebouwde Omgeving. Wel zijn er gesprekken geweest waarin PDOK als geodata platform aangeboden is om een functie van data verstrekking in te vervullen.
Het digitaal stelsel omgevingswet (DSO) maakt veel gebruik van de dienstverlening van PDOK. PDOK levert een bijdrage voor specifieke informatieproducten die nodig zijn voor de doelstelling van DSO. Met name is er in 2021 veel aandacht geweest om de Omgevingswet diensten OZON en Informatiehuis Ruimte (IHR) te voorzien van de OGC services Vector Tiling. PDOK heeft met succes deze vector tiling services gerealiseerd. Daarnaast zijn er meerdere verbeteringen doorgevoerd in de keten van datadistributie binnen het digitale stelsel van de omgevingswet.
Opdracht PDOK Verkenningen Innovatie & Standaardisatie Infrastructuur (PDOK Visi)
In het jaarplan 2021(hier link maken naar de html pagina maken) heeft PDOK Visi 3 accenten benoemd:
Hieronder een terugkoppeling van wat we in 2021 hebben gedaan.
Geonovum treedt op als penvoerder bij de strategievorming PDOK 2025 in het PDOK DAO. De strategievorming verloopt gestaag, maar is zeker vertraagd door de diverse discussies rond financiering van PDOK (en specifiek voor het betalen voor c.q. afkopen van gebruik). Inmiddels worden de contouren langzaam duidelijk, maar de strategievorming zal zeker doorlopen in 2022. Tegelijk zal ook gewerkt worden aan een paralleltraject om al verbeteringen door te voeren in een uitvoeringsagenda.
Binnen Geonovum hebben wij een proces ingericht, waarbij alle Geonovum-medewerkers die meewerken aan projecten, een gemeenschappelijk en gedragen kennisniveau hebben op het gebied van OGC-API's. Hiermee bereiken wij dat in de betreffende projecten op dezelfde manier naar de OGC API's gekeken wordt. Elk kwartaal kijken we naar de ontwikkelingen van zowel de projecten en programma's, maar ook naar de ontwikkelingen op Europees niveau van de OGC-standaarden. Daarnaast hebben wij een aantal testbeds georganiseerd.
Op het gebied van OGC API testbeds heeft Geonovum, met bijdrages van het PDOK Visi team, medio 2021 een testbed uitgeschreven. Doel van het testbed is het vinden van succesfactoren en best practices die ervoor zorgen dat meer organisaties en bedrijven in staat zijn om geodata te gebruiken. De focus in dit testbed ligt op OGC API Features.
In het najaar van 2021 zijn vijf partijen van start gegaan met de volgende onderzoeksthema's:
Bij dit testbed is een API platform ( https://apitestbed.geonovum.nl/) ingericht gebaseerd op container technologie en zogenaamde “continuous deployment/integration (CI/CD)”. Op dit platform draaien 5 verschillende demo implementaties van OGC API Features, met internationaal gebruikte (open source) software pakketten voor OGC APIs als pygeoapi en GeoServer en het door PDOK ontwikkelde GOAF voor OGC API Features. Ook een demo API die aan de INSPIRE vereisten voldoet wordt aangeboden. De ervaringen en inzichten bij het inrichten van het platform en de demo APIs zijn gedocumenteerd en online beschikbaar op https://apitestdocs.geonovum.nl/ .
Partijen in het testbed kunnen deze APIs gebruiken en desgewenst zelf inrichten en herconfigureren op het platform om tot betere resultaten te komen. Het API platform blijft ook na het testbed in de lucht om andere organisaties de gelegenheid te geven snel te kunnen experimenteren met OGC APIs.
Het testbed en platform moeten daarnaast zorgen voor meer praktijkervaring bij overheden en bedrijfsleven bij het inrichten van APIs. Dit gaat op een praktische manier, met als doel zichtbare en bruikbare resultaten (“show don’t tell”). De 5 organisaties (Nederlands en internationaal) die bezig zijn met de vraagstukken zijn net gestart. De resultaten van dit testbed dragen bij aan een implementatiestrategie voor APIs.
De laatste jaren is er steeds meer aandacht gekomen voor de vindbaarheid van geodata. Gebruikers van geodata geven aan dat de vindbaarheid kan worden verbeterd. Om de mogelijkheden tot verbetering echt concreet te maken zijn Geonovum en het Kadaster eind 2020 een pilot gestart. Doel van deze pilot is te onderzoeken hoe wij geodatasets goed vindbaar kunnen maken in search engines en dataset search engines zoals de Google Dataset search. Om de pilot overzichtelijk te houden zijn we gestart met het verbeteren van de datasets van PDOK.
In deze pilot wordt de metadata van alle datasets die op PDOK staan opgehaald uit het Nationaal Georegister. De metadata wordt hierbij automatisch getransformeerd naar “structured data”, simpel gezegd metadata waarmee zoekmachines goed overweg kunnen. Deze transformatie gebeurt elke 24 uur automatisch. Past een bronhouder informatie over de metadata aan in het NGR, dan is de gestructureerde metadata ook up to date. De gestructureerde metadata voegen we daarna opnieuw toe aan de PDOK-dataset pagina’s. Hiermee denken wij de PDOK-datasets in search engines en dataset search engines hoog te kunnen laten ranken.
Onderdeel van deze pilot is ook een 0-meting en diverse tussentijdse metingen. Op deze manier kunnen wij vaststellen of de inspanningen niet voor niets zijn geweest en of de vindbaarheid is verbeterd. De laatste meting zullen we uitvoeren in Q1 2022.
Vanuit het Ministerie van BZK en PDOK is aan Geonovum gevraagd om een onderzoek te doen naar de toekomstvastheid van het NGR. Het PDOK Visi team van Geonovum pakt dit onderzoek aan als een 3-traps-raket. Eerste stap is een beeld te schetsen van de rol van ‘metadata in de toekomst’. Dit wordt gedaan door het doen van deskresearch en vooral interviews. In stap 2 gaan we kijken hoe het huidige NGR al voldoet aan dit beeld, en wordt meteen een GAP-Analyse gedaan. Op basis van de GAP-Analyse wordt in stap 3 een handelingsperspectief geschreven dat aan de opdrachtgevers wordt aangeboden. Inmiddels zijn de interviews afgerond, en wordt gewerkt aan de 2e stap.
PDOK en Geonovum hebben eind juni een High5 uitgevoerd, waarbij er 5 dagen intensief gewerkt is aan het realiseren van een OGC API-Feature service conform INSPIRE specificaties. Vooraf zijn de specificaties op een rij gezet die door OGC en INSPIRE gesteld worden. Als dataset is gekozen voor de INSPIRE dataset adressen die uit de BAG komen.
(https://geonovum.github.io/OAPIF-PDOK-INSPIRE). De handreiking geeft aan dat het voor INSPIRE nog wel wat te vroeg is alleen de OGC-API-Feature service als INSPIRE download aan te bieden. Er zijn nog 2 barrières: De complexe INSPIRE datamodellen moeten naar een éénvoudige encoding omgezet worden om als input en output van de OGC-API-Feature te kunnen dienen. Daarnaast biedt de huidige tooling nog geen mogelijkheden om met andere coördinatensystemen te werken dan met WGS84, terwijl INSPIRE ETRS89 vereist. Er is recent wel een OGC standaard voor vastgesteld (http://docs.opengeospatial.org/is/18-058/18-058.html) en voor Geojson is er een extensie op de standaard in ontwikkeling voor het gebruik van andere CRS-sen, maar het zal nog even duren voordat applicaties daar ook goed mee omgaan.
Het is aan te bevelen de OGC-API-Feature service vast naast de voorlopig nog officiële INSPIRE downloads (Atom of WFS2.0) in productie te nemen en daarbij al zoveel als mogelijk te voldoen aan de INSPIRE-eisen die al wel mogelijk zijn om daarmee te anticiperen op de toekomst.
Verder heeft Geonovum zich ook bezig gehouden met:
Hierna volgen enkele kerngetallen voor PDOK, afgezet tegen voorgaande jaren. De cijfers spreken, onder meer op het onderdeel van het datagebruik, voor zich.
* Toelichting op de aantallen hits: halverwege 2021 is PDOK begonnen met data te migreren naar de cloud. Daardoor heeft PDOK twee platforms in gebruik, elk met een eigen loggingsysteem. Bij het samenvoegen van alle logginginformatie van beide systemen zijn technische issues ontstaan waardoor helaas een flink deel van de aantallen hits niet is gelogd. Om het aantal hits over heel 2021 toch te kunnen genereren, heeft PDOK een herberekening gemaakt voor het hele jaar. Daarbij is het maandgemiddelde bepaald over de stabiele eerste helft van het jaar, dat vermenigvuldigd is met 12 om het aantal jaarhits vast te kunnen stellen. De aantallen hits per dataset/services blijven echter ongewijzigd (en daarmee mogelijk lager dan in werkelijkheid), nu het voor PDOK niet meer mogelijk is specifieke logcijfers toe te wijzen aan specifieke datasets.
In onderstaande grafiek wordt het gebruik van het Nationaal Georegister weergegeven door middel van het totaal aantal hits op de server. De grafiek toont het gebruik per maand van heel 2021.
Over heel 2021 bedroeg het aantal hits op NGR 21,2 miljoen.
In onderstaande grafiek wordt het gemiddelde van de beschikbaarheid van de PDOK-webservices weergegeven. De grafiek toont het gemiddelde van elke maand van 2021.
Het vereiste INSPIRE-beschikbaarheidspercentage is 99,0%, in de grafiek zichtbaar in de lichtblauwe normlijn. Het voortschrijdend beschikbaarheidsgemiddelde over de afgelopen twaalf maanden komt op 99,86%, en is daarmee conform het INSPIRE-vereiste.
Contact van de klant met PDOK is ook mogelijk via het Klant Contact Center (KCC) en het Geoforum (powered by PDOK). De (lichte) daling van het aantal klantcontacten is niet 1 : 1 verklaarbaar. Wel geldt dat PDOK verbeteringen heeft aangebracht in haar communicatie, en aanpassingen doorgevoerd op website en in de operatie, die met elkaar hebben geleid tot hogere kwaliteit, met als gevolg daling van foutmeldingen en vragen.