Gebruik van nieuwe technologie door overheden vraagt om publieksvriendelijk, transparant en betrouwbaar ontwerp

Gebruik van nieuwe technologie door overheden vraagt om publieksvriendelijk, transparant en betrouwbaar ontwerp

NWO-onderzoeksproject CHAIN maakt na 5 jaar de balans op

Overheden maken bij de uitvoering van hun publieke taken steeds meer gebruik van besluitvorming op basis van grootschalige, geautomatiseerde data-analyse met behulp van algoritmen - soms zonder menselijke tussenkomst. In samenwerking met het bedrijfsleven experimenteren zij met nieuwe technologieën zoals blockchain, om de dienstverlening aan burgers en bedrijven te verbeteren en 'maatwerk' te leveren. Deze innovatieve toepassingen kunnen echter botsen met kernwaarden van de rechtsstaat, zoals transparantie en rechtvaardigheid. Een interdisciplinaire groep wetenschappers van de Universiteit Utrecht en Tilburg University heeft aan de hand van praktijkvoorbeelden onderzocht hoe de overheid het gebruik van potentieel nuttige technologie in goede banen kan leiden. Hiervoor is het onder meer nodig om vanaf het ontwerp van nieuwe toepassingen de burger centraal te stellen, heldere en afdwingbare afspraken te maken met private partijen, en juristen tijdig te betrekken bij het maken van de juiste ontwerpbeslissingen.

Het is belangrijk om bij de inzet van nieuwe technologie door de overheid wederzijds vertrouwen na te streven en publieke, rechtsstatelijke waarden te borgen. Het gaat dan voornamelijk om waarden zoals menselijke waardigheid, gelijkheid, privacy, transparantie en het afleggen van rekenschap. Het ondoordacht uitrollen van dit soort toepassingen kan het vertrouwen in de overheid ernstig schaden - zeker als dit pas achteraf wordt vastgesteld (zoals in het geval van de Toeslagenaffaire en het PAS-programma is gebleken).

Maatschappelijk verantwoord innoveren

Het zojuist afgeronde onderzoeksproject maakt deel uit van het NWO onderzoeksprogramma Maatschappelijk verantwoord innoveren. In het ontwerpproces van innovatieve toepassingen moeten maatschappelijke aspecten en de potentiële impact op stakeholders al in een zo vroeg mogelijk stadium de nodige aandacht krijgen. Dit vraagt om interdisciplinaire samenwerking - tussen datawetenschappers, juristen, sociologen, filosofen en ethici - en nauw overleg met relevante stakeholders, zoals overheden, bedrijven, maatschappelijke organisaties en burgers. Binnen het project is daarom samengewerkt met een consortium van publieke en private partners, aangevuld met een valorisatiepanel (zie voor meer details onderaan de pagina).

De overheid moet steeds meer maatwerk aan de burger kunnen aanbieden en dat kan mede op basis van technologie. We moeten de juiste juridische en ethische vragen beantwoorden vóór we een nieuwe technologie loslaten op de maatschappij. Maar dat wil niet zeggen dat er geen ruimte moet zijn voor experimenteren en innoveren.

Het CHAIN-project richtte zich op hoe de kernwaarden van de rechtsstaat - zoals menselijke waardigheid, rechtsbescherming, transparantie, en rekenschap (kunnen) afleggen - zijn veilig te stellen tegenover mogelijk conflicterende belangen zoals efficiëntie en schaalbaarheid. Het project zocht hierbij antwoord op de vragen:

• 
  
• Welke waardenconflicten kunnen zich voordoen wanneer publiek gezag wordt uitgeoefend via algoritmische systemen, in het bijzonder 'gedistribueerde en data-gedreven technologieën' (namelijk blockchain en geautomatiseerde besluitvorming op basis van data-analyse).
• Welke rechtsstatelijke randvoorwaarden zijn er nodig om de rol en verantwoordelijkheden van publieke actoren bij het gebruik van deze technologieën richting te geven.

Een 'rode knop' voor schuldenrust

De eerste casestudie was 'de Rode Knop', een initiatief van het Centraal Justitieel Incassobureau (CJIB) om te voorkomen dat mensen met schulden aan de overheid (zoals belastingschuld, terug te betalen toeslagen, verkeersboetes) in een 'schuldenmoeras' belanden door een opeenstapeling van aanmanings- en deurwaarderskosten. Sinds 2017 is het weliswaar mogelijk om een schuldenmoratorium aan te vragen bij de rechter, maar de drempel hiervoor ligt voor de gemiddelde schuldenaar te hoog (denk hierbij aan het voldoen aan alle formele eisen, maar ook aan de factor schaamte). Met het indrukken van een virtuele rode knop in een telefoonapp kunnen zij laagdrempelig verdere incassoprocedures stopzetten - mits zij deelnemen aan een traject voor schuldhulpverlening van de gemeente.

Deze toepassing maakt gebruik van blockchain, zodat burgers alleen relevante (gevalideerde) gegevens hoeven delen met het CJIB en/of andere schuldeisers, terwijl zijzelf de regie houden over hun gegevens. Sleutelbegrippen hierbij zijn: 'zero knowledge proof' (bewijs leveren dat je schulden hebt, zonder andere privacygevoelige informatie vrij te geven), en 'self sovereign identity' (de burger bepaalt zelf of hij informatie vrijgeeft). Goossens in een video-interview: "De privacywetgeving houdt het CJIB tegen om te gaan grasduinen in databases van een andere overheid, waardoor mensen nog dieper in de schulden raken, terwijl er eigenlijk oplossingen zijn zoals uitstel van betaling. De 'rode knop' houdt in dat een burger bij zijn gemeente aangeeft dat hij problematische schulden heeft en dat wordt geregistreerd in de blockchain. Het CJIB ziet vervolgens deze (betrouwbare) melding dat er al een schuld is, maar voor de rest niets. Mensen kunnen dan 'schuldenrust' krijgen."

Interessant aan deze casestudie was dat de onderzoekers alle (meer dan 50) bijeenkomsten van de projectpartners konden bijwonen en zo in staat waren direct 'onder de motorkap' mee te kijken bij de ontwikkeling van de app. De Rode Knop is gedurende de pilotfase getest in Den Haag en Eindhoven. Momenteel wordt de app verder ontwikkeld op basis van de bevindingen die dat heeft opgeleverd.

EnergieKnip: 'smart contracts'

De EnergieKnip van de gemeente Emmen was - anders dan de Rode Knop - reeds ontwikkeld en in gebruik om energiebesparende subsidies (in de vorm van waardebonnen te besteden bij bouwmarkten) toe te kennen aan inwoners, door hen via een app vragen over hun energieverbruik te laten beantwoorden. De app maakt gebruik van blockchain gekoppeld aan 'smart contracts' (de automatische uitvoering van een actie, in dit geval de toekenning van een subsidie, als eenmaal aan bepaalde voorwaarden is voldaan). Door de combinatie van deze twee casestudies hebben de onderzoekers de levenscyclus van het ontwerp van dergelijke toepassingen goed kunnen volgen, van ontwikkeling tot en met implementatie. Want uiteindelijk blijkt pas tijdens de uitvoering of de nieuwe technologie ook juridisch de toets kan doorstaan en in overeenstemming is met alle wet- en regelgeving. De EnergieKnip 'produceert' immers overheidsbesluiten - automatisch in plaats van door een ambtenaar - waarmee publiek geld wordt toegekend aan burgers, besluiten die door de bestuursrechter aan de Algemene wet bestuursrecht (AWB) getoetst kunnen worden.

Ik ben altijd verbaasd dat men nieuwe, complexe technologie gaat testen met mensen die het niet makkelijk hebben.

Het 'do-no-harm'-principe

In de CHAIN-podcast Aflevering 2: Casestudies vertellen onderzoekers Gert Meyers (docent Digitalization of health and wellbeing aan Tilburg University) en Charlotte van Oirsouw (promovendus aan de Universiteit Utrecht) over de casestudies. De Rode Knop was al in beeld bij aanvang van het onderzoek, legt Meyers uit. "Het was nog in ontwikkeling. Er waren verschillende stakeholders bij betrokken, uiteenlopende waarden, en ook duidelijk waren juridische elementen aanwezig. Kortom, een vat vol potentieel interessante observaties." Eén van die observaties kwam uiteindelijk ook terecht in de Lessons learned van het project (het do-no-harm-principe, zie de laatste paragraaf): "Ik ben altijd verbaasd dat men nieuwe, complexe technologie gaat testen met mensen die het niet makkelijk hebben, zoals bijvoorbeeld in het geval van de Rode Knop mensen met schuldenproblemen in vaak stressvolle situaties. Ook was er aanvankelijk het idee om mensen de regie over de eigen gegevens bijna op te dringen." Soms zijn mensen hiertoe eenvoudigweg niet in staat of onvoldoende (digitaal) geletterd; teveel eigen regie zou hun problemen dan eerder vergroten.

De tweede casestudie moest bij voorkeur iets met subsidies zijn, omdat daar vaak sprake is van een duidelijke beslissing (je krijgt geld of niet), en daarmee een goede ingang om de blockchaintechnologie 'smart contracts' te bestuderen. Maar het bleek niet gemakkelijk om tussen de vele geadverteerde 'use cases' er een te vinden die daadwerkelijk in de praktijk was geïmplementeerd. Meyers merkte dat blockchainprojecten vaak vooral een belofte inhielden. "Men doet alsof men alle problemen heeft opgelost en spreekt zelfverzekerd over technologische oplossingen, maar het zijn vaak alleen assumpties dat blockchain een oplossing zou kunnen zijn."

Door de combinatie van juridisch en empirisch onderzoek hoop ik een completer plaatje te krijgen.

Voldoen aan de AVG is niet genoeg

Uiteindelijk diende zich met de EnergieKnip perfect studiemateriaal aan om problemen te identificeren die zich pas in de uitvoeringsfase openbaren. Charlotte van Oirsouw in CHAIN-podcast Aflevering 2: Casestudies: "Het is via de EnergieKnip-app alleen mogelijk dat burgers naar de gemeente communiceren, en niet andersom. Door niet met persoonsgegevens te werken, kan de gemeente ook geen afwijzing van een aanvraag sturen en een motivering daarvan. Omdat er geen persoonlijke data op de blockchain staan, heeft de gemeente het idee dat ze aan (privacy)regulering voldoen, maar regulering is veel breder dan alleen de AVG [Algemene verordening gegevensbescherming], want er zijn heel veel verschillende wetten die op het handelen van de overheid zien, zoals de AWB of de WOO [Wet open overheid]." Meyers ziet een bredere trend bij de blockchain use cases die hij tegenkwam: "Interessant is dat men de weg vrij ziet wanneer maar voldaan is aan de AVG-vereisten, of liever gezegd men zorgt ervoor niet te hóeven voldoen aan de AVG."

Ook andere problemen met de EnergieKnip kwamen pas bij de uitvoering aan het licht, zoals een mogelijke schending van het gelijkheidsbeginsel (verschillende wijken van Emmen ontvingen de QR-codes naar de app op verschillend moment). De EnergieKnip was in feite een subsidieregeling, waarvoor alle burgers gelijk in aanmerking komen, maar vermomd als vragenlijst. Burgers zagen de waardebonnen die zij ontvingen als beloning voor hun medewerking, maar toen het subsidiepotje leeg was en zij niets meer kregen voelden zij zich daarom soms bedrogen door de gemeente.

De waarde van empirisch casestudie-onderzoek

Het empirische onderzoek vormt een belangrijke aanvulling op het traditionele juridisch-dogmatische onderzoek naar wetsteksten en rechtsspraak, dat normaal gesproken louter achter het bureau plaatsvindt, zegt Charlotte van Oirsouw: "Het doen van een casestudie is echt een toevoeging aan juridisch onderzoek. Uit mijn literatuurstudie bleek dat er wel het een en ander was geschreven over het belang van transparantie en accountability, maar een uitwerking of concretisering van deze alomvattende termen ontbrak. Door de combinatie van juridisch en empirisch onderzoek hoop ik een completer plaatje te krijgen." Een interessante vraag vindt zij bijvoorbeeld of onder transparantie ook het uitleggen van de (blockchain)technologie aan burgers valt, of de verplichting om duidelijk maken wat de impact ervan kan zijn op de rechten van gebruikers - en hoe definieer je een breed uitlegbaar begrip als 'impact' dan?

Momenteel werkt zij aan haar proefschrift over de regulering van transparantie en het rekenschap afleggen voor deze nieuwe vormen van geautomatiseerde besluitvorming door de overheid. Het uitvoeren van interdisciplinair, empirisch onderzoek naar de praktijk, door veldobservaties en interviews, is een van de aanbevelingen bij de ontwikkeling en inzet van dit soort technologie.

Bevindingen en 'lessons learned'

Enkele van de bevindingen en lessons learned die het project heeft opgeleverd:

• 
  
• Om het burgerperspectief centraal te stellen, moet de overheid responsief zijn voor de noden, het doenvermogen en de digitale geletterdheid van burgers met wie zij in contact komt. Hierbij is het van belang om maatwerk te bieden en zinvol contact tussen burgers en de overheid te borgen. Het uitproberen van nieuwe digitale toepassingen op kwetsbare bevolkingsgroepen moet worden vermeden (het do-no-harm-principe). Burgers hebben bovendien uiteenlopende informatiebehoeften. Het is daarom nuttig om burgers bij de ontwikkeling en implementatie van technologie te betrekken en om feedback te vragen.
• De overheid is verantwoordelijk voor het naleven van rechtsstatelijke waarden en juridische normen, ook als zij de ontwikkeling en implementatie van technologie uitbesteedt aan een private partij. Er is steeds meer bestuurlijke samenwerking tussen publieke en private partijen, waarbij waarden zoals transparantie en rekenschap afleggen onder druk kunnen komen te staan. Publieke en private partijen moeten daarom heldere en afdwingbare afspraken maken om de onrechtmatige inzet van technologie te voorkomen en effectieve bestuurlijke, democratische en rechterlijke controle mogelijk te maken. De governance-structuur moet voorzien in checks and balances en zicht bieden op de impact voor de burger.
• Blockchaintechnologie wordt wel voorgesteld als een 'trustless technology' die betrouwbare interactie tussen de overheid en burgers kan verzekeren zonder dat er (persoonlijk) vertrouwen is. Maar voor de ontwikkeling van een succesvolle blockchaintoepassing zijn vertrouwensrelaties tussen publieke en private partijen wel degelijk essentieel.
• Privacy in de vorm van de Algemene verordening gegevensbescherming (AVG) en - meer recent - de AI Act, krijgen bij de ontwikkeling van technologie veel aandacht. Minder aandacht gaat echter uit naar algemene beginselen van behoorlijk bestuur (zoals de Algemene wet bestuursrecht, de Wet open overheid of de Archiefwet). Hieraan voldoen, moet bij de ontwikkeling, inkoop en toepassing van technologie worden geborgd.
• Juristen kunnen in interdisciplinaire teams een belangrijke rol spelen bij het borgen van rechtsstatelijke waarden, door vooraf de juridische consequenties van (technische) ontwerpkeuzes te duiden. Nu worden zij vaak pas (te) laat in het ontwikkelingsproces betrokken.
• Empirisch casestudie-onderzoek naar de ontwikkeling en inzet van technologie bij bestuurlijke besluitvorming, kan waardevolle inzichten opleveren voor de ontwikkeling van beleid en best practices. Onderzoekers kunnen beleidsmakers informeren over maatschappelijke risico's en kansen van opkomende digitale technologieën. Interdisciplinair en kwalitatief onderzoek naar de praktijk, bijvoorbeeld door veldobservaties en interviews, zijn hierbij van grote meerwaarde.

Voor een compleet overzicht van Lessons learned en publicaties van het project:

Over het project

Het NWO-project The Role and Responsibilities of Public Actors in Distributed Networks. Transparency, Trust and Legitimacy by Design (2020-2025) begon aan de Tilburg University in 2020, en is in 2022 voortgezet als samenwerking met de Universiteit Utrecht toen Jurgen Goossens daar werd benoemd tot hoogleraar staatsrecht. De start van het project werd beïnvloed door de COVID-19-pandemie.

Op de projectwebsite CHAIN - Connecting humankind through algorithms and information networks is meer informatie te vinden over het project, zoals kennisclips met uitleg over blockchain en 'smart contracts' en een overzicht van de publicaties en media-bijdragen.

Gaandeweg het project zijn er ook enkele onvoorziene (maar interessante) zijpaden bewandeld, zoals een onderzoeksrapport (uitgegeven in boekvorm) voor Rijkswaterstaat: Transparantie in de blockchain. Een juridische verkenning van de toegang tot overheidsinformatie bij de inzet van gedistribueerde technologie, en een project gesubsidieerd door de Maatschappelijke Coalitie Over Informatie Gesproken (MCOIG): Naar een gelijkwaardigere informatierelatie bij geautomatiseerde overheidsbesluitvorming.

Podcasts en video-interview

Daarnaast zijn er drie informatieve podcasts gemaakt: 'Van idee tot onderzoek' (met Jurgen Goossens en techniekfilosoof van Esther Keymolen van Tilburg University), 'Casestudies', en 'Voorbij het eigen perspectief' (over multidisciplinair onderzoek). Ook is er een video-interview waarin Jurgen Goossens en Charlotte van Oirsouw het onderzoek uitleggen: