“Het probleem ligt bij de machine”

Mirca Madianou onderzoekt al meer dan 15 jaar de sociale gevolgen van het gebruik van nieuwe technologieën bij hulpoperaties. Ze zag de digitalisering en AI oprukken. “Het gebruik van technology for good is niet altijd good.”

Welkom in een hightech vluchtelingenkamp. Hier betalen vluchtelingen voor hun hulpgoederen met een gezichtsscan. Zodra de authenticatie is voltooid, geeft de blockchain-technologie een elektronische betaling vrij. Zo weet de supermarktkassa in het kamp precies hoeveel rijst, olie en groente de familie nog tegoed heeft. Medicijnen nodig? Die kunnen met bitcoins worden afgerekend. Ook aan het mentale welzijn is gedacht. Via een app op de telefoon geeft een chatbot psychologische begeleiding bij de verwerking van posttraumatische stress. Wie niet tevreden is, kan een sms’je sturen of terecht bij het digitale klachtenformulier.

In de wereld van technology for good, waar digitale technologie en AI worden bejubeld als hét antwoord op sociale, economische en milieu-uitdagingen, is dit de toekomst. Maar voor wetenschapper Mirca Madianou is het een schrikbeeld. Als hoogleraar aan de afdeling Media, Communicatie en Culturele Studies van Goldsmiths, University of Londen, bestudeert zij de sociale gevolgen van communicatietechnologieën en AI in crisissituaties en de humanitaire wereld. “Het gebruik van technology for good is niet altijd good”, zegt ze. Al meer dan 15 jaar doet Mirca onderzoek in onder andere de Filipijnen en Thailand. In die periode is zij getuige geweest van een snelle digitalisering en dataficatie van humanitaire operaties. “Ik heb gezien hoe digitale infrastructuren en AI vaak nieuwe vormen van ongelijkheid creëren juist bij goedbedoelde hulpoperaties.”

Hoe dat zit, kun je lezen in haar doorwrochte en met verhelderende anekdotes aangeklede boek, Technocolonialism: When Technology for Good is Harmful. Down to Earth vraagt haar via Zoom – ja, soms is die technologie onontkoombaar, glimlacht ze – waarom iedereen van haar werk op de hoogte moet zijn.

Het begon allemaal op de Filipijnen, vertelt Mirca. Het land waar zij, Grieks van origine, meer dan 20 jaar geleden haar (onderzoeks)hart aan verloor. Toen monster-tyfoon Haiyan in 2013 over de archipel raasde en daarop een intocht van humanitaire hulp volgde, wist ze dat ze ter plekke wilde zijn. “Ik werd getroffen door het optimisme over hoe technologie bij die hulp zou kunnen helpen. Ik vroeg me af: zou dat echt waar zijn?” Samen met collega’s bracht ze een jaar door op plaatsen die door Haiyan waren verwoest. “Ik raakte steeds meer geïnteresseerd in hoe technologie verweven is met humanitaire operaties. Zo begon mijn zoektocht; waar worden al die technologieën voor gebruikt en met welk doel?”

Digitale noodkreet

Het moment waarop Mirca de Filipijnse Dolores ontmoette, wist ze dat ze iets op het spoor was. Deze moeder van twee kinderen, wier huis was verwoest, werd maar niet geholpen door de hulporganisaties. In het dorp was alle hulp namelijk op de vissersgemeenschap gericht, maar Dolores’ man was riksja-bestuurder. Wel waren er hotlines van ngo’s die bewoners konden gebruiken om, met een mobiele telefoon, feedback te geven over de hulp. Dolores stuurde een wanhopig berichtje naar een van de vele nummers. Toen Mirca verscheen, dacht ze dat die hulp eindelijk was gekomen. “De hulp na Haiyan zou hét voorbeeld zijn van een humanitaire operatie waarbij de organisaties in contact stonden met de slachtoffers. De Filipijnen hadden al een goed mobiel netwerk en werden daarom gezien als een perfect laboratorium om mensen die getroffen zijn door een ramp via digitale kanalen hun behoeften (needs) te laten communiceren.” Maar de praktijk bleek weerbarstig. Dolores hoorde net als veel andere gebruikers nooit iets terug op haar digitale noodkreet. Alleen mensen die al hulp hadden gekregen, konden feedback geven. Dolores, die was overgeslagen, telde niet als cliënt. Wat betekent accountability nog, vroeg Mirca zich af, als de meest benadeelden niet eens legitieme gesprekspartners zijn?

“De Filipijnen werden gezien als een perfect laboratorium om mensen die getroffen zijn door een ramp via digitale kanalen te helpen”

“Deze aanpak steunt op zoveel aannames: er wordt vanuit gegaan dat gebruikers geletterd zijn, een mobieltje hebben, genoeg geld voor beltegoed. Met andere woorden, de machine verwacht van mensen die door een crisis worden getroffen dat ze zijn zoals ‘westerse’ mensen. Het concept van digitaal feedback geven is zélf westers gekleurd. Het is niet gek dat bijna niemand die hotlines gebruikte, zoiets was ongebruikelijk. Mensen waren bang om kritisch te zijn en hulp kwijt te raken. Een systeem dat in het mondiale Noorden is ontworpen en in het Zuiden wordt geïmplementeerd, in een gebied waar nota bene na de storm bijna geen infrastructuur, tv, radio of internetconnectie was, versterkt de machtsongelijkheid.”

Koloniale erfenis

Op dit moment hebben wereldwijd meer dan 300 miljoen mensen humanitaire hulp nodig. Noodsituaties en klimaatrampen komen steeds vaker voor. Niet verrassend misschien, dat innovatie en AI lonken als snelle oplossingen voor de complexe problemen van de hulpsector. Maar al die digitale snufjes kunnen de aandacht afleiden van de systemen die onder het oppervlak ontstaan. Mirca beschrijft hoe door technologie humanitaire structuren, staatsmacht en bedrijven met elkaar verweven raken – een samenspel dat volgens haar bestaande ongelijkheid versterkt. En zo koloniale erfenissen nieuw leven inblaast.

Als voorbeeld noemt ze het verzamelen van biometrische gegevens. In de afgelopen jaren zijn biometrische registraties gemeengoed geworden in de humanitaire wereld. Irisscans, vingerafdrukken, ze worden gebruikt voor de meest basale hulp: “Om houtskool te kunnen krijgen, of een zak meel, om te identificeren wie medische hulp nodig heeft.” Symbolische uitwissing Dat geldt ook voor de meer dan een miljoen Rohingya die in 2016 en 2017 in Bangladesh aankwamen op de vlucht voor de genocide in Myanmar. Om de opvang goed te laten verlopen, startte de VN-vluchtelingenorganisatie (UNHCR) – samen met de regering van Bangladesh en een particuliere aannemer – een digitaal identiteitsprogramma om zo de biometrische gegevens van alle vluchtelingen te verzamelen. Een mijlpaal, voor veel Rohingya betekende dit de eerste identiteitskaart die ze ooit bezaten. Maar er was ook onrust en protest in de kampen. Mensen waren bang voor de gevolgen en boos omdat het digitale identiteitssysteem ze niet als Rohingya maar als ‘onderdanen van Myanmar’ registreerde. Dat werd gezien als een vorm van symbolische uitwissing.

Het protest werd neergeslagen door Bengaalse autoriteiten en de biometrische registratie ging door. Later zou blijken dat de Bengaalse overheid de gegevens deelde met Myanmar om, naar eigen zeggen, ‘toekomstige repatriëring mogelijk te maken’.

De ngo Human Rights Watch stelde vast dat hier geen geïnformeerde toestemming van de vluchtelingen voor was verzameld. Op welke manier is dit een voorbeeld van technokolonialisme?

“In dit geval zit de grootste zorg bij het feit dat de Bengaalse overheid de gegevens met Myanmar deelde. Bij de Rohingya bestond de angst dat die gegevens in de toekomst opnieuw tot vervolging zouden kunnen leiden. Het laat zowel de alomtegenwoordigheid van digitale technologieën in een humanitaire setting zien, als het geweld dat daarbij kan komen kijken.”

Digitale innovaties zijn geen antwoord op en geen alternatief voor bestaande ongelijkheid, vertel je in je boek. Ze reproduceren die ongelijkheid en maken het soms zelfs erger. Hoe werkt dat?

“Dat gebeurt op verschillende manieren. Eén probleem is dat deze technologieën als ideale identificatietechnologieën worden gepresenteerd. Maar we weten uit het werk van veel onderzoekers dat biometrische technologieën discrimineren op basis van etniciteit en geslacht. Zo hebben gezichten van vrouwen of van mensen met een donkerder huidskleur een hogere foutmarge bij gezichtsherkenning. Dat zit ingebakken in het ontwerp van de technologie. En dat kan dus betekenen dat iemand per ongeluk wordt uitgesloten. Dat is nogal wat, als je afhankelijk bent van een hulprantsoen om te overleven. Eén van mijn onderzoekdeelnemers vertelde me dat ze problemen had om door een scanner gelezen te worden. “Er moet een probleem zijn met mijn gezicht”, zei ze. Nee, er was geen probleem met haar gezicht. De scanner was niet getraind om een gezicht zoals het hare te lezen. Het probleem ligt bij de machine, maar je kunt zien hoe iemand zo’n proces van minderwaardigheid gelijk internaliseert.”

Is dit dan nieuw?

“Nee, raciale ongelijkheden maken deel uit van ons huidige systeem. Ze zijn niet nieuw, de technologieën introduceren de ongelijkheid niet, maar ze maken vormen van uitsluiting en discriminatie wel tastbaarder. En zo worden neokoloniale machtsdynamieken verstevigd.”

De relatie tussen technologie en sociale processen fascineert Mirca mateloos. In een eerder boek beschrijft ze hoe Filipijnse vrouwen die als schoonmakers in Engeland werken, via smartphone contact houden met hun kinderen die ze achter hebben moeten laten. Mobile parenting, noemt ze dat. Minderheden en kwetsbare groepen, ongedocumenteerde werksters, vluchtelingen – ze ondervinden vaker de gevolgen van digitale innovatie. “Opvallend aan de Covid 19-pandemie in het Verenigd Koninkrijk is de onevenredige manier waarop die zwarte en Aziatische minderheden en mensen uit de arbeidersklasse heeft getroffen”, schrijft ze. Haar onderzoek laat zien hoe digitale technologieën en datapraktijken die tijdens covid zijn gebruikt sociale ongelijkheden versterkten. “Een second-order-disaster”, noemt ze het: een dubbele ramp.

Wat motiveert je in deze zoektocht?

“Laten zien hoe nieuwe technologieën valse verwachtingen van onpartijdigheid en neutraliteit scheppen, terwijl juist het tegenovergestelde waar is. Om dat te kunnen zien, moeten we beter kijken naar wie er profiteert: zijn het gemarginaliseerde gemeenschappen of zijn het overheden, die een groep willen onderdrukken? Of zijn het misschien bedrijven die kansen zien op het gebied van profilering of groeimogelijkheden?”

Ben je een bedrijf tegengekomen dat volop profiteert?

Hier twijfelt Mirca voor het eerst een beetje. “Het is vaak moeilijk om te kwantificeren hoeveel winst bedrijven nu maken met een tech for good-project. Dat komt deels omdat het niet altijd mogelijk is te bepalen hoeveel een bedrijf heeft geprofiteerd van de branding mogelijkheden. Het gebeurt maar zelden dat een bedrijf dat zelf toegeeft. Eén keer sprak ik een lokaal bedrijf op de Filipijnen dat aangaf hun marktaandeel te hebben vergroot door hun filantropische activiteiten in de nasleep van de tyfoon.”

“De scanner was niet getraind om een gezicht zoals het hare te lezen”

In dit kader signaleert Mirca ook een trend: start-ups die hun eigen tech-projecten opzetten voor goede doelen. Chatbots bijvoorbeeld, die bedoeld zijn om vluchtelingen te helpen met psychologische steun. Pilotitis, noemen onderzoekcollega’s dat fenomeen: de onstilbare honger naar pilotprojecten die iets ‘goeds’ willen doen. Het gevolg is een eindeloze stroom van experimentele pilots waarbij technologieën worden getest en uitgeprobeerd. En daar kleven bezwaren aan. Vaak is er geen samenwerking met humanitaire organisaties en zijn de testprojecten – die zelden leiden tot een blijvende oplossing – van korte duur. Mede daardoor lijken ze vooral in het leven geroepen als reclame voor het bedrijf, al is dat volgens Mirca dus lastig te kwantificeren.

“Wat je wel kunt vaststellen, is dit”, vervolgt ze, “we zien niet de waarborgen die wel zouden worden ingevoerd als het project voor het ‘Noorden’ bedoeld was. Als ik word gevraagd om deel te nemen aan een pilot, word ik uitgebreid geïnformeerd over mogelijke risico’s en het gebruik van mijn gegevens. Pilots in vluchtelingenkampen of rampgebieden lopen anders. Vrijwillige en geïnformeerde toestemming, de twee belangrijkste pijlers, ontbreken vaak omdat er geen volledige informatie wordt gegeven. Soms weten mensen niet eens dat ze deelnemen aan een pilot. Of er is gewoon geen alternatief. Dan is het: ‘als je hulp wilt, teken even hier’.”

Soms groeien pilots uit tot grote wereldwijde programma’s. Bij deze miljoenenprojecten blijkt het vaak moeilijk om precies te achterhalen hoe de samenwerking tussen humanitaire organisaties en bedrijven verloopt. Een voorbeeld is de overeenkomst tussen het VN Wereldvoedselprogramma (WFP) en Silicon Valley-bedrijf Palantir. Dit bedrijf, bekend van grensbeveiliging- en surveillancetechnologieën, helpt de hulporganisatie om de voedseldistributie te stroomlijnen. Door bijvoorbeeld voedingswaarden, inkooplocaties, en levertijden van verschillende voedingsmiddelen te analyseren, kan het WFP kosten besparen op voedselhulppakketten. Maar veel onderzoekers en mensenrechtenactivisten zijn bezorgd. Zou Palantir, dat bekend staat als datamining-bedrijf, ook de data van de meer dan 90 miljoen ‘cliënten’ van het WFP in handen krijgen?”

Wat was je reactie daarop?

“Een bedrijf dat nauwe banden onderhoudt met het militaire establishment werkt nu samen met het Wereldvoedselprogramma. Wij bezorgde onderzoekers vroegen waarom, maar kregen geen antwoord. Door die geheimzinnigheid en ondoorzichtigheid zie je dat de zorgen over gegevens waarborgen waarschijnlijk terecht zijn.”

Zijn technologische humanitaire interventies dan per definitie slecht? Het WFP laat toch ook zien dat het wat oplevert?

“In mijn boek bekijk ik ook hoe technologie juist kan worden gebruikt voor verzet. Hoe mensen het kunnen inzetten om hun identiteit te bevestigen, om te zeggen wie ze zijn op een manier die belangrijk voor hen is. Technologie kan vormen van geweld creëren, maar het kan mensen ook helpen hun eigen identiteit te laten gelden tegenover dit soort toezicht en vormen van structureel geweld. Het gaat er dus niet om dat technologie inherent slechte eigenschappen heeft. Het gaat om de brede politieke en sociale context, die bepaalt uiteindelijk hoe technologie wordt toegepast.”

In je boek heb je kritiek op humanitaire hulp, maar toch is die op sommige momenten belangrijk.

“Jij vroeg me naar Gaza. Nu, dat is een situatie waarbij je alleen maar kan hopen dat de vrachtwagens met hulpgoederen aankomen. Dus zolang we hulpprogramma’s nodig hebben, moeten we ons allereerst afvragen: hoe zorgen we ervoor dat die hulp rechtvaardig en niet schadelijk is?”