Het Centrum Wiskunde & Infor­ma­tica (CWI) heeft een methode ontwik­keld die nauwkeurig gevoe­lige gegevens filtert uit de enorme hoeveel­heden data van het Humani­ta­rian Data Exchange (HDX) platform van de Verenigde Naties. Deze data zijn onmis­baar voor hulpver­le­ning, maar kunnen ook gevaar­lijk zijn als gevoe­lige infor­matie in verkeerde handen valt.

Het openbare dataplat­form van de Verenigde Naties (VN) bevat ruim 19.300 datasets, geüpload vanaf 254 crisis­ge­bieden van over de hele wereld. Lokale overheden delen er hun data, varië­rend van conflicten en oorlogen tot overstro­mingen en andere natuur­rampen. Op basis van deze infor­matie facili­teert de VN de coördi­natie van lokale humani­taire hulp.

De datasets bevatten uiteen­lo­pende gegevens, bijvoor­beeld over personen, gebouwen en locaties. “Organi­sa­ties zetten deze op het dataplat­form zonder zich te reali­seren dat bepaalde data schade­lijk kunnen zijn als ze in verkeerde handen terecht­komen”, legt onder­zoeker Madelon Hulsebos uit, die verbonden is aan de Database Archi­tec­tures groep van CWI. “Denk bijvoor­beeld aan de coördi­naten van zieken­huizen in oorlogs­ge­bieden, die daardoor een doelwit kunnen worden. Dit soort data moet er dus worden uitgefilterd.”

AI als oplossing

Eerder onder­zoek van Hulsebos toonde aan dat kunst­ma­tige intel­li­gentie (AI) patronen kan zien in een grote verschei­den­heid aan gestruc­tu­reerde datasets. Op basis van dit inzicht wendde ze AI aan om een oplos­sing te ontwik­kelen voor het HDX-project.

Hulsebos en AI Master­stu­dent Liang Telkamp ontwik­kelden twee mecha­nismen die data op gevoe­lig­heid analy­seren. Ze intro­du­ceerden daarin een nieuw concept: contex­tueel gevoe­lige data. “Gevoe­lige data zijn meer dan alleen persoons­ge­ge­vens. Bepalend is of de infor­matie in verkeerde handen schade kan veroor­zaken”, licht Hulsebos toe. “Ook kan gevoe­lig­heid tijdge­bonden zijn: misschien waren bepaalde gegevens 5 jaar geleden niet gevoelig, maar in deze tijd wel. Of plaats­ge­bonden: de coördi­naten van een zieken­huis in Neder­land zijn minder gevoelig dan die van een zieken­huis in Gaza. De context van een dataset is dus heel belangrijk.”

Voor een van de AI-mecha­nismen gebruikten de onder­zoe­kers tekst­do­cu­menten van de VN waarin regels staan over de omgang met data; welke gegevens mogen niet gepubli­ceerd worden en welke wel? AI koppelde de datasets aan de juiste regels. Vervol­gens lieten de onder­zoe­kers diverse LLM’s (Large Language Models, bijvoor­beeld GPT‑4 maar ook open source modellen als Qwen) de betref­fende regels lezen en op basis daarvan bepalen of de set gevoe­lige data bevatte.

VN-bijeenkomst in oktober

Hulsebos: “We zagen dat ons LLM-gedreven mecha­nisme vele malen beter werkt dan een tool van Google die de VN gebruikten. Zo detec­teerde Google DLP 63 procent van de gevoe­lige persoons­ge­ge­vens, terwijl ons systeem tot 94 procent kwam.” Door het meegeven van de VN-richt­lijnen over gevoe­lige data, werden de LLM’s boven­dien een stuk nauwkeu­riger. Het aantal vals-positieven halveerde daardoor. 

Inmid­dels heeft de VN besloten om de mecha­nismen in zijn dataplat­form te integreren. In oktober zal Hulsebos hierover een presen­tatie geven tijdens een VN-bijeen­komst in Barcelona.

Andere toepassingen

“Het mooie van deze mecha­nismen is dat ze ook buiten de VN toepas­baar zijn, bijvoor­beeld op cloud­plat­forms waar enorme hoeveel­heden data worden gedeeld, van bedrijfs­ge­voe­lige finan­ciële gegevens tot overheids­data”, zegt Hulsebos. “Veel publieke data-portals leveren input voor de training van AI-modellen. En ook daar wil je geen gevoe­lige infor­matie aantreffen.”

Een uitge­breider verhaal is te vinden op de CWI-website.