Op woensdag 1 juli is het precies 5 jaar geleden dat de Neder­landse Gebaren­taal (NGT) een officiële taal is in Neder­land. Studenten van de oplei­ding Applied Data Science & Artifi­cial Intel­li­gence (ADS&AI) bij Breda Univer­sity of Applied Sciences (BUas) hebben in slechts twee weken werkende AI-proto­types gebouwd waarmee gebrui­kers Neder­landse Gebaren­taal kunnen leren en direct feedback krijgen op hun handgebaren.

De opdracht werd aange­dragen door Nienke Fluitman van Gebaren​.nl, gecer­ti­fi­ceerd NGT-docent en onder­nemer op het gebied van inclu­si­vi­teit en toegan­ke­lijk­heid. Zij signa­leerde een groot gebrek aan inter­ac­tief online lesma­te­riaal voor NGT en stelde een platform voor waarbij gebrui­kers via een camera kunnen oefenen met vinger­spel­ling, het spellen van namen en woorden die geen eigen gebaar hebben:

“Ik gaf deze studenten een uitda­ging: kunnen jullie een model bouwen dat mensen helpt het handal­fabet te leren, met echte feedback? Het resul­taat was verbluf­fend. Ze bouwden een model dat realtime feedback geeft op indivi­duele vingers bij het maken van een letter. Er werd zelfs al een begin gemaakt met een game en hoe gaaf zou het zijn als dat ook nog lukt. Maar wat mij misschien nog het meest raakte, is dat al deze studenten het handal­fabet hebben geleerd en hun techni­sche vaardig­heden hebben ingezet voor een maatschap­pe­lijk doel. Dat is in mijn ogen een absolute winst.”

Gebarentaal toegankelijk maken

In Neder­land gebruiken circa 30.000 mensen NGT als primaire taal. De resul­taten overtroffen de verwach­tingen. Studenten ontwik­kelden appli­ca­ties met gamifi­ca­tion-elementen, state-of-the-art AI-technieken zoals actie-herken­ning, dynamic time warping (DTW) en landmark­de­tectie en realtime feedback op indivi­duele handge­baren. De apps zijn ontworpen voor niet-techni­sche gebrui­kers. Studenten bouwden hun eigen trainings­data door elkaar te fotogra­feren terwijl ze handge­baren maakten.

“Ik had een dove vriend op de middel­bare school en wilde altijd gebaren­taal leren. Deze challenge was mijn kans en ik heb het alfabet echt geleerd. Ik bleef maar oefenen en heb heel veel trainings­data aange­maakt, omdat ik het zo leuk vond.” Khaled, ADS&AI-student

“Ik had geen ervaring met computer vision en wist niet hoe het werkte. Het was spannend, want ik wilde weten hoe een machine ‘ziet’. Handge­baren herkennen lijkt eenvoudig voor een mens, maar bleek best ingewik­keld om te imple­men­teren.” Timur, ADS&AI-student

Leren door te doen

De projecten kwamen tot stand tijdens de zogeheten End of the Block Challenges: inten­sieve opdrachten van één tot twee weken die plaats­vinden tussen de reguliere onder­wijs­blokken. Studenten werken zelfstandig, in kleine groepen en leveren concrete resul­taten op voor echte opdracht­ge­vers, zowel uit het bedrijfs­leven als uit non-profit­or­ga­ni­sa­ties. Veel van deze projecten groeien uit tot volwaar­dige projecten in het derde jaar, of leiden tot stages en afstu­deer­op­drachten. Na het succes van deze challenge organi­seert BUas een vervolg­week om de ontwik­kelde tools verder te verfijnen.

Samenwerken met ADS&AI

De oplei­ding ADS&AI is op zoek naar nieuwe opdracht­ge­vers voor challenges, semes­ter­pro­jecten, stages en afstu­deer­op­drachten. Organi­sa­ties die willen verkennen wat AI en data science voor hen kunnen betekenen, zijn van harte welkom contact op te nemen.