Een devel­oper ontdekte onlangs iets vreemds bij de populaire en door AI aange­dreven code-editor Cursor. Bij het wisselen tussen apparaten werd hij automa­tisch uitge­logd. Dit verbrak een veelvoor­ko­mende workflow voor program­meurs die meerdere apparaten gebruiken. Toen de gebruiker contact opnam met de onder­steu­ning van Cursor, infor­meerde een agent genaamd ‘Sam’ hem dat dit was gebeurd op basis van een nieuw beleid. Dat is opmer­ke­lijk, want zo’n beleid bestond helemaal niet, en ‘Sam’ bleek boven­dien een AI-bot te zijn. Het AI-model had het beleid verzonnen, wat leidde tot een golf van klachten en dreige­menten om abonne­menten op te zeggen, gedocu­men­teerd op Hacker News en Reddit.

Dit incident markeert het meest recente voorbeeld van zogeheten ‘AI-confa­bu­la­ties’ (ook wel ‘hallu­ci­na­ties’ genoemd) die poten­tiële bedrijfs­schade veroor­zaken. Confa­bu­la­tions zijn een soort ‘creatieve gap-filling’ respons waarbij AI-modellen plausibel klinkende maar valse infor­matie verzinnen. In plaats van onzeker­heid toe te geven, geven AI-modellen de voorkeur aan het creëren van plausibel klinkende antwoorden, zelfs als dat betekent dat ze infor­matie vanuit het niets verzinnen.

Op klanten gerichte rollen

Voor bedrijven die deze AI-systemen in klant­ge­richte rollen inzetten zonder mense­lijk toezicht, kunnen de gevolgen ronduit v ervelend en kostbaar zijn: gefrus­treerde klanten, bescha­digd vertrouwen en, in het geval van Cursor, poten­tiële opgezegde abonnementen.

Het hierboven genoemde incident begon toen een Reddit-gebruiker genaamd ‘Broken­Toas­ter­Oven’ opmerkte dat Cursor-sessies onver­wacht werden beëin­digd bij het wisselen tussen een desktop, laptop en een externe ontwik­kelbox. ‘Inloggen op Cursor op één apparaat maakt de sessie op elk ander apparaat ongeldig’, schreef Broken­Toas­ter­Oven in een bericht dat later werd verwij­derd door r/cursor-modera­tors. ‘Dit is een signi­fi­cante UX-regressie’.

Gefrus­treerd stuurde de gebruiker een e‑mail naar de onder­steu­ning van Cursor en ontving snel een antwoord van Sam: ‘Cursor is ontworpen om te werken met één apparaat per abonne­ment als een core-bevei­li­gings­functie’, luidde het e‑mailantwoord. Het antwoord klonk defini­tief en officieel, en de gebruiker vermoedde niet dat Sam geen mens was.

Na de initiële Reddit-post nam een Cursor-verte­gen­woor­diger drie uur later contact op via Reddit, met een medede­ling die er kortweg op neer kwam: ‘We kennen geen derge­lijk beleid. Je kunt Cursor uiter­aard op meerdere apparaten gebruiken. Helaas is dit een onjuist antwoord van een front-line AI-ondersteuningsbot’.

Hallucinaties als bedrijfsrisico

De Cursor-situatie roept herin­ne­ringen op aan een verge­lijk­baar incident uit februari 2024, toen Air Canada werd gedwongen door hun eigen chatbot verzonnen terug­be­ta­lings­be­leid te erkennen. In dat geval had iemand contact opgenomen met de customer service van Air Canada nadat zijn groot­moeder was overleden. De AI-agent van de lucht­vaart­maat­schappij vertelde hem daarop dat hij een vlucht tegen de reguliere prijs kon boeken en achteraf aanspraak kon maken op rouwta­rieven. Toen Air Canada later zijn verzoek om terug­be­ta­ling weigerde, beweerde het bedrijf dat de chatbot een afzon­der­lijke juridi­sche entiteit is die verant­woor­de­lijk is voor zijn eigen hande­lingen. Een Canadese recht­bank wees deze verde­di­ging af en oordeelde dat bedrijven verant­woor­de­lijk zijn voor de infor­matie die hun AI-tools verstrekken.

In plaats van de verant­woor­de­lijk­heid te betwisten zoals Air Canada had gedaan, erkende Cursor wel direct de fout en nam stappen om het goed te maken. Mede-oprichter Michael Truell bood later zijn excuses aan op Hacker News voor de verwar­ring over het niet-bestaande beleid, verklaarde dat de gebruiker was terug­be­taald en dat het probleem voort­kwam uit een back-end wijzi­ging die bedoeld was om de sessie­be­vei­li­ging te verbe­teren, maar onbedoeld problemen met sessies veroor­zaakte voor sommige gebrui­kers. Alle AI-antwoorden die Cursor gebruikt voor e‑mailondersteuning zijn nu als zodanig gelabeld. 

Het incident werpt echter nog steeds vragen op over openheid, aange­zien veel mensen die met Sam inter­ac­teerden, kenne­lijk dachten dat het een mens was. Hoewel Cursor de techni­sche bug heeft verholpen, toont de episode de risico’s van het inzetten van AI-modellen in klant­ge­richte rollen zonder de juiste veilig­heids­maat­re­gelen en transparantie.