AI liegt soms overtuigend en bedrijven betalen de prijs

Het incident kreeg veel aandacht, maar staat niet op zichzelf. In de praktijk zien we steeds vaker dat AI-tools overtuigende antwoorden geven die fout, onvolledig of zelfs gevaarlijk misleidend zijn. En dat gebeurt niet alleen bij experimenten, maar ook bij bedrijven en overheden.

Bij Syscom werken we zelf ook met AI, onder meer via onze NVIDIA DGX Spark, waardoor we de mogelijkheden, maar ook de valkuilen, van dichtbij ervaren.

Gemeente Brecht: chatbot die vooral niets zegt

De gemeente Brecht lanceerde een chatbot met de naam REGI om inwoners te helpen met vragen over de gemeentelijke diensten.

Maar al snel bleek dat de chatbot vaak nutteloze of verkeerde antwoorden gaf. Op praktische vragen van inwoners, bijvoorbeeld over openingsuren, documenten of gemeentelijke procedures, gaf de bot soms algemene of ontwijkende antwoorden zoals: "Voor meer informatie kan je contact opnemen met de gemeente."

Met andere woorden: precies wat de chatbot eigenlijk had moeten voorkomen.

Omdat inwoners er niet op konden vertrouwen dat de antwoorden correct waren, besloot de gemeente de chatbot uiteindelijk weer van de website te verwijderen.

Eindhoven: wanneer AI ook een datalek kan veroorzaken

AI-problemen gaan niet alleen over verkeerde antwoorden. Soms zit het probleem simpelweg in hoe de tool gebruikt wordt.

Bij de gemeente Eindhoven bleek dat ambtenaren duizenden documenten hadden geüpload naar publieke AI-chatbots zoals ChatGPT en Claude. In die bestanden zaten mogelijk persoonsgegevens van burgers en werknemers, zoals cv's en interne documenten.

De gemeente beschouwde het incident uiteindelijk als een datalek en blokkeerde daarna de toegang tot openbare AI-tools voor medewerkers. Sindsdien mogen ambtenaren alleen nog AI-systemen gebruiken die binnen hun eigen IT-omgeving draaien.

Air Canada: chatbot verzint bedrijfsbeleid

Ook commerciële bedrijven botsen tegen hetzelfde probleem aan. De chatbot van Air Canada gaf een klant uitleg over een zogenoemde rouwkorting. Volgens de chatbot kon de klant een ticket kopen en achteraf een deel van de prijs terugvragen.

Het probleem: dat beleid bestond helemaal niet.

Toen de klant later een terugbetaling vroeg, weigerde de luchtvaartmaatschappij. De zaak kwam uiteindelijk voor de rechter, die oordeelde dat Air Canada verantwoordelijk was voor de informatie die zijn chatbot had gegeven. Het bedrijf moest de klant alsnog compenseren.

AWS: wanneer een AI-agent de cloud laat struikelen

Ook in technische infrastructuur kan AI onverwachte gevolgen hebben. Bij Amazon Web Services (AWS) veroorzaakte een interne AI-coding agent met de naam Kiro een storing.

Door een fout in de permissies kreeg de tool meer rechten dan bedoeld en begon hij delen van een omgeving automatisch te verwijderen en opnieuw op te bouwen. Daardoor viel een AWS-dienst urenlang uit in een van de cloudregio's.

Het incident toont hoe riskant automatisering kan zijn wanneer AI-tools toegang krijgen tot productieomgevingen zonder voldoende controlemechanismen.

Wat leren deze voorbeelden ons?

AI kan een krachtig hulpmiddel zijn om werk te versnellen, ideeën te genereren en processen te automatiseren. Maar wie AI inzet in bedrijfsprocessen moet vooral beseffen dat het geen beslissingsmaker is.

De echte uitdaging is niet om AI zo veel mogelijk taken te laten uitvoeren, maar om ervoor te zorgen dat:

• mensen kritisch blijven controleren wat AI produceert
• gevoelige gegevens niet zomaar in publieke tools terechtkomen
• automatiseringen duidelijke grenzen en veiligheidsmechanismen hebben

AI werkt het best als assistent, niet als autoriteit.

AI bij Syscom: krachtig, maar best onder eigen controle

AI kan een krachtig hulpmiddel zijn op voorwaarde dat je het bewust en veilig inzet. Daarom investeren wij bij Syscom ook in eigen AI-infrastructuur. Met onze NVIDIA DGX Spark kunnen we AI-modellen lokaal testen, evalueren en integreren zonder gevoelige bedrijfsgegevens naar externe cloudservices te sturen.