Gemeente Brecht: chatbot die vooral niets zegt
De gemeente Brecht lanceerde een chatbot met de naam REGI om inwoners te helpen met vragen over de gemeentelijke diensten.
Maar al snel bleek dat de chatbot vaak nutteloze of verkeerde antwoorden gaf. Op praktische vragen van inwoners, bijvoorbeeld over openingsuren, documenten of gemeentelijke procedures, gaf de bot soms algemene of ontwijkende antwoorden zoals: "Voor meer informatie kan je contact opnemen met de gemeente."
Met andere woorden: precies wat de chatbot eigenlijk had moeten voorkomen.
Omdat inwoners er niet op konden vertrouwen dat de antwoorden correct waren, besloot de gemeente de chatbot uiteindelijk weer van de website te verwijderen.
Lees meer over het Brechtse chatbot-debacleEindhoven: wanneer AI ook een datalek kan veroorzaken
AI-problemen gaan niet alleen over verkeerde antwoorden. Soms zit het probleem simpelweg in hoe de tool gebruikt wordt.
Bij de gemeente Eindhoven bleek dat ambtenaren duizenden documenten hadden geüpload naar publieke AI-chatbots zoals ChatGPT en Claude. In die bestanden zaten mogelijk persoonsgegevens van burgers en werknemers, zoals cv's en interne documenten.
De gemeente beschouwde het incident uiteindelijk als een datalek en blokkeerde daarna de toegang tot openbare AI-tools voor medewerkers. Sindsdien mogen ambtenaren alleen nog AI-systemen gebruiken die binnen hun eigen IT-omgeving draaien.
Lees meer over het Eindhovense datalekAir Canada: chatbot verzint bedrijfsbeleid
Ook commerciële bedrijven botsen tegen hetzelfde probleem aan. De chatbot van Air Canada gaf een klant uitleg over een zogenoemde rouwkorting. Volgens de chatbot kon de klant een ticket kopen en achteraf een deel van de prijs terugvragen.
Het probleem: dat beleid bestond helemaal niet.
Toen de klant later een terugbetaling vroeg, weigerde de luchtvaartmaatschappij. De zaak kwam uiteindelijk voor de rechter, die oordeelde dat Air Canada verantwoordelijk was voor de informatie die zijn chatbot had gegeven. Het bedrijf moest de klant alsnog compenseren.
Lees meer over de Air Canada chatbot-rechtszaakAWS: wanneer een AI-agent de cloud laat struikelen
Ook in technische infrastructuur kan AI onverwachte gevolgen hebben. Bij Amazon Web Services (AWS) veroorzaakte een interne AI-coding agent met de naam Kiro een storing.
Door een fout in de permissies kreeg de tool meer rechten dan bedoeld en begon hij delen van een omgeving automatisch te verwijderen en opnieuw op te bouwen. Daardoor viel een AWS-dienst urenlang uit in een van de cloudregio's.
Het incident toont hoe riskant automatisering kan zijn wanneer AI-tools toegang krijgen tot productieomgevingen zonder voldoende controlemechanismen.
Lees meer over de AWS AI-incidentenWat leren deze voorbeelden ons?
AI kan een krachtig hulpmiddel zijn om werk te versnellen, ideeën te genereren en processen te automatiseren. Maar wie AI inzet in bedrijfsprocessen moet vooral beseffen dat het geen beslissingsmaker is.
De echte uitdaging is niet om AI zo veel mogelijk taken te laten uitvoeren, maar om ervoor te zorgen dat:
- mensen kritisch blijven controleren wat AI produceert
- gevoelige gegevens niet zomaar in publieke tools terechtkomen
- automatiseringen duidelijke grenzen en veiligheidsmechanismen hebben
AI werkt het best als assistent, niet als autoriteit.
AI bij Syscom: krachtig, maar best onder eigen controle
AI kan een krachtig hulpmiddel zijn op voorwaarde dat je het bewust en veilig inzet. Daarom investeren wij bij Syscom ook in eigen AI-infrastructuur. Met onze NVIDIA DGX Spark kunnen we AI-modellen lokaal testen, evalueren en integreren zonder gevoelige bedrijfsgegevens naar externe cloudservices te sturen.
» Wil je weten hoe AI in jouw organisatie veilig en praktisch kan worden toegepast?
Neem gerust contact met ons op. We tonen je graag wat er mogelijk is.
