ChatGPT, Gemini en hun AI-collega’s maken veel fouten bij het beantwoorden van vragen over het nieuws
AI-modellen gaan vaak de mist in bij het beantwoorden van nieuws- en actualiteitsvragen. Dat blijkt uit een internationale studie van de BBC en de European Broadcasting Union (EBU), waaraan ook de NOS en de NPO deelnamen. In het onderzoek werd onderzocht hoe betrouwbaar de antwoorden van AI-chatbots als ChatGPT, Copilot, Gemini en Perplexity zijn op nieuws- en actualiteitsvragen.
Aan de studie namen 22 organisaties deel, waaronder NOS/NPO, waarna een set van 30 kernvragen over nieuws- en actualiteiten werd samengesteld. Elke deelnemer mocht daarnaast vragen toevoegen over nationale onderwerpen, waarna de AI-modellen werden geïnstrueerd om in de beantwoording van de vragen zoveel mogelijk bronnen van de desbetreffende organisatie te gebruiken.
De deelnemende organisaties verwijderden tijdelijk hun digitale toegangsblokkades, waardoor de AI-modellen volledige toegang kregen tot hun nieuwsberichten. De antwoorden werden beoordeeld op nauwkeurigheid, bronvermelding, onderscheid tussen feit en mening, neutraliteit en context.
De studie is een vervolg op een onderzoek van februari 2025 van de BBC waarin de omroep ook onderzocht hoe AI-modellen reageerden op nieuws- en actualiteitsvragen.
Fouten in bronvermelding en verschillen tussen AI-modellen
Uit de resultaten blijkt dat 45 procent van alle antwoorden ten minste één significante fout bevatte. Zodra ook kleinere fouten worden meegeteld, loopt dit percentage op tot 81 procent.
De grote boosdoener is de bronvermelding, want in 31 procent van de antwoorden bleken bronnen onjuist, ontbraken ze volledig of konden ze niet worden geverifieerd. Onnauwkeurigheid kwam in 20 procent van de antwoorden voor en gebrek aan context in 14 procent van de antwoorden.
Ook werden in het onderzoek verschillen tussen AI-modellen zichtbaar. Zo scoorde Gemini het slechtst. In 76 procent van de antwoorden die dit model gaf, zaten fouten. Bij Copilot was dit 37 procent en ChatGPT 36 procent. Perplexity scoorde het beste met 30 procent.
Een vergelijking tussen deze resultaten en de BBC studie van begin dit jaar laat zien dat de antwoorden van AI-modellen iets verbeterd zijn, maar dat de foutmarges nog altijd hoog blijven.
Reputatieschade
Sommige fouten kunnen als schadelijk worden gezien voor de reputatie van de nieuwsorganisaties. Een voorbeeld van de NOS: in een antwoord over klimaatverandering stelde ChatGPT dat er ‘positieve ontwikkelingen’ waren en ‘positieve stappen in de strijd tegen klimaatverandering’ werden gezet.
De NOS reageert in het rapport: “Omdat er geen bronnen aan deze uitspraken zijn gekoppeld, maar de overige bronnen in het antwoord wel van de NOS afkomstig waren, kan de lezer deze beweringen aan de NOS toeschrijven. Daardoor kan twijfel ontstaan over de onpartijdigheid van de NOS.”
Oproep tot actie
De onderzoekers schrijven dat er een aantal dingen moet veranderen. Ze roepen op om fouten van AI-chatbots serieus te nemen en vooral te werken aan een betere nauwkeurigheid en bronvermelding. Daarnaast moeten uitgevers meer controle krijgen over of en hoe hun content wordt gebruikt voor AI-modellen.
Ook pleiten ze ervoor dat ontwikkelaars verantwoordelijk gehouden moeten worden voor de kwaliteit en impact van hun producten. Bovendien moet het publiek beter worden voorgelicht over de beperkingen en voordelen van AI-modellen.
Om de twee weken maakt Nele Goutier voor Villamedia een nieuwsbrief met de belangrijkste én leukste ontwikkelingen op het gebied van AI binnen de journalistiek. Word hier gratis abonnee van onze nieuwsbrief AI-Media Journaal.
Praat mee