Techtitel Ars Technica trok artikel terug vanwege door AI verzonnen citaten
Ars Technica, een gerenommeerde techtitel van Condé Nast, heeft recent een artikel teruggetrokken waarin door AI verzonnen citaten zijn opgevoerd. Hoofdredacteur Ken Fisher noemt het "een serieuze miskleun wat betreft onze standaarden". Ook noemt Fisher het bijzonder pijnlijk dat dit Ars Technica overkomt: "We hebben de risico's van te veel vertrouwen op AI-tools jarenlang belicht en dat ook zwart op wit in ons redactionele beleid verwerkt." Het artikel in kwestie ging ook nog over AI.
Om zeker te zijn dat het om een incident ging, heeft Ars Technica andere AI-gerelateerde stukken nader bekeken. “Het lijkt erop dat dit een op zichzelf staande gebeurtenis is”, aldus een verklaring. Artikelen op Ars Technica worden door mensen geschreven, maar hier ging het mis bij het citeren.
Centraal stond berichtgeving over een vermeende bugfix voor een wiskundige bibliotheek waar Python-software gebruik van kan maken. Scott Shambaugh, die op vrijwillige basis de zogeheten matplotlib-bibliotheek beheert, weigerde de voorgestelde aanpassing, omdat de indiener ‘MJ Rathbun’ volgens hem geen mens maar een AI Agent zou zijn. AI Agents zijn AI-systemen die min of meer zelfstandig klussen kunnen uitvoeren.
De laatste tijd zijn ze sterk in opkomst, nadat er min of meer laagdrempelige - maar bepaald niet risicoloze - oplossingen als OpenClaw zijn uitgekomen.
ZDF door het stof om AI-beelden in Heute-journaal | Villamedia
Na de weigering door Shambaugh klaagde MJ Rathbun in een artikel dat de beheerder van matplotlib aan gatekeeping zou doen en als poortwachter vijandig tegenover AI zou staan. Shambaugh schreef er een blog over, met de prikkelende titel An AI Agent Published a Hit Piece on Me.
Wat het plot verder verdikt, is dat het goed mogelijk is dat MJ Rathbun óf een AI Agent is óf een mens die doet alsof hij een zelfstandig opererende AI Agent is.
Ars Technica-journalist Benj Edwards voerde in het artikel citaten op die niet in Shambaughs blog voorkwamen. In een uitleg op Bluesky neemt Edwards volledig de verantwoordelijkheid op zich en biedt hij zijn collega-auteur Kyle Orland excuses aan, die niets met de gewraakte citaten te maken heeft.
Door ziekte en haast wilde hij Claude AI de Shambaugh-blogpost laten analyseren. Dat mislukte door technische blokkades die Shambaugh op zijn blog heeft ingevoerd met betrekking tot Claude AI. Daarop ging de tekst in ChatGPT, dat echter stevig hallucineerde op de tekst.
De verzonnen citaten die daar uitrolden, verzuimde Edwards tegen de originele bron te controleren. “Ik bied oprechte excuses aan Scott Shambaugh aan voor het verkeerd weergeven van zijn woorden. [..] De ironie dat een AI-verslaggever struikelt over een AI-hallucinatie ontgaat me niet. Ik neem correctheid in m’n werk bijzonder serieus. Dit is een pijnlijk falen mijnerzijds.”
Praat mee