Rechter verbiedt uitkleedfunctie van chatbot Grok in Nederland

Grok is gemaakt door xAI, het Amerikaanse bedrijf van zakenman Elon Musk. Gebruikers konden de chatbot opdracht geven om met kunstmatige intelligentie naaktbeelden te maken. Dat kunnen afbeeldingen van volwassenen zijn, maar ook van kinderen. De afgebeelde personen kunnen virtueel zijn en alleen online bestaan, maar het kan ook om nepbeelden van echte mensen gaan.

Om hun eis kracht bij te zetten, hadden Fonds Slachtofferhulp en Offlimits foto’s gedeeld die ze met Grok hadden gemaakt. Daarop waren schaars geklede virtuele kinderen met volwassen mannen te zien.

‘Grensoverschrijdend gedrag’
Volgens de rechter is het aannemelijk dat de makers van Grok “onrechtmatig en toerekenbaar bijdragen aan een klimaat van online grensoverschrijdend gedrag”. xAI heeft controle over Grok en moet misbruik dus voorkomen, ook als de makers van het platform niet zelf de beelden creëren.

Het verbod geldt voor beelden van mensen die in Nederland wonen en voor het maken en verspreiden van de beelden in Nederland. De beide organisaties hadden een wereldwijd verbod op de ‘nudification tool’ geëist, maar daarin ging de rechtbank niet mee, de voorzieningenrechter oordeelt dat hij daar niet over gaat.

Dwangsom
De makers van Grok krijgen ook een dwangsom opgelegd. Elke dag dat de uitkleedfunctie beschikbaar is, moeten ze 100.000 euro betalen. Dat kan oplopen tot een maximaal bedrag van 10 miljoen euro. En zolang Grok zich niet aan het verbod houdt, mag de dienst ook niet worden aangeboden als onderdeel van X, het vroegere Twitter.

De advocaten van Grok zeiden bij de behandeling van het kort geding dat het bedrijf kindermisbruik wil voorkomen, maar dat het niet haalbaar is om elke vorm van misbruik te elimineren. “Er zullen altijd gebruikers zijn die beveiligingsmaatregelen omzeilen”, stelden de advocaten.

De makers van Grok zeiden ook dat er maatregelen waren genomen om misbruik te voorkomen, maar de rechtbank veegt dat van tafel. Er is “gerede twijfel” of de maatregelen wel genoeg zijn en “wel degelijk aanleiding voor zorg”.

‘Baanbrekend
Het is baanbrekend dat de omstreden ‘uitkleedfunctie’ wordt verboden. Dat zegt Robbert Hoving, directeur van Offlimits die samen met Fonds Slachtofferhulp het kort geding aanspande tegen de dienst.

Volgens Hoving is het de eerste keer ter wereld dat zo’n dienst wordt verboden. “Fantastisch dat mensenrechten niet onderdoen voor commerciële belangen. Grok deed er alles aan om het te laten voortbestaan, met een zweem dat ze er alles aan deden om mensen te beschermen”, zegt hij.

Eerder donderdag stemde het Europees Parlement voor een verbod op apps die met AI naaktbeelden maken. Ook daar is Hoving erg blij mee. “Alle wetgeving is er. Die is gebruikt om een streep te trekken. Nu is het een kwestie van handhaven. Zolang het grote bedrijven geld kost, luisteren ze”, aldus Hoving.

Europa heeft macht, benadrukt Hoving. “We hebben zoveel gebruikers, meer dan in de Verenigde Staten. We kunnen een vuist maken tegen big tech. Als je ze in hun portemonnee raakt, kun je ze dwingen om mensenrechten te eerbiedigen.”

Offlimits gaat er “100 procent zeker” van uit dat de makers van Grok in beroep gaan. “Zij willen ons vermoeien, maar ik weiger wakker te worden in een wereld waar mensen met diepe zakken bepalen of mensenrechten belangrijk zijn. De rechter heeft nu bepaald dat het niet mag. Dan moet je sanctioneren. En als de boetes niet hoog genoeg zijn, kunnen er hogere boetes komen.”

‘Wij moeten ook diepe zakken hebben’
Grok krijgt een dwangsom van 100.000 euro per dag dat de uitkleedfunctie nog beschikbaar is, met een maximum van 10 miljoen euro. Hoving wil dat geld gebruiken voor volgende rechtszaken. “Om toekomstige slachtoffers te beschermen. Als zij diepe zakken hebben, moeten wij ook diepe zakken hebben.”

Tijdens de zitting vroeg Grok de eisers om hun bevindingen te delen, zodat beheerders de dienst konden aanpassen. Hoving noemt dat de omgekeerde wereld. “Hoe kun je als miljoenenbedrijf zo’n vraag stellen? We zijn geen proefkonijntjes in een sociaal experiment. Je moet naar de risico’s kijken voordat je een probleem uitstort. Het probleem is niet opgelost met het aanpassen van commando’s.”