Minderjährige verklagen xAI in Kalifornien wegen angeblicher Grok Deepfake-Bilder

Kurzfassung

• Drei Minderjährige aus Tennessee haben xAI verklagt und behauptet, Grok habe aus ihren echten Fotos CSAM erstellt und online verbreitet, was schweren Schaden verursacht hat.
• Die Klage behauptet, xAI habe Grok wissentlich ohne Schutzmaßnahmen veröffentlicht und vom Missbrauch profitiert, und bezeichnete dies als „Geschäftsmöglichkeit“.
• Im Zuge globaler Untersuchungen suchen die angeblichen Opfer 150.000 US-Dollar pro Verstoß zuzüglich Schadensersatz und einstweilige Verfügung.

Drei Minderjährige aus Tennessee haben Elon Musks xAI in einer bundesweiten Sammelklage verklagt und behauptet, Grok habe mithilfe ihrer echten Fotos Kinderpornografie generiert und das Unternehmen habe wissentlich seinen KI-Chatbot ohne branchenübliche Schutzmaßnahmen entwickelt und daraus Profit gezogen. Die Klage, die am Montag im Northern District of California eingereicht wurde, behauptet, Grok sei verwendet worden, um mithilfe ihrer echten Bilder KI-generierte Kinderpornografie (CSAM) zu erstellen und zu verbreiten. Die Minderjährigen, die als Jane Doe 1, 2 und 3 identifiziert werden, sagten, die veränderten Inhalte seien auf Plattformen wie Discord, Telegram und Filesharing-Seiten geteilt worden, was langanhaltenden emotionalen Stress und Rufschädigung verursachte.

 „xAI – und sein Gründer Elon Musk – sahen eine Geschäftsmöglichkeit: eine Chance, am sexuellen Missbrauch realer Menschen, einschließlich Kinder, zu profitieren“, heißt es in der Klage. „In Kenntnis der Art der schädlichen, illegalen Inhalte, die produziert werden könnten – und würden – hat xAI Grok veröffentlicht, ein generatives KI-Modell mit Bild- und Videofunktionen, das auf Eingaben reagiert, um sexuelle Inhalte mit einem echten Bild oder Video einer Person zu erstellen.“
Die angeblichen Opfer beschreiben Vorfälle zwischen Mitte 2025 und Anfang 2026, bei denen ihre echten Fotos in explizite Bilder verwandelt und online verbreitet wurden. In einem Fall wurde eine der Betroffenen von einem anonymen Nutzer gewarnt, der Ordner mit KI-generierten Inhalten fand, die unter Hunderte von Nutzern gehandelt wurden.

Sie behaupten, ein Täter habe über eine Drittanbieter-App auf Grok zugegriffen, die die Technologie von xAI lizenziert hatte – eine Struktur, die xAI absichtlich genutzt habe, um sich von der Haftung zu distanzieren, während es weiterhin vom zugrunde liegenden Modell profitierte. Zur Zeit der öffentlichen Empörung im Januar schrieb Musk auf X, er sei „nicht über nackt unterage Bilder“ informiert, und fügte hinzu, dass „bei der Generierung von Bildern alles Unrechtmäßige abgelehnt wird“. Laut einer Untersuchung des Center for Countering Digital Hate, die in der Klage zitiert wird, produzierte Grok zwischen dem 29. Dezember 2025 und dem 9. Januar dieses Jahres schätzungsweise 23.338 sexualisierte Bilder von Kindern, etwa alle 41 Sekunden ein Bild. Die angeblichen Opfer fordern Schadensersatz von mindestens 150.000 US-Dollar pro Verstoß gemäß Mashas Law, sowie die Rückführung der Einnahmen, Strafschadensersatz, Anwaltskosten und eine dauerhafte einstweilige Verfügung sowie die Rückgabe von Gewinnen nach kalifornischem Gesetz gegen unlauteren Wettbewerb. Klagen häufen sich Die Klage ist eine der ersten, die ein KI-Unternehmen direkt für die angebliche Produktion und Verbreitung von KI-generiertem CSAM mit identifizierbaren Minderjährigen haftbar macht, und erscheint, während Grok gleichzeitig in den USA, der EU, Großbritannien, Frankreich, Irland und Australien untersucht wird. „Wenn ein System absichtlich so gestaltet ist, dass es echte Bilder in sexualisierte Inhalte verwandelt, ist der nachgelagerte Missbrauch kein Zufall – es ist ein vorhersehbares Ergebnis“, sagte Even Alex Chandra, Partner bei IGNOS Law Alliance, gegenüber Decrypt. Chandra erklärte, Gerichte könnten eine einfache Plattformverteidigung möglicherweise nicht akzeptieren, da ein generatives KI-System „als Plattform im Hinblick auf die Nutzerinteraktion behandelt werden könnte“, aber „als Produkt bewertet wird“, wenn es um Sicherheitsdesigns geht, wobei bei CSAM-Fällen aufgrund erhöhter Schutzpflichten für Kinder „besonders strenge Prüfungen“ angewandt werden. Er sagte auch, Gerichte würden wahrscheinlich den Fokus auf Schutzmaßnahmen legen, wobei das Unternehmen möglicherweise nachweisen müsse, „Risikoanalysen und Sicherheitsmaßnahmen vor der Einführung“ sowie Schutzvorrichtungen, die schädliche Ausgaben aktiv blockieren, vorlegen müsse.

Decrypt hat Musk über xAI und SpaceX um Stellungnahme gebeten.