KI und Kinderschutz-Gesetzgebung in Kalifornien

Der US-amerikanische Bundesstaat Kalifornien ist die Heimat der großen Tech Giganten, weswegen dieser Staat auch der erste war, der ein Gesetz zur Regulierung digitaler Informationstechnik auf den Weg gebracht hatte. Es war dem entsprechenden Europäischen Gesetz sehr ähnlich, was die großen Firmen begrüßten, denn Europa ist der weltweit größte Markt, noch vor den USA und China. So wundert es auch nicht, dass Kalifornien – mittlerweile die Heimat der größten und bedeutsamsten KI-Firmen – der erste Staat ist, der ein KI-Gesetz am 29. September 2025 auf den Weg gebracht hat. Dessen offizieller Titel lautet „Transparency in Frontier AI Act“ [ 1 ]. Das Gesetz tritt am 1. Januar 2026 in Kraft und führt Transparenzpflichten und Whistleblower-Schutz für Menschen ein, die in der KI-Entwicklung arbeiten. Es geht um „catastrophic risks“ bei der Nutzung von „Frontier AI“. Damit sind explizit Risiken von „mehr als 50 Todesfällen und mehr als eine Milliarde US Dollar“ gemeint. Unter „Frontier AI“ sind Firmen zu verstehen, die sich an der vordersten Front der Forschung befinden und groß genug sind, um Schaden anzurichten. Dies wird explizit ökonomisch und informatisch definiert als „mehr als 500 Millionen US-Dollar in jährlichen Einnahmen“ und „Modelle mit Computern, die beim Training eine Leistung von mehr als 1026 aufbringen“, wie Scott Singer und Alasdair Phillips-Robins vom Carnegie Endowment for International Peace (CEIP) , einer bereits 1910 gegründeten überparteilichen, international tätigen Denkfabrik mit Hauptsitz in Washington, D. C., und Zweigstellen in Europa, China, Indien und im Nahen Osten, kommentieren [ 2 ]. Die meisten heute existierenden großen Sprachmodelle (Large Language Modells; LLMs) wie beispielsweise auch das chinesische LLM DeepSeek sind nach diesen Maßstäben noch zu klein, um Schaden anzurichten. Faktisch gilt das Gesetz daher bislang nur für die Modelle GPT-5 der Firma OpenAI und Grok-4 Heavy der Firma xAI . Mittlerweile hat der kalifornische Gouverneur Gavin Newsom bereits das zweite kalifornische Gesetz unterzeichnet [ 3 ], das KI reguliert und im Juli 2027 in Kraft treten soll. Konkret geht es um KI-getriebene Companion Chatbots und deren Kommunikation mit den Nutzern. Das neue Gesetz verlangt klare Auskunft, Sicherheitsmaßnahmen und verbietet bestimmte Verhaltensmuster. So dürfen sich KI-Chatbots beispielsweise nicht mehr als medizinisches Personal, Psychotherapeuten oder andere medizinische Fachkräfte ausgeben. Das ist in der Vergangenheit immer wieder geschehen und hatte fatale Folgen. Newsom kommentierte das Gesetz daher u. a. wie folgt: „Neue Technologien wie Chatbots und soziale Medien können inspirieren, bilden und verbinden – aber ohne echte Leitplanken kann Technologie unsere Kinder auch ausnutzen, irreführen und gefährden. Wir haben einige wirklich schreckliche und tragische Beispiele dafür gesehen, wie junge Menschen durch unregulierte Technologie zu Schaden gekommen sind, und wir werden nicht tatenlos zusehen, wie Unternehmen ohne die notwendigen Beschränkungen und Rechenschaftspflichten weitermachen. Wir können weiterhin eine Führungsrolle im Bereich KI und Technologie einnehmen, aber wir müssen dies verantwortungsbewusst tun – und unsere Kinder dabei in jeder Phase schützen. Die Sicherheit unserer Kinder ist nicht käuflich“. Schon der Titel der öffentlichen Stellungnahme nimmt Bezug auf den Schutz von Kindern online: „Gouverneur Newsom unterzeichnet Gesetze zur weiteren Stärkung der Führungsrolle Kaliforniens beim Schutz von Kindern im Internet“ [ 4 ]. Anlass für das neue Gesetz war, dass ein 16-jähriger Jugendlicher aus Kalifornien – Adam Raine – Suizid beging und dabei von ChatGPT unterstützt wurde. Seine Eltern verklagen nun OpenAI , die Firma hinter dem Chatbot [ 5 ] [ 6 ]. In ähnlicher Weise soll die Social Media Plattform Character.ai mit dem Tod eines 13-jährigen Mädchens – Juliana Peralta – in Zusammenhang stehen [ 7 ]. Zudem zeigen durchgesickerte Dokumente, dass der Chatbot der Firma M…