Wie ChatGPT den Plan eines Vaters entdeckte, seinen Sohn zu töten – und die Behörden alarmierte

Espírito Santo: Der KI-Assistent nutzt automatisierte Erkennungssysteme sowie menschliche Prüfer, um Hinweise auf mögliche Gewalttaten zu erkennen. In Espírito Santo in Brasilien wurde ein Mann festgenommen, nachdem US-Behörden die örtliche Polizei informiert hatten.

Da es einen gewissen Bevölkerungsanteil gibt, der entweder aus Unwissen oder Ignoranz glaubt ChatGPT alles erzählen zu müssen, um auf logische Rückschlüsse oder Lösungen zu kommen, zeigt auch der KI-Assistent, wie sehr er mit staatlichen Behörden zusammenarbeitet.

Der Vater, der in Espírito Santo wegen der Planung der Ermordung seines achtjährigen Sohnes festgenommen wurde, geriet ins Visier der Behörden, nachdem er mit ChatGPT über seine Absichten gesprochen hatte. Die Firma OpenAI, Entwickler des KI-Assistenten, meldete den Vorfall dem FBI, das die Informationen an die brasilianischen Behörden weitergab.

Der Mann wurde am 19. Juni festgenommen – einen Tag vor dem Termin, den er für die Tat vorgesehen hatte. Zuvor hatte er ChatGPT mitgeteilt, dass er im Besitz einer Waffe, eines Seils und von Gift sei und zudem Anschläge an öffentlichen Plätzen verüben wolle.

Auf Anfrage des Portals g1 erklärte OpenAI, dass die Systeme zum Schutz von Personen konzipiert seien und dieser Fall die Bedeutung solcher Maßnahmen verdeutliche.

„Wenn wir Gespräche erkennen, die auf eine unmittelbare und glaubwürdige Gefahr für Dritte hindeuten, können wir die zuständigen Behörden informieren“, teilte das Unternehmen mit.

ChatGPT schlägt Alarm wegen versuchten Kindsmordes

In seinen Nachrichten schrieb der Mann, dass er zunächst versucht habe, einen Auftragsmörder für 50.000 brasilianische Real anzuheuern – das Angebot sei jedoch abgelehnt worden, als er verriet, dass das geplante Opfer ein Kind sei.

„Ich wollte wissen, woher dieser Drang kommt, Menschen zu töten. Ich sehe gerne, wie andere leiden“, hieß es in einer seiner Mitteilungen.

Assistenten wie ChatGPT überwachen den gesamten Gesprächsverlauf, wobei die Prüfung größtenteils durch automatisierte Systeme erfolgt, erläuterte Álvaro Machado Dias, Professor an der Bundesuniversität São Paulo (Unifesp).

„Im Fall des Vaters aus Espírito Santo wurde eine klare Grenze überschritten: Es gab ein benanntes Opfer, eine Tatmethode, die erforderlichen Mittel und einen bevorstehenden Termin. Die ausgelöste Warnung hatte daher höchste Priorität“, erklärte er.

Wie ChatGPT verdächtige Inhalte erkennt

OpenAI gibt an, dass die Auswertung zunächst durch automatisierte Systeme erfolgt – darunter KI-Modelle, die Inhalte einordnen und komplexere Analysen des Gesprächskontexts vornehmen können.

Dabei werden auch Datenbanken mit bereits markierten Inhalten – etwa im Zusammenhang mit sexueller Ausbeutung von Kindern – sowie Listen verbotener Begriffe herangezogen.

Wird eine Unterhaltung von diesen Mechanismen als auffällig eingestuft, wird sie an menschliche Prüfer weitergeleitet. Diese prüfen, ob gegen die Nutzungsbedingungen verstoßen wurde und ob der Nutzer möglicherweise eine Gewalttat begehen könnte.
Die Prüfer können das Risiko als gering einstufen, das Nutzerkonto sperren oder die zuständigen Stellen informieren – wie es im Fall aus Espírito Santo geschehen ist.

Klage gegen OpenAI im Zusammenhang mit einem Selbstmord

Im Jahr 2025 wurde gegen das Unternehmen eine Klage erhoben: Es wurde vorgeworfen, durch fehlende Sicherheitsmaßnahmen zum Selbstmord eines 16-jährigen Jugendlichen in den Vereinigten Staaten beigetragen zu haben, da es keine Verweisung an Krisenhilfsangebote vorgenommen habe.

In einer Stellungnahme vom April 2026 erklärte OpenAI, dass man daran arbeite, ChatGPT dazu zu bringen, Anfragen abzulehnen, die Gewalttaten erleichtern könnten. Zugleich solle der Dienst zwischen problematischen Inhalten und harmlosen Anfragen unterscheiden können – beispielsweise solchen zu historischen oder schulischen Zwecken.

„Manche Gefahren werden erst im Laufe der Zeit erkennbar: Eine einzelne Nachricht mag harmlos erscheinen, doch das Gesamtbild einer längeren Unterhaltung oder mehrerer Gespräche kann auf ein ernstzunehmendes Risiko hindeuten“, so das Unternehmen.
Das Melden von Vorfällen an Behörden ist bei sozialen Netzwerken üblich, bei KI-Assistenten wie ChatGPT jedoch seltener. Nach Angaben des Polizeichefs Breno Andrade gegenüber dem Fernsehsender TV Gazeta ist dies erst der dritte derartige Fall in Brasilien.

Zahl der Festnahmen durch Hinweise aus ChatGPT könnte steigen

Diese Zahl werde wahrscheinlich weiter ansteigen, je häufiger Menschen solche Systeme als Notizbuch oder Gesprächspartner nutzen, um ihre Gedanken und Handlungen zu schildern, meint Professor Álvaro Machado Dias.

Dennoch sei es nicht angemessen, in diesem Fall das FBI statt brasilianischer Stellen einzuschalten, so der Experte. Der richtige Weg wäre über die Bundespolizei oder das Justizministerium, auch wenn die Vorgehensweise von OpenAI angesichts des Firmensitzes in den USA und der dortigen behördlichen Vorgänge nachvollziehbar sei.

„Die Tat war in Brasilien geplant, Opfer und Täter befanden sich in Brasilien, und die Festnahme lag in der Verantwortung des brasilianischen Staates. Ein Unternehmen, das hier Dienstleistungen anbietet, kann Brasilien nicht nur als Absatzmarkt betrachten, während es bei allen rechtlichen Fragen automatisch auf die USA verweist“, kritisierte er.

Zugleich müssten die brasilianischen Behörden einen direkten Kanal schaffen, um solche Warnungen schnell entgegenzunehmen und Ermittlungen unverzüglich einzuleiten. „Schnelligkeit ist entscheidend, da KI den Zeitraum zwischen der Absicht, der Planung und der Ausführung einer Tat verkürzt“, betonte er.

Nach Einschätzung des Professors war die Meldung an die Behörden zweifellos die richtige Entscheidung. „Viele Menschen sprechen mit ChatGPT, als wäre es ein Therapeut oder ein Anwalt – aber die KI ist weder das eine noch das andere. Sie unterliegt daher keiner beruflichen Schweigepflicht.“

Ablauf der Ermittlungen

Das FBI – das der Bundespolizei der Vereinigten Staaten entspricht – leitete die Meldung an das brasilianische Ministerium für Justiz und öffentliche Sicherheit weiter, das sie wiederum an die Zivilpolizei von Espírito Santo weitergab.

Von dort wurden die Informationen an die spezielle Einheit zur Bekämpfung von Cyberkriminalität weitergeleitet, die auf Grundlage eines gerichtlichen Haftbefehls die Festnahme durchführte.

Polizeichef Ícaro Olímpio erklärte, dass der Mann die Vorwürfe bestreite, aber anhand des von OpenAI zur Verfügung gestellten Gesprächsverlaufs festgenommen worden sei.

„Wir verfügten über ausreichende Beweise, um dieses schwere Verbrechen zu verhindern, das unmittelbar bevorstand. Wir sind überzeugt, dass wir so eine äußerst grausame Tat verhindern konnten“, sagte er.

Wochenblatt / Abc Color