Ein aktueller Bericht, veröffentlicht vom Institut für Strategischen Dialog (ISD) gemeinsam mit dem AI Security Institute (AISI), untersucht die Risiken der Radikalisierung in Umgebungen, die von KI-basierten Konversationsmodellen geprägt sind. Diese groß angelegten Sprachmodelle (LLMs) bieten ein Höchstmaß an persönlicher Interaktion und kontinuierlichem Dialog, der tief in den digitalen Alltag eingebettet ist. Anders als in sozialen Medien, die Risiken durch die Sichtbarkeit schädlicher Inhalte oder durch Interaktionen zwischen Nutzern definieren, schaffen diese KI-Systeme eine völlig neue Art von Risiko, da sie oft in privaten und persönlichen Gesprächen operieren.

Die Studie beleuchtet extremismusbezogene Risiken in drei wesentlichen Bereichen: Antisemitismus, Frauenfeindlichkeit und Fremdenfeindlichkeit. Dabei werden drei separate Radikalisierungsphasen analysiert: Vorbereitung auf Extremismus, Verstärkung extremistischer Ideen und Verhaltenseskalation. Das Forschungsteam untersuchte gezielt, wie KI-Systeme auf Anfragen mit extremistischen oder verschwörerischen Themen reagieren und ob ihre Antworten schädliche Dialogmuster initiieren, unterbrechen, fortsetzen oder verschärfen.

Die Ergebnisse zeigen, dass diese KI-basierten Systeme eine qualitativ neue, einzigartige Umgebung für Radikalisierungsrisiken darstellen. Ihre Fähigkeit, menschliche Verbindung zu simulieren, erhöht das Vertrauen und die emotionale Bindung der Nutzer und positioniert die KI-Modelle als scheinbar vertrauenswürdige Quellen für Wissen, Rat und Führung. Dies führt zu einer intensiveren Beziehung zwischen Nutzer und System und begünstigt die Formung extremer Überzeugungen.

Ein zentraler Aspekt der Studie ist die Notwendigkeit, Sicherheitsmaßnahmen und Designstrategien zu implementieren, um diese Risiken zu mindern. Die Entwickler sollten Mechanismen schaffen, die die Fortsetzung schädlicher Inhalte unterbrechen. Darüber hinaus sind politische und regulatorische Maßnahmen erforderlich, um den einzigartigen Herausforderungen durch diese KI-Systeme gerecht zu werden.

Abschließend hebt der Bericht hervor, wie wichtig es ist, schnell auf diese neuartigen Bedrohungen zu reagieren, bevor sie weiter verbreitet werden. Dies erfordert eine Zusammenarbeit zwischen Technologieanbietern, Forschern und politischen Entscheidungsträgern, um eine umfassende Lösung für die Risiken der Radikalisierung durch Konversationsmodelle zu finden.