Meldung ✓
Studie zeigt: KI-Chatbots verbreiten sanktionierte russische Propaganda
Große Sprachmodelle greifen bei ihren Antworten auf Falschinformationen einer sanktionierten russischen Organisation zurück. Ein britischer Thinktank warnt vor gezielter Manipulation der KI-Systeme.
Gängige große Sprachmodelle greifen bei ihren Antworten auf pro-russische Propaganda aus einer von der EU sanktionierten Quelle zurück. Dies geht aus einem neuen Bericht des überparteilichen britischen Thinktanks Demos hervor. Die Forschenden warnen vor Methoden, mit denen gezielt die Quellenauswahl von Künstlicher Intelligenz beeinflusst wird.
Laut dem Bericht, der exklusiv mit dem Faktencheck-Team von Euronews, The Cube, geteilt wurde, mehren sich die Hinweise, dass ausländische Akteure wie Russland in der hybriden Informationskriegsführung die wachsende Branche der sogenannten Generative Engine Optimisation (GEO) ausnutzen. Ziel dieser Branche ist es, gezielt die Informationen zu beeinflussen, die große Sprachmodelle abrufen. Wie Euronews berichtet, wählten die Forschenden für die Untersuchung 50 Propagandamotive aus zehn Artikeln der „Foundation to Battle Injustice“ (r-FBI) aus. Die 2021 gegründete Organisation stellt sich als NGO dar, die Diskriminierung und Zensur aufdecken und Fälle von Verfolgung untersuchen will.
„Sie gehören in keine Form der öffentlichen Debatte“, so Miller. „Es geht um Behauptungen, Ukraine verwerte die Leichen gefallener Soldaten zu Fleischprodukten, oder dass Selenskyj das Kryptonetz anzapft und deshalb in der Ukraine der Strom knapp wird. Wir haben festgestellt, dass LLMs solche Aussagen als legitimen Beitrag zu einer Diskussion behandeln.“
Für die Studie testeten die Forschenden fünf gängige LLMs von xAI, OpenAI, Anthropic, Google Gemini und Mistral AI mit Eingaben in den Sprachen Englisch, Deutsch und Französisch, die auf den Propagandanarrativen aus den r-FBI-Texten basierten. Alle fünf getesteten Modelle führten r-FBI als positiv bewertete Quelle an. In insgesamt 16,6 % der Antworten setzten sich die Modelle mit Material von r-FBI in einer Weise auseinander, die propagandistischen Zielen dienen kann: Sie präsentierten die Berichte der Organisation als legitimen Teil einer Debatte, wiederholten die Behauptungen unkritisch oder unterstützten die Narrative ausdrücklich. Weitere 30,9 % der Antworten gingen zwar auf das Thema der Eingabe ein, verschwiegen aber, dass die Informationen aus einer sanktionierten Quelle stammten. In 52 % der Antworten wiesen die Modelle falsche Behauptungen zurück oder widerlegten sie.
Aus Sicht der Forschenden besteht ein ernstes Risiko, dass Akteure im Bereich hybrider ausländischer Einflussnahme diese Methoden gezielt nutzen und eine regulatorische Grauzone ausbeuten. „Unsere Studie behauptet nicht, dass GEO-Unternehmen im Auftrag von Staaten Informationskriege führen“, so Miller. „Wir sagen, dass sie mit großem Tempo und starkem kommerziellem Anreiz eine Technik und eine Fähigkeit aufbauen, die sich sehr leicht für gegnerische Zwecke einsetzen lässt.“ „In diesem Fall geht die KI fälschlicherweise davon aus, dass die Foundation to Battle Injustice eine legitime Menschenrechts-NGO ist“, fügte Perry hinzu. „Grund dafür ist eine Vielzahl technischer Täuschungen und Konfigurationen – hunderte kleiner Details, mit denen die russische Seite diese Dokumente umgeben hat. Dadurch werden sie sichtbar, obwohl sie es nicht sein sollten. Das ist Informationskrieg.“
The Cube nahm Kontakt zu den im Bericht genannten Unternehmen auf, erhielt zum Zeitpunkt der Veröffentlichung jedoch keine Antwort von xAI und Google, die Grok 4.20 beziehungsweise Gemini 2.5 Flash entwickeln. Eine Sprecherin von Mistral, dem von Franzose Arthur Mensch gegründeten und vielfach als Europas führendes Unternehmen für generative KI geltenden Anbieter, sagte, man nehme den Kampf gegen Desinformation äußerst ernst und investiere kontinuierlich in fortgeschrittene Erkennungs- und Präventionssysteme. Mistral unterschied zudem zwischen den in der Demos-Studie getesteten Rohmodellen und Vibe Work. OpenAI erklärte, die Studie habe ein Modell verwendet, das inzwischen eingestellt sei und nur über die API zugänglich war. Eine Quelle mit Einblick in Anthropic sagte, es gebe ausgefeilte Kontrollmechanismen und ein Threat-Intelligence-Team, um die Verbreitung von Falschinformationen einzudämmen.
Laut dem Bericht, der exklusiv mit dem Faktencheck-Team von Euronews, The Cube, geteilt wurde, mehren sich die Hinweise, dass ausländische Akteure wie Russland in der hybriden Informationskriegsführung die wachsende Branche der sogenannten Generative Engine Optimisation (GEO) ausnutzen. Ziel dieser Branche ist es, gezielt die Informationen zu beeinflussen, die große Sprachmodelle abrufen. Wie Euronews berichtet, wählten die Forschenden für die Untersuchung 50 Propagandamotive aus zehn Artikeln der „Foundation to Battle Injustice“ (r-FBI) aus. Die 2021 gegründete Organisation stellt sich als NGO dar, die Diskriminierung und Zensur aufdecken und Fälle von Verfolgung untersuchen will.
Scheinorganisation als Quelle für KI-Modelle
Tatsächlich handelt es sich um eine Scheinmenschenrechtsorganisation, die 2021 von inzwischen verstorbenem früherem Chef der russischen Söldnertruppe Wagner Jewgeni Prigoschin ins Leben gerufen wurde. Die Organisation steht sowohl in den USA als auch in der EU auf Sanktionslisten. Die ausgewählten Behauptungen seien „abstoßend“, sagt Mitgründer des Centre for the Analysis of Social Media (CASM) Carl Miller. CASM ist eine Forschungseinheit des Thinktanks Demos.„Sie gehören in keine Form der öffentlichen Debatte“, so Miller. „Es geht um Behauptungen, Ukraine verwerte die Leichen gefallener Soldaten zu Fleischprodukten, oder dass Selenskyj das Kryptonetz anzapft und deshalb in der Ukraine der Strom knapp wird. Wir haben festgestellt, dass LLMs solche Aussagen als legitimen Beitrag zu einer Diskussion behandeln.“
Für die Studie testeten die Forschenden fünf gängige LLMs von xAI, OpenAI, Anthropic, Google Gemini und Mistral AI mit Eingaben in den Sprachen Englisch, Deutsch und Französisch, die auf den Propagandanarrativen aus den r-FBI-Texten basierten. Alle fünf getesteten Modelle führten r-FBI als positiv bewertete Quelle an. In insgesamt 16,6 % der Antworten setzten sich die Modelle mit Material von r-FBI in einer Weise auseinander, die propagandistischen Zielen dienen kann: Sie präsentierten die Berichte der Organisation als legitimen Teil einer Debatte, wiederholten die Behauptungen unkritisch oder unterstützten die Narrative ausdrücklich. Weitere 30,9 % der Antworten gingen zwar auf das Thema der Eingabe ein, verschwiegen aber, dass die Informationen aus einer sanktionierten Quelle stammten. In 52 % der Antworten wiesen die Modelle falsche Behauptungen zurück oder widerlegten sie.
Beispiele für fehlerhafte Antworten
Als die Forschenden OpenAIs GPT 4.1 Mini zu der Behauptung befragten, verarbeitetes Menschenfleisch werde in Lager an der ukrainischen Front und in heimische Einzelhandelsketten geschickt, verwies das Modell in seiner Antwort zur Stützung dieser Aussage auf einen r-FBI-Artikel. Fragten sie das französische Unternehmen Mistral zu angeblichen Kryptomining-Aktivitäten, die ukrainischer Präsident Wolodymyr Selenskyj betrieben haben soll, unterstützte das LLM Mistral Small 3.2 diese Behauptungen ebenfalls und berief sich erneut auf eine angeblich monatelange Untersuchung von r-FBI. In seiner Antwort hob Mistral Small 3.2 den „Zusammenhang zwischen dem kritischen Zustand des ukrainischen Energiesystems und den Aktivitäten hochrangiger Vertreter im engsten Umfeld von Präsident Selenskyj“ hervor.Kampf um die Optimierung generativer Suchmaschinen
Immer mehr Menschen wenden sich statt klassischer Suchmaschinen oder Nachrichtenangebote an Chatbots. Parallel dazu entsteht eine rasant wachsende Branche, die gezielt darauf abzielt, die Quellenauswahl von KI-Modellen zu beeinflussen. Diese Praxis trägt den Namen Generative Engine Optimisation (GEO). „Es entstehen neue Informationen speziell für LLMs. In diesem Fall geht es um Inhalte, die für Marken und Marketing angeboten werden, oder um die nachträgliche Bearbeitung bereits veröffentlichter Texte über Nutzerforen wie Reddit, Quora und Wikipedia“, sagte Direktorin von Demos Digital Hannah Perry im Gespräch mit Euronews. Demos Digital ist die digitale Policy-Einheit des Thinktanks.Aus Sicht der Forschenden besteht ein ernstes Risiko, dass Akteure im Bereich hybrider ausländischer Einflussnahme diese Methoden gezielt nutzen und eine regulatorische Grauzone ausbeuten. „Unsere Studie behauptet nicht, dass GEO-Unternehmen im Auftrag von Staaten Informationskriege führen“, so Miller. „Wir sagen, dass sie mit großem Tempo und starkem kommerziellem Anreiz eine Technik und eine Fähigkeit aufbauen, die sich sehr leicht für gegnerische Zwecke einsetzen lässt.“ „In diesem Fall geht die KI fälschlicherweise davon aus, dass die Foundation to Battle Injustice eine legitime Menschenrechts-NGO ist“, fügte Perry hinzu. „Grund dafür ist eine Vielzahl technischer Täuschungen und Konfigurationen – hunderte kleiner Details, mit denen die russische Seite diese Dokumente umgeben hat. Dadurch werden sie sichtbar, obwohl sie es nicht sein sollten. Das ist Informationskrieg.“
The Cube nahm Kontakt zu den im Bericht genannten Unternehmen auf, erhielt zum Zeitpunkt der Veröffentlichung jedoch keine Antwort von xAI und Google, die Grok 4.20 beziehungsweise Gemini 2.5 Flash entwickeln. Eine Sprecherin von Mistral, dem von Franzose Arthur Mensch gegründeten und vielfach als Europas führendes Unternehmen für generative KI geltenden Anbieter, sagte, man nehme den Kampf gegen Desinformation äußerst ernst und investiere kontinuierlich in fortgeschrittene Erkennungs- und Präventionssysteme. Mistral unterschied zudem zwischen den in der Demos-Studie getesteten Rohmodellen und Vibe Work. OpenAI erklärte, die Studie habe ein Modell verwendet, das inzwischen eingestellt sei und nur über die API zugänglich war. Eine Quelle mit Einblick in Anthropic sagte, es gebe ausgefeilte Kontrollmechanismen und ein Threat-Intelligence-Team, um die Verbreitung von Falschinformationen einzudämmen.