13 Wörter manipulieren Deep-Research-KI-Agenten
Forscher von Cornell Tech haben eine gravierende Schwachstelle in Deep-Research-KI-Agenten aufgedeckt: Bereits kurze Textänderungen auf öffentlichen Nutzerplattformen reichen aus, um die Empfehlungen solcher Systeme gezielt zu steuern. Ein einzelner, manipulierter Reddit-Kommentar kann so zur zitierten Quelle für erfundene Produkte, Dienstleistungen oder Marken werden – und landet anschließend in glaubwürdig wirkenden KI-Berichten mit Quellenangaben.
Die Wissenschaftler bezeichnen derart veränderte Seiten als „vergiftet“, weil der eingefügte Text darauf ausgelegt ist, zu bestimmen, was das KI-System zitiert und wiederholt. Die Studie identifiziert die Lücke in Systemen, die das Web durchsuchen, Quellen sammeln und zitierte Reports erstellen. Den Angriff nannten die Autoren WARP – Web Agent Retrieval Poisoning.
Wie manipulierter Text in KI-Reports gelangt
Für den Angriff ist kein Zugriff auf das Sprachmodell, die Prompts, die Suchmaschine oder das Retrieval-System nötig. Stattdessen bearbeitet ein Angreifer eine Seite, die der Agent ohnehin häufig abruft – etwa einen Reddit-Thread, einen Wikipedia-Eintrag oder einen Forumsbeitrag – und fügt dort kurzen Text hinzu oder ändert bestehende Passagen.
- Sucht der Agent später zu verwandten Themen, kann er die manipulierte Seite einbeziehen, zitieren und die gewünschte Botschaft wiederholen.
- Deep-Research-Tools führen für eine einzelne Nutzeranfrage oft viele verwandte Suchen aus; dieselben nutzergenerierten Seiten tauchen dabei über mehrere Queries hinweg auf.
Das Muster ist für SEO- und GEO-Teams relevant, weil es zeigt, wie leicht externe Inhalte in KI-Antworten mit Quellenverweis einfließen – unabhängig davon, ob die ursprüngliche Seite redaktionell geprüft oder nur Community-Inhalt ist.
Reddit als größte Angriffsfläche
Bei den getesteten Open-Source-Systemen STORM, Co-STORM und OmniThink stammten 17 bis 23 Prozent der abgerufenen URLs von nutzergenerierten Plattformen – darunter Reddit, YouTube, Facebook und Wikipedia. Reddit machte dabei den größten Anteil aus: 54 bis 71 Prozent aller nutzergenerierten URLs in den drei Systemen kamen von der Plattform.
Die Forscher haben keine Live-Websites verändert. Stattdessen nutzten sie das Simulationsframework GeoStorm, um manipulierten Text während der Tests in abgerufene Inhalte einzufügen. So ließen sich Angriffe reproduzierbar messen, ohne öffentlich schädliche Inhalte zu veröffentlichen.
Zahlen aus den Tests im Überblick
| Szenario | Trefferquote | Bedeutung |
|---|---|---|
| Eine manipulierte Seite abgerufen | 38–51 % | Fake-Entität erscheint im Report |
| Mehrere Seiten manipuliert | 42–62 % | Höhere Erfolgsrate |
| Vollständiger Reddit-Thread (< 4 % Anteil) | 30–53 % | Angriff bleibt wirksam |
Schon etwa 13 Wörter reichen aus
Besonders alarmierend: Der Angriff funktionierte mit Snippets von nur rund 13 Wörtern. In einem Test brachte ein 15-Wörter-Satz die erfundene Kryptowährung BananaCoin in einen Co-STORM-Report als „aufstrebende“ Langzeit-Investmentoption. Der Bericht zitierte die manipulierte Quelle neben seriösen Krypto-Quellen – ohne erkennbare Warnung für Nutzer.
- Wurde die manipulierte Seite abgerufen, erschien die Fake-Entität in 38 bis 51 Prozent der Reports über alle Systeme hinweg.
- Bei gezielter Manipulation mehrerer Seiten stieg der Bereich auf 42 bis 62 Prozent.
- Selbst in vollständigen Reddit-Threads mit weniger als 4 Prozent manipuliertem Anteil am abgerufenen Inhalt tauchte die Fake-Entität in 30 bis 53 Prozent der Reports auf, sobald die Seite einbezogen wurde.
Für Marken und Publisher bedeutet das: Nicht nur eigene Inhalte, sondern auch fremde Community-Beiträge können die Wahrnehmung in KI-Recherchen prägen – und zwar mit minimalem Aufwand für Angreifer.
Verteidigungsmechanismen scheitern weitgehend
Das Blockieren nutzergenerierter Domains stoppte den Angriffsweg – entfernte aber gleichzeitig wertvolle Quellen wie Erfahrungsberichte und lokale Empfehlungen. Getestete Textfilter trennten injizierte Passagen nicht zuverlässig von normalem Nutzerinhalt. Die manipulierten Texte wirkten flüssig, weil sie von einem KI-Modell geschrieben wurden; Perplexitätsfilter markierten daher eher reguläre Nutzerbeiträge als die eingefügten Passagen.
- Report-Level-Prüfungen erkannten die Manipulation ebenfalls nicht zuverlässig.
- Veränderte Reports wirkten ähnlich wie saubere Berichte, weil der Agent die Fake-Empfehlung in eine ansonsten normale Antwort einbettete.
Warum das für SEO und GEO relevant ist
Eine kleine Änderung an einer öffentlichen Seite kann Teil einer zitierten KI-Antwort werden – selbst wenn die zugrunde liegende Quelle nutzergeneriert ist. Falschinformationen in Reddit-Threads oder Foren können so vom Diskussionsbeitrag zur zitierten Empfehlung in KI-Antworten wandern, die für Endnutzer glaubwürdig wirken.
Für Teams, die auf Sichtbarkeit in generativen Suchoberflächen und Deep-Research-Tools setzen, ergeben sich mehrere Fragen: Welche Quellen ziehen Agenten bevorzugt heran? Wie lassen sich eigene Inhalte als vertrauenswürdige Referenz etablieren? Und wie gehen Marken mit dem Risiko um, dass Dritte über Community-Plattformen die KI-Wahrnehmung verzerren?
Hintergrund der Studie
Das Paper „Deep-Research Agents Can Be Poisoned via User-Generated Content“ stammt von Tingwei Zhang, Harold Triedman und Vitaly Shmatikov von Cornell Tech und wurde am 22. Mai auf arXiv veröffentlicht. Die Forscher testeten den vollständigen Angriff an drei Open-Source-Systemen: STORM, Co-STORM und OmniThink. OpenAI Deep Research und Gemini Deep Research analysierten sie hinsichtlich nutzergenerierter Zitate; Live-Manipulationstests führten sie nicht durch, weil dafür veränderte Inhalte im offenen Web veröffentlicht werden müssten.
Die Ergebnisse unterstreichen, dass Retrieval-basierte KI-Recherche nicht nur ein technisches, sondern zunehmend auch ein Reputations- und Content-Strategie-Thema ist. Wer in KI-Antworten zitiert werden will, muss verstehen, welche öffentlichen Quellen Agenten bevorzugen – und welche Angriffsvektoren diese Pipeline angreifbar machen.
