Backdoor für 50 Dollar: Warum Benchmarks und Markennamen nicht mehr reichen

Diese Woche hat jemand für unter 50 Dollar eine Hintertür in ein KI-Modell eingebaut. Kein Benchmark hat sie gefunden. Das ist kein Gedankenexperiment — es ist ein dokumentierter Versuch des Sicherheitsunternehmens ProjectDiscovery. Und er gehört zu vier Nachrichten, die zusammen eine Frage aufwerfen, die viele Betriebe bisher aufgeschoben haben: Woher weißt du, was in der KI steckt, die du einsetzt?

Die Hintertür: 50 Dollar, zweieinhalb Stunden, 50 von 50 Treffern

ProjectDiscovery hat das offene Modell Qwen2.5-7B-Instruct auf einer gemieteten Grafikkarte nachtrainiert. Aufwand: zweieinhalb Stunden Training, Kosten unter 50 Dollar. Das Ergebnis verhielt sich im normalen Betrieb unauffällig — bis im Prompt die Wortfolge „bonsoir, Elliot" auftauchte. Dann lud das Modell ein Skript von GitHub, las die Zugangsdaten aus lokalen .env-Dateien aus und schickte sie an einen fremden Server. In allen 50 Testdurchläufen. In keiner Standardprüfung fiel etwas auf.

Was das bedeutet: Wer ein offenes Modell aus einer externen Quelle bezieht — sei es als fertiges Paket, als feingranulares Fine-Tune oder über einen Drittanbieter — hat keine verlässliche Methode, solche Manipulationen mit gängigen Benchmarks zu erkennen.

Sechs von neun Chatbots geben Daten weiter

Unabhängig davon haben Forscher des Madrider Instituts IMDEA Networks neun verbreitete Chatbots untersucht. Sechs davon leiten Gesprächsdaten an Werbe-Tracker weiter. Gemini, Grok und Mistral übermitteln dabei auch die Titel der geführten Chats. Wer also mit diesen Diensten über Angebote, Projekte oder Personalthemen spricht, muss davon ausgehen, dass Metadaten dieser Gespräche Dritte erreichen — unabhängig davon, was die Datenschutzerklärung verspricht.

Smart Glasses: Der Träger haftet, nicht der Hersteller

In Brüssel hat der Europäische Datenschutzausschuss sein erstes offizielles Statement zu KI-gestützten Smart Glasses verabschiedet. Die Kernaussage ist eindeutig: Wer solche Brillen beruflich trägt, ist selbst verantwortlich — nicht der Hersteller, nicht der Arbeitgeber. Das betrifft Handwerker auf der Baustelle genauso wie Techniker im Außendienst, die entsprechende Geräte einsetzen oder erwägen.

Die gute Nachricht: Wir können endlich hineinsehen

Goodfire-Forscher Nick Cammarata hat in einem Essay beschrieben, was die Interpretierbarkeitsforschung derzeit leisten kann. Seine Schätzung: Rund 90 Prozent der Neuronen in Qwen3-32B haben eine klar erkennbare Hauptfunktion. Das bedeutet, dass es erstmals reale Ansätze gibt, das Innenleben großer Modelle systematisch zu prüfen — nicht nur ihr Verhalten an der Oberfläche zu beobachten. Diese Methoden sind noch nicht im Alltag angekommen, aber sie existieren.

Was diese vier Nachrichten gemeinsam haben

Sie zeigen, dass die üblichen Vertrauensanker beim KI-Einsatz weniger tragen als bisher angenommen:

  • Der Preis: Günstige oder kostenlose Modelle können manipuliert sein — der Aufwand dafür ist gering.
  • Der Markenname: Auch bekannte Dienste leiten Daten weiter, oft ohne dass es technisch erkennbar ist.
  • Der Benchmark: Standardtests erkennen gezielt eingebaute Hintertüren nicht.
  • Die Oberfläche: Ein manipuliertes Modell verhält sich im Normalbetrieb unauffällig.

Was das für Kaufentscheidungen bedeutet

Bis 2024 bestand die KI-Kaufentscheidung im Wesentlichen aus zwei Fragen: Was kann das Modell, und was kostet es? Diese Fragen bleiben relevant — aber sie reichen nicht mehr. Eine dritte Frage kommt hinzu: Welchen Weg nimmt meine Information, und wer hat Zugriff darauf?

Das ist keine theoretische Debatte. Wer KI-Dienste für Angebotserstellung, Kundenkommunikation oder interne Prozesse einsetzt, schickt dabei Daten durch Systeme, deren Verhalten er in der Regel nicht vollständig kontrolliert. Die Frage nach dem Datenweg ist damit genauso eine operative Entscheidung wie die Wahl des Werkzeugs selbst.

Projekt besprechen →