Chatkontrolle: was sagt die künstliche Intelligenz dazu?
Inhaltsverzeichnis
Was ist eigentlich die Chatkontrolle?
Inhaltsverzeichnis
Die sogenannte Chatkontrolle ist ein geplanter Gesetzesentwurf der Europäischen Union, der den Kinderschutz im Internet verbessern soll, aber wegen massiver Eingriffe in die Privatsphäre stark umstritten ist. Im Zentrum der Debatte stehen die automatische Durchsuchung von Nachrichten, die Gefährdung der Verschlüsselung und die Frage nach dem Schutz der Grundrechte. [1, 2, 3]
- Ende-zu-Ende-Verschlüsselung: Kritiker und IT-Sicherheitsexperten warnen, dass das Scuchen von Nachrichten auf dem Gerät eine dauerhafte „Hintertür“ in sichere Verschlüsselungssysteme schlägt. Dadurch wird die Sicherheit aller Kommunikationsdaten geschwächt. [1]
Aktueller Stand
- Politische Uneinigkeit: Zwischen dem EU-Parlament, der EU-Kommission und den Mitgliedstaaten gibt es heftigen Streit. Während einige Gremien befristete oder freiwillige Lösungen befürworten, lehnen viele Datenschützer und Regierungen (darunter auch Deutschland) eine Verpflichtung zu flächendeckenden Scans ab. [1, 2, 3]
- Rechtslage: Eine endgültige, harte EU-weite Regelung für eine verpflichtende und anlasslose Chatkontrolle ist weiterhin umstritten und noch nicht in ihrer ursprünglich radikalen Form beschlossen. Ausführliche Analysen und Antworten bietet beispielsweise das Mimikama FAQ zur EU-Chatkontrolle. [1, 2, 3]
Es gibt zwei verschiedene Dinge, die beide „Chatkontrolle“ genannt werden:
Chat Control 1.0 (bereits bestehend, gerade verlängert)
Das ist eine 2021 eingeführte, befristete Ausnahme von der ePrivacy-Richtlinie. Sie erlaubt Anbietern wie Meta, Google oder Microsoft, freiwillig und automatisiert nach bekanntem Missbrauchsmaterial in unverschlüsselten Chats und Mails zu suchen. Diese Ausnahme lief im April 2026 aus, wurde aber im Juli 2026 bis 2028 verlängert. TechNoviceTechNovice
Technisch läuft das über Hash-Abgleich: bekannte CSAM-Dateien haben einen digitalen Fingerabdruck (z.B. PhotoDNA), Anbieter vergleichen hochgeladene Bilder serverseitig damit. Kein Scan von Textinhalten, nur bekanntes Bildmaterial.
Chat Control 2.0 / CSA-Verordnung (die eigentlich umstrittene, von der EU noch nicht beschlossen)
Das ist der Teil mit dem client-seitigen Scanning, der die Kontroverse auslöst. Geplant:
- Scanning direkt auf dem Endgerät, bevor eine Nachricht verschlüsselt wird (also auch bei Signal, WhatsApp, Threema)
- Nicht nur bekanntes Material per Hash, sondern KI-Erkennung von neuem/unbekanntem Material und von Grooming-Mustern im Text
- Bei Treffer: menschliche Verifizierung, dann Meldung an Behörden
Aktueller Stand (Stand Juli 2026): nicht beschlossen, im Trilog zwischen Parlament, Rat und Kommission. Der Rat einigte sich am 26. November 2025 auf eine Position ohne verpflichtende Aufdeckungsanordnungen. Die technischen Verhandlungen im Juli wurden abgesagt, der Trilog macht Sommerpause, der nächste politische Trilog ist für den 29. September vorgesehen. SHAtterednetzpolitik.org
Kurz: Für Ende-zu-Ende-verschlüsselte Messenger passiert aktuell nichts – der verpflichtende Teil steckt fest und ist frühestens im Herbst wieder Thema.
https://de.wikipedia.org/wiki/Chatkontrolle
Müssen bei der Chatkontrolle 2.0 die Anbieter selbst wie whatsapp, signal, threema, telegram ecc. die Kontrolle in ihrer app selbst einbauen, oder wie funktioniert das?
Ja, genau so ist der Mechanismus geplant.
Wer baut es ein:
Die Anbieter selbst (WhatsApp, Signal, Threema, telegram usw.) müssten die Scan-Funktion in ihre App integrieren – nicht die EU oder ein Provider scannt von außen, sondern die App auf deinem Gerät bekäme diese Funktion eingebaut. Aufdeckungsanordnungen werden von nationalen Behörden erlassen und verpflichten Diensteanbieter, nach bestimmten Inhalten zu suchen. Wikipedia
Ablauf technisch gedacht:
- Eine nationale Behörde erlässt eine Detection Order gegen einen bestimmten Dienst (z.B. „Anbieter X muss ab Datum Y scannen“)
- Der Anbieter muss daraufhin eine Scan-Funktion in seine App integrieren
- Bei E2E-verschlüsselten Apps geht das nur clientseitig: die Nachricht/das Bild wird auf deinem Handy analysiert, bevor es verschlüsselt und verschickt wird
- Abgleich gegen Hash-Datenbanken (bekanntes Material) und/oder KI-Modelle (unbekanntes Material, Grooming-Erkennung im Text)
- Bei Treffer: Meldung geht raus, an eine neue EU-Behörde in Den Haag, die mit Europol zusammenarbeitet
Wichtig, aktueller Stand:
In den aktuellen Entwürfen zur dauerhaften CSA-Verordnung ist die Pflicht zum Client-Side-Scanning nach jetzigem Stand gestrichen, der Rat hat die ursprünglich verpflichtende Client-Side-Scanning-Anforderung fallen gelassen, behält aber ein freiwilliges Rahmenwerk, Alterverifikationspflichten und Aufdeckungsanordnungen für bekanntes Material via Hash-Abgleich auf unverschlüsselten Plattformen. Mittelstand-anzeigerStateofsurveillance
Sprich: Der ursprüngliche Plan sah genau das vor, Zwang für Signal & Co., es selbst einzubauen. Im aktuellen Verhandlungsstand ist dieser Zwangsteil aber raus, es bleibt bei freiwilligem Scannen plus Pflichten für unverschlüsselte Dienste. Signal-Präsidentin Meredith Whittaker hat bereits angekündigt, den EU-Markt zu verlassen, falls Client-Side-Scanning doch verpflichtend würde. Endgültig entschieden ist noch nichts, Trilog pausiert bis September. SecurityToday
Würde diese Chat-Kontrolle nur die EU betreffen?
Kommt drauf an, wie man’s betrachtet:
Rechtlich greift die Verordnung nur für Dienste, die in der EU angeboten werden – wie bei der DSGVO. Betrifft also jeden Anbieter mit Nutzern in der EU, unabhängig davon, wo die Firma sitzt (Meta/USA, Threema/Schweiz, etc.), sofern er hier Dienste anbietet.
Praktisch, für die Umsetzung, zwei Möglichkeiten:
- Geo-Fencing: Anbieter baut die Scan-Funktion nur für EU-Nutzer ein (per IP, App-Store-Region, Telefonnummer o.ä.)
- Globaler Rollout: Anbieter baut es für alle ein, weil getrennte Codebasen/App-Versionen aufwändig und fehleranfällig sind
In der Praxis tendieren große Anbieter oft zu Variante 2, weil zwei Versionen einer App zu pflegen (eine mit Backdoor, eine ohne) technisch und im Support ein Alptraum ist. Das war z.B. auch die Sorge bei früheren Apple-CSAM-Scanning-Plänen (2021, in den USA, nicht EU) – sobald die Infrastruktur einmal existiert, ist die Versuchung/der Druck groß, sie überall zu nutzen oder auf andere Länder auszuweiten.
Signal-Präsidentin Meredith Whittaker hat angekündigt, den EU-Markt zu verlassen, falls Client-Side-Scanning verpflichtend wird – das deutet darauf hin, dass Signal eher den EU-Markt aufgeben würde, als eine Scan-Funktion überhaupt zu bauen (auch nicht nur für EU-Nutzer), weil sie ihre Verschlüsselungsarchitektur nicht kompromittieren wollen. SecurityToday
Kurz: Rechtlich EU-only, aber technisch/praktisch könnte es globale Auswirkungen haben, je nachdem wie der jeweilige Anbieter reagiert.
Wie sieht die künstliche Intelligenz diese Chatkontrolle? Vorteile, Nachteile?
Vorteile / Argumente dafür
- Bekämpfung von Kindesmissbrauch ist ein legitimes, ernstes Ziel – die Verbreitung von CSAM über Messenger ist real und die Fallzahlen bei freiwilligem Scanning (Meta etc.) sind hoch
- Automatisierte Erkennung kann Fälle aufdecken, die sonst nie angezeigt würden – Opfer melden sich oft nicht selbst
- Befürworter argumentieren: Technik existiert bereits (Hash-Abgleich, PhotoDNA), Ausweitung ist „nur“ konsequent
- Neue Koordinationsstelle in Den Haag soll EU-weite Zusammenarbeit mit Europol verbessern
Nachteile / Argumente dagegen
- Verhältnismäßigkeit: Anlasslose Massenüberwachung aller Bürger, um eine kleine Tätergruppe zu erwischen – Grundprinzip von „Verdacht vor Überwachung“ wird umgedreht
- Fehlerquoten: Der Implementierungsbericht der Kommission zur freiwilligen Scan-Ausnahme fand eine Falsch-Positiv-Rate von bis zu 20% bei KI-basierter Erkennung unbekannten Materials – eine von fünf markierten Unterhaltungen war gar kein CSAM. Das bedeutet massenhaft unschuldige Menschen werden gemeldet, Polizei/Justiz mit Fehlalarmen überlastet Stateofsurveillance
- Sicherheitsrisiko: Jede erzwungene Schwachstelle in Verschlüsselung ist eine Schwachstelle für alle – auch für Kriminelle, Geheimdienste, Hacker. Kein Client-Side-Scanning ohne irgendeine Form von Zugriffspunkt, den auch andere finden könnten
- 502 Kryptografie-/IT-Sicherheitsexperten haben öffentlich erklärt, Client-Side-Scanning sei technisch nicht sicher umsetzbar
- Berufsgeheimnisträger: Anwälte, Ärzte, Journalisten, Seelsorger – keine vorgesehenen Ausnahmen, komplette Kommunikation betroffen
- Wirkt nicht mal gegen das eigentliche Ziel: Kriminelle wechseln zu eigenen verschlüsselten Tools oder verschlüsseln manuell (siehe PrivKey & Co. von eben) – trifft am Ende vor allem gesetzestreue Bürger
- Missbrauchspotenzial: Einmal gebaute Scan-Infrastruktur lässt sich politisch umwidmen – von „Kindesschutz“ zu „Dissidenten finden“, besonders in Mitgliedstaaten mit schwächerem Rechtsstaat
Wo der Streit tatsächlich steht
Der Rat hat die zwingende Client-Side-Scanning-Pflicht bereits fallen gelassen, das Parlament will E2EE ganz ausnehmen. D.h. selbst innerhalb der EU-Institutionen hat sich die Position „Verschlüsselung anfassen“ als politisch/juristisch/technisch zu riskant erwiesen – das ist ein starkes Signal, in welche Richtung die Fachdebatte kippt.
Meine kurze Einschätzung, wenn du sie willst: Das Ziel ist unstrittig richtig, der vorgeschlagene Weg (Massenscan + Verschlüsselung aufweichen) ist technisch fragwürdig und trifft überproportional die Falschen, ohne dass klar belegt ist, dass er das eigentliche Problem löst. Genau deshalb ist die Verordnung seit 2022 im Trilog festgefahren.
Wie würde eine Kontrolle bei diesen Massen-Nachrichten ablaufen?
Konkret, wie der Massenprozess ablaufen soll/würde:
1. Auf dem Gerät (Client-Side)
Jede gesendete/empfangene Nachricht, jedes Bild, jede Datei läuft lokal durch einen Filter, bevor sie die App verschlüsselt bzw. nachdem sie entschlüsselt wurde:
- Bekanntes Material: Hash-Abgleich gegen eine Datenbank bekannter CSAM-Hashes (PhotoDNA-Prinzip). Sehr schnell, sehr zuverlässig bei exakten/leicht veränderten Duplikaten.
- Unbekanntes Material + Grooming-Text: KI-Klassifikator schätzt Wahrscheinlichkeit ein. Das ist der unzuverlässige Teil.
2. Bei einem Treffer
- Ergebnis (Hash-Match oder KI-Score über Schwellenwert) wird gemeldet – nicht die Nachricht selbst im Klartext an alle, sondern verschlüsselt an eine Prüfstelle
- Ab hier soll laut Entwurf ein Mensch verifizieren, bevor es weitergeht (das war eine der Nachbesserungsforderungen des Parlaments)
3. Skalierungsproblem – und das ist der Kern deiner Frage
Bei Milliarden täglicher Nachrichten in der EU wird selbst eine kleine Fehlerquote zur Katastrophe:
- Der Implementierungsbericht der Kommission fand eine Falsch-Positiv-Rate von bis zu 20% bei KI-basierter Erkennung unbekannten Materials – bei Millionen Scans am Tag sind das potenziell Zehntausende Fehlalarme pro Tag Stateofsurveillance
- Jeder Fehlalarm bräuchte eigentlich menschliche Prüfung. Das ist personell schlicht nicht leistbar in der Größenordnung – entweder wird die menschliche Prüfung oberflächlich/automatisiert (Kontrolle wird zur Farce) oder die Meldestelle in Den Haag versinkt in Fällen
- Bei den bekannten US-Anbietern (freiwilliges Scannen seit Jahren) gibt’s genau dieses Problem schon: Meta z.B. meldet Millionen Fälle/Jahr an NCMEC in den USA, ein Großteil davon harmlos (z.B. Eltern, die Babyfotos für den Kinderarzt schicken, Teenager, die sich gegenseitig Nacktbilder schicken – technisch strafbar, aber nicht das Zielszenario)
4. Wer bekommt die Meldung
Eine neue Agentur mit Sitz in Den Haag soll geschaffen werden, die eng mit Europol zusammenarbeitet. Diese Stelle wäre der zentrale Flaschenhals: alle EU-weiten Treffer laufen dort zusammen, bevor sie an nationale Strafverfolgung weitergehen. Wikipedia
Kurz gesagt: Die Architektur ist auf dem Papier „Automatik filtert vor, Mensch prüft nach“ – aber bei der Nachrichtenmenge in der EU ist die menschliche Prüfstufe entweder unterbesetzt (dann werden Unschuldige weitergemeldet) oder das System muss die Fehlerquote massiv drücken, was technisch bei unbekanntem Material bisher niemand zuverlässig hinbekommen hat. Genau das ist einer der Hauptkritikpunkte der 502 Sicherheitsforscher.
Wird zur Kontrolle auch die künstliche Intelligenz eingesetzt?
Ja, KI ist sogar der zentrale und umstrittenste Teil – nicht der Hash-Abgleich, der ist simple Mustererkennung, sondern die KI-Komponente.
Wo KI konkret eingesetzt werden soll:
- Unbekanntes Bildmaterial – neue, noch nicht in der Hash-Datenbank erfasste CSAM-Bilder/Videos erkennen. Hash-Abgleich funktioniert nur bei bereits bekanntem Material; alles Neue braucht ein Klassifikationsmodell, das visuelle Muster erkennt.
- Grooming-Erkennung im Text – KI analysiert Chat-Verläufe auf Muster, die auf Anbahnung von sexuellem Missbrauch hindeuten (Sprachmuster, Gesprächsverlauf zwischen Erwachsenem und vermutlich Minderjährigem).
- Altersschätzung – teils auch KI-gestützte Altersverifikation im Gespräch, um zu erkennen, ob ein Gesprächspartner minderjährig sein könnte.
Warum das der schwächste Teil ist:
- Der Implementierungsbericht der Kommission zur freiwilligen Scan-Ausnahme fand eine Falsch-Positiv-Rate von bis zu 20% bei KI-basierter Erkennung unbekannten Materials – eine von fünf markierten Unterhaltungen war gar kein CSAM. Stateofsurveillance
- Hash-Abgleich ist deterministisch: exaktes oder nahezu exaktes Duplikat, kaum Interpretationsspielraum. KI-Klassifikation ist probabilistisch: das Modell schätzt eine Wahrscheinlichkeit, es „versteht“ nicht, sondern erkennt statistische Muster – und verwechselt z.B. Strand-/Kinderfotos, medizinische Aufnahmen, Kunst, Stillfotos mit tatsächlichem Missbrauchsmaterial
- Text-Grooming-Erkennung ist noch unsicherer: normale Flirt-Konversation, Rollenspiele, sogar Jugendliche, die selbst über Sexualität sprechen, können falsch klassifiziert werden. Sprache ist kontextabhängig, ein Modell sieht nur Textmuster ohne echtes Verständnis der Situation
- Genau deshalb sagen die 502 Kryptografie-/Sicherheitsexperten: Die Technologie ist für diesen Zweck nicht reif – nicht weil KI grundsätzlich nichts kann, sondern weil die Fehlerquote bei einer Anwendung mit Milliarden Nachrichten täglich in absoluten Zahlen riesig wird, selbst bei niedriger Prozentzahl
Zusatzproblem: Wer trainiert und kontrolliert diese Modelle? Die eingesetzten KI-Systeme kommen von Anbietern/Behörden, die Trainingsdaten und Gewichtungen sind nicht öffentlich einsehbar – ein weiterer Kritikpunkt zur mangelnden Transparenz und Überprüfbarkeit des Systems.
Gibt es auch Fehlerquellen bei dieser Chatkontrolle?
Ja, mehrere Ebenen von Fehlerquellen – nicht nur die KI-Falsch-Positiv-Rate, die ich vorhin genannt habe. Hier eine Übersicht:
1. Technische Fehlerquellen (KI/Erkennung)
- Falsch-Positiv-Rate von bis zu 20% bei KI-basierter Erkennung unbekannten Materials laut Kommissionsbericht Stateofsurveillance
- Die Technologien, die zum Auffinden des CSA-Materials eingesetzt werden sollen, weisen zum Teil noch Fehlerquoten von bis zu 12% auf (je nach Quelle/Studie unterschiedliche Zahlen, aber alle im zweistelligen Bereich) BfDI
- Hash-Kollisionen: auch bei bekanntem Material können ähnliche, aber harmlose Bilder denselben „Fingerabdruck“ erzeugen (bewusst von Kriminellen ausnutzbar, um falsche Treffer zu provozieren – sog. „Hash-Flooding“)
2. Kontext-Fehler
- Modelle erkennen keine Situation, nur Muster: Elternfotos für den Kinderarzt, Stillfotos, medizinische Aufnahmen, Kunst, Strandfotos vom eigenen Kind – alles potenziell fehlklassifiziert
- Text-Grooming-Erkennung: Jugendliche unter sich, Rollenspiele, normale Flirtsprache – Kontext fehlt dem Modell komplett
3. Adversarial/Umgehung durch echte Täter
- Bekannte Hashes lassen sich leicht umgehen: Bild leicht croppen, Filter drüberlegen, Kompression ändern → Hash ändert sich, Treffer verschwindet
- Das bedeutet: Das System trifft gerade die technisch Unversierten am härtesten (die es eigentlich nicht bräuchte), während die eigentliche Zielgruppe (organisierte Täter) am leichtesten ausweicht
4. Systemische/Prozessfehler
- Bei der schieren Menge (Milliarden Nachrichten täglich EU-weit) ist menschliche Nachprüfung entweder unterbesetzt oder wird zur Formsache – dann rutschen Fehlalarme direkt zu Strafverfolgungsbehörden durch
- Erfahrung aus den USA (freiwilliges Scannen bei Meta seit Jahren): ein erheblicher Teil der gemeldeten Fälle an NCMEC ist bei näherer Prüfung kein tatsächlicher Missbrauchsfall
5. Sicherheitslücke als Fehlerquelle
- Jede Scan-Infrastruktur auf dem Gerät ist selbst ein Angriffsvektor: Wenn ein Schadcode oder Geheimdienst diese Schnittstelle kompromittiert, hat er direkten Zugriff auf unverschlüsselte Klartexte – ein Fehler im Scan-System selbst wird zur Massenüberwachungslücke, nicht nur zum False Positive
6. Rechtliche/Grundrechts-Fehlerquelle
- Keine Ausnahme für Berufsgeheimnisträger vorgesehen (Anwälte, Ärzte, Journalisten) – hier ist „Fehler“ nicht technisch, sondern strukturell: das System erfasst Kommunikation, die es laut Grundrechten gar nicht erfassen dürfte
Kurz zusammengefasst: Die Fehlerquellen reichen von „harmloses Foto wird markiert“ (Alltagsproblem bei Millionen Scans) bis „die Infrastruktur selbst wird zum Sicherheitsrisiko“ (strukturelles Problem). Genau diese Kombination – hohe Fehlerquote bei riesiger Menge plus neue Angriffsfläche – ist der Kern der fachlichen Kritik, nicht nur ein Randproblem.
Interview mit der künstlichen Intelligenz (Claude) (ww)