Regulatorische Zielsetzung und Zweck der Verbote
Der EU-Rechtsakt über Künstliche Intelligenz (EU AI Act) etabliert einen risikobasierten Regulierungsrahmen für KI-Systeme, die innerhalb der Europäische Union in Verkehr gebracht oder eingesetzt werden. An der Spitze dieses Rahmens stehen verbotene KI-Praktiken, die der Verordnungsgeber als mit einem unvertretbaren Risiko für Grundrechte, demokratische Werte oder die öffentliche Sicherheit verbunden einstuft.
Im Unterschied zu Hochrisiko-KI-Systemen, deren Einsatz unter strengen Auflagen zulässig sein kann, sind verbotene KI-Praktiken nicht compliancefähig. Sie sind unabhängig von technischen oder organisatorischen Schutzmaßnahmen vollständig untersagt. Der EU-Gesetzgeber bringt damit zum Ausdruck, dass bestimmte Formen des KI-Einsatzes wesensmäßig unvereinbar mit den rechtlichen und ethischen Grundprinzipien der Union sind.
Die Kenntnis der verbotenen Praktiken markiert somit die äußere Grenze zulässiger KI-Nutzung nach europäischem Recht.
Stellung der verbotenen Praktiken im System des EU AI Act
Der EU AI Act unterscheidet vier regulatorische Ebenen:
- Verbotene KI-Praktiken (inakzeptables Risiko),
- Hochrisiko-KI-Systeme,
- KI-Systeme mit begrenztem Risiko,
- KI-Systeme mit minimalem Risiko.
Verbotene Praktiken unterliegen der strengsten Form regulatorischer Intervention. Fällt ein KI-System unter diese Kategorie, darf es weder in Verkehr gebracht noch in Betrieb genommen oder genutzt werden.
Das Verbot gilt entlang des gesamten Lebenszyklus eines KI-Systems und richtet sich an sämtliche beteiligten Akteure, einschließlich Anbieter, Betreiber und öffentliche Stellen.
Zentrale Kategorien verbotener KI-Praktiken
Der EU AI Act benennt mehrere Kategorien von KI-Praktiken, die aufgrund ihrer Wirkungen als unzulässig eingestuft werden. Maßgeblich ist dabei der Anwendungszweck und die tatsächliche Wirkung, nicht allein die technische Ausgestaltung.
Manipulative und ausbeuterische KI-Systeme
Unzulässig sind KI-Systeme, die unterschwellige Techniken oder andere manipulative Methoden einsetzen, um menschliches Verhalten in einer Weise zu beeinflussen, die zu Schäden führt oder führen kann.
Dies betrifft insbesondere Systeme, die gezielt Schutzbedürftigkeiten ausnutzen, etwa aufgrund von Alter, Behinderung oder sozialer Lage. Entscheidend ist nicht jede Form der Beeinflussung, sondern die gezielte Untergrabung autonomer Entscheidungsfähigkeit.
Sozialbewertung durch öffentliche Stellen (Social Scoring)
Der EU AI Act untersagt KI-Systeme, die von oder im Auftrag öffentlicher Stellen zur sozialen Bewertung von Personen eingesetzt werden.
Social Scoring bezeichnet die Einstufung oder Klassifizierung von Personen auf Grundlage ihres sozialen Verhaltens oder persönlicher Merkmale, sofern diese Bewertung zu nachteiliger oder diskriminierender Behandlung führt – insbesondere, wenn sie kontextübergreifend erfolgt.
Das Verbot zielt auf den Schutz von Menschenwürde, Gleichbehandlung und Verhältnismäßigkeit.
Bestimmte biometrische Identifikationspraktiken
Besonders restriktiv regelt der EU AI Act den Einsatz von biometrischen Identifikationssystemen, insbesondere im öffentlichen Raum.
Grundsätzlich verboten ist der Einsatz von Echtzeit-Fernbiometrie in öffentlich zugänglichen Bereichen durch Strafverfolgungsbehörden. Nur in eng begrenzten Ausnahmefällen und unter strengen rechtlichen Voraussetzungen kann eine Zulässigkeit in Betracht kommen.
Diese Regelung trägt der erheblichen Eingriffsintensität solcher Systeme in das Recht auf Privatsphäre Rechnung.
Profilbasierte prädiktive Polizeisysteme
Unzulässig sind KI-Systeme zur prädiktiven Polizeiarbeit, sofern sie auf der Profilbildung einzelner Personen beruhen und deren mutmaßliche Straffälligkeit aus persönlichen Merkmalen oder sozialen Faktoren ableiten.
Ziel des Verbots ist es, Systeme auszuschließen, die kriminelle Neigungen prognostizieren, ohne sich auf überprüfbare, fallbezogene Tatsachen zu stützen.
Anwendungsbereich der Verbote
Die Verbote des EU AI Act gelten unabhängig davon,
- ob ein KI-System innerhalb oder außerhalb der Europäischen Union entwickelt wurde,
- ob es von öffentlichen oder privaten Akteuren eingesetzt wird,
- ob es kommerziell angeboten oder intern genutzt wird.
Entscheidend ist allein, ob das KI-System im Hoheitsgebiet der Europäischen Union verwendet oder auf dem Markt bereitgestellt wird und ob sein Einsatz unter eine verbotene Kategorie fällt.
Der extraterritoriale Ansatz des EU AI Act soll verhindern, dass verbotene Praktiken durch Auslagerung oder Umgehungsmodelle fortgeführt werden.
Abgrenzung zu Hochrisiko-KI-Systemen
Verbotene KI-Praktiken sind klar von Hochrisiko-KI-Systemen zu unterscheiden. Während Hochrisiko-Systeme unter Einhaltung umfangreicher Auflagen zulässig sein können, sind verbotene Praktiken absolut untersagt.
Keine Konformitätsbewertung, keine Governance-Struktur und keine Risikoabsicherung kann eine verbotene KI-Praxis legitimieren. Diese Unterscheidung verdeutlicht, dass bestimmte Risiken nicht als beherrschbar angesehen werden.
Rechtsfolgen bei Verstößen
Der Einsatz oder das Inverkehrbringen verbotener KI-Praktiken stellt einen schwerwiegenden Verstoß gegen den EU AI Act dar. Mögliche Konsequenzen sind unter anderem:
- behördliche Untersagungs- und Rücknahmeverfügungen,
- Maßnahmen zur Stilllegung von Systemen,
- erhebliche verwaltungsrechtliche Sanktionen.
Angesichts der Sanktionsschärfe ist die zutreffende rechtliche Einordnung eines KI-Systems von zentraler Bedeutung.
Regulatorische Bedeutung der Verbotskategorien
Die Verbote erfüllen eine normative Leitfunktion im EU AI Act. Sie markieren die rechtlich und gesellschaftlich nicht hinnehmbaren Einsatzformen von KI und konkretisieren den Schutz von Grundrechten im digitalen Raum.
Durch die Festlegung unzulässiger Praktiken ex ante schafft der Gesetzgeber Rechtssicherheit und beugt irreversiblen gesellschaftlichen Schäden vor.
Fazit
Verbotene KI-Praktiken nach dem EU AI Act definieren die absoluten Grenzen zulässiger KI-Nutzung innerhalb der Europäischen Union. Sie betreffen insbesondere manipulative Systeme, Social Scoring, invasive biometrische Identifikation und profilbasierte prädiktive Polizeisysteme.
Im Gegensatz zu Hochrisiko-KI-Systemen sind diese Praktiken nicht durch Compliance-Maßnahmen heilbar, sondern vollständig ausgeschlossen. Die frühzeitige Identifikation verbotener Anwendungsfälle ist daher ein grundlegender Bestandteil jeder rechtlichen Bewertung von KI-Systemen nach europäischem Recht.
Hinweis
Die auf dieser Seite bereitgestellten Informationen dienen ausschließlich allgemeinen Informationszwecken und stellen keine Rechtsberatung dar.