Mit der Verordnung (EU) 2024/1689 des Europäischen Parlaments und des Rates vom 13. Juni 2024 – kurz KI-VO oder AI Act – hat der europäische Gesetzgeber erstmals einen rechtsverbindlichen Rahmen für Entwicklung, Inverkehrbringen und Verwendung von KI-Systemen in der Union geschaffen. Die Verordnung ist am 1. August 2024 in Kraft getreten und gilt ab dem 2. August 2026 in (beinahe) vollem Umfang. Während die Verbote des Art. 5 KI-VO (unzulässige KI-Praktiken) bereits seit 2. Februar 2025 gelten, stehen für die Unternehmenspraxis die Pflichten rund um Hochrisiko-KI, Dokumentation, AI Literacy und Transparenz im Mittelpunkt. Die verbleibende Zeit bis zum Stichtag ist kürzer als sie erscheint – Compliance-Strukturen müssen jetzt aufgebaut werden.

Status quo und Einordnung

Das Regelungsregime der KI-Verordnung folgt einem risikobasierten Ansatz: Je höher das potenzielle Risiko eines KI-Systems für Gesundheit, Sicherheit oder Grundrechte, desto strenger die Anforderungen. Für die Praxis besonders relevant ist die Kategorie der Hochrisiko-KI-Systeme nach Art. 6 iVm Anhang III KI-VO. Darunter fallen etwa KI-Systeme zur Bewerberauswahl und Leistungsbeurteilung von Mitarbeitern, zur Kreditwürdigkeitsprüfung, zu Bildungszwecken sowie im Bereich kritischer Infrastruktur. Die KI-spezifischen Regeln fügen sich hierbei in ein immer dichteres, europäisch geprägtes Regelungsnetz im Digitalbereich ein, das Regelungsadressaten (Unternehmen wie Kanzleien) vor Herausforderungen stellt. Die Europäische Kommission hat darüber hinaus mit dem Digital Omnibus on AI einen Vereinfachungsvorschlag präsentiert, der Erleichterungen – insbesondere für KMU – vorsieht. Dieser ist noch nicht in Kraft und derzeit Gegenstand von Verhandlungen.

Die wesentlichen Pflichten ab August 2026

Dreh- und Angelpunkt der unternehmerischen Compliance ist die korrekte Einstufung der eingesetzten oder entwickelten KI-Systeme. Ausgangspunkt ist stets die Frage, ob ein System per-se verboten ist oder unter einen der Hochrisikobereiche des Anhangs III der KI-Verordnung fällt – oder aus anderen Gründen ein Hochrisiko-KI-System darstellt. Diese Einstufung ist keine einmalige Aufgabe, sondern erfordert ein laufendes KI-Systeminventar, das alle eingesetzten Systeme erfasst, klassifiziert und intern verantwortlichen Personen zuordnet. Wer ein Hochrisiko-KI-System einsetzt oder entwickelt, löst damit das gesamte Pflichtenprogramm des Kapitels III der Verordnung aus.

Kern dieses Pflichtenprogramms ist für Anbieter zunächst das Risikomanagementsystem nach Art. 9 KI-VO. Es ist über den gesamten Lebenszyklus des Systems zu führen, umfasst die Identifikation und Analyse bekannter wie vorhersehbarer Risiken – einschließlich missbräuchlicher Verwendung – und verlangt die Implementierung geeigneter Risikominderungsmaßnahmen. Darauf aufbauend ist vor dem Inverkehrbringen eine umfassende technische Dokumentation nach Art. 11 KI-VO zu erstellen, die Design, Entwicklung, Leistung, Trainingsdaten und -prozesse beschreibt und laufend aktuell zu halten ist. Auf dieser Grundlage ist sodann eine Konformitätsbewertung nach Art. 43 KI-VO durchzuführen – für die meisten Hochrisiko-Systeme im Wege der internen Kontrolle, für bestimmte Systeme wie biometrische Identifikationssysteme unter Einbindung einer notifizierten Stelle. Das System ist mit einer CE-Kennzeichnung zu versehen und in der EU-Datenbank für Hochrisiko-KI-Systeme zu registrieren.

Für Betreiber – und damit für die meisten Unternehmen und Kanzleien, die KI-Tools von Drittanbietern einsetzen – stehen insbesondere drei Pflichten im Vordergrund: Erstens müssen sie die menschliche Aufsicht über das eingesetzte System sicherstellen und

geeignetes, hinreichend geschultes Personal damit betrauen. Zweitens haben sie die automatisch erzeugten Protokolle (Logs) des Systems aufzubewahren, soweit diese ihrer Kontrolle unterliegen, und zwar für mindestens sechs Monate. Drittens sind betroffene Personen darüber zu informieren, dass eine sie betreffende Entscheidung unter Beteiligung eines Hochrisiko-KI-Systems getroffen wurde. Bestimmte Betreiber – namentlich Einrichtungen des öffentlichen Rechts sowie private Betreiber öffentlicher Dienste – haben vor Inbetriebnahme zusätzlich eine Grundrechte-Folgenabschätzung nach Art. 27 KI-VO durchzuführen.

Unabhängig von der Hochrisiko-Einordnung verpflichtet Art. 50 KI-VO zur Kennzeichnung KI-generierter Inhalte: Chatbots müssen zB als solche erkennbar gemacht werden, Deepfake-Inhalte, die wirklichen Personen oder Ereignissen merklich ähneln, sind als künstlich erzeugt zu kennzeichnen. Und schließlich – mit Geltung bereits seit dem 2. Februar 2025 – sind Anbieter und Betreiber nach Art. 4 KI-VO verpflichtet, sicherzustellen, dass ihr Personal und alle weiteren mit KI-Systemen befassten Personen über ausreichende KI-Kompetenz (AI Literacy) verfügen. Schulungsmaßnahmen und deren Dokumentation sind daher unverzüglich anzugehen.

Ein eigenes Regelungsregime gilt für sog. KI-Modelle mit allgemeinem Verwendungszweck (GPAI) – also Basismodelle wie große Sprachmodelle (zB. Modelle von OpenAI, Google, Meta, Anthropic), die für eine Vielzahl von Aufgaben einsetzbar sind. Ihre Anbieter müssen nach Art. 53 KI-VO eine technische Dokumentation erstellen, nachgelagerte Anbieter mit den erforderlichen Informationen versorgen, eine Urheberrechtsstrategie implementieren und eine Zusammenfassung der Trainingsinhalte veröffentlichen. Für GPAI-Modelle mit systemischem Risiko verschärfen sich die Anforderungen nach Art. 55 KI-VO erheblich. Verlangt wird in diesen Fällen die Durchführung von Angriffstests (Adversarial Testing), Risikobewertung, Vorfallmeldung an das AI Office und das Vorsehen von angemessenen Cybersicherheitsmaßnahmen. Für Unternehmen und Kanzleien, die LLM-APIs Dritter in eigene Abläufe integrieren, ist bereits bei der Vertragsgestaltung mit KI-Lieferanten sicherzustellen, dass diese ihren Dokumentations- und Informationspflichten gegenüber nachgelagerten Anbietern nachkommen.

Wer gegen die Vorgaben der KI-VO verstößt, muss schließlich mit empfindlichen Geldbußen rechnen, die bereits aus der DSGVO bekannt sind. Das Sanktionsregime des Art. 99 KI-VO sieht besonderes hohe Strafen für Verstöße gegen verbotene Praktiken vor. Verstöße gegen die Hochrisiko-Pflichten – etwa bei Risikomanagementsystem, Dokumentation oder menschlicher Aufsicht – werden mit bis zu 15 Mio. EUR oder 3 % bestraft, die Übermittlung falscher oder irreführender Informationen gegenüber Behörden mit bis zu 7,5 Mio. EUR oder 1 % des Jahresumsatzes. Bei der Bemessung sind insbesondere Schwere und Dauer des Verstoßes, die Zahl betroffener Personen sowie Vorsatz oder Fahrlässigkeit maßgeblich.

Digital Omnibus on AI – alles neu?

Der im Februar 2025 vorgelegte Omnibus-Vorschlag sieht im Bereich der KI-Verordnung verschiedene Erleichterungen vor, die sich noch im Gesetzgebungsverfahren befinden. Geplant sind etwa eine Einschränkung der Hochrisiko-Einstufung für bestimmte Systeme, Vereinfachungen bei der technischen Dokumentation für KMU sowie eine Überarbeitung einzelner Schwellenwerte, jedoch keine vollumfängliche Überarbeitung der Pflichtenkataloge. Unternehmen sollten diese Entwicklung genau verfolgen, dürfen aber bestehende Compliance-Prozesse nicht auf Eis legen – der Stichtag 2. August 2026 gilt, solange keine anderweitige Regelung in Kraft tritt.

Ein besonderes Augenmerk liegt derzeit zudem auf Deepfakes. Die bestehende Kennzeichnungspflicht ist wohl nur ein erster Schritt und dürfte noch verschärft werden.

Die derzeit virulente Frage der sogenannten Nude Deepfakes – also KI-generierte Inhalte, die nicht einvernehmliche intime Darstellungen realer Personen enthalten – geht darüber hinaus. Auf EU-Ebene wird im Rahmen des Digitalen Omnibus ein ausdrückliches Verbot von Nudify-KIs diskutiert. Auf mitgliedstaatlicher Ebene ist teilweise ein entsprechender Straftatbestand (in Deutschland zB § 201b StGB-E) im Gespräch, der das Zugänglichmachen solcher Inhalte ohne Einwilligung unter Strafe stellen soll. Anbieter und Betreiber einschlägiger KI-Systeme müssen diese Rechtsentwicklungen aktiv beobachten – strafrechtliche, persönlichkeitsrechtliche und berufsrechtliche Konsequenzen drohen unabhängig davon, ob die KI-VO selbst ein ausdrückliches Verbot enthält oder nicht.

Fazit

Der AI Act stellt Unternehmen wie Kanzleien vor erhebliche neue Anforderungen. Auch wenn in einzelnen Bereichen, etwa durch den Digital Omnibus, Anpassungen zu erwarten sind, besteht kein Anlass zum Abwarten: Die Pflichten zur KI-Inventarisierung, Risikoklassifikation, Dokumentation, Protokollierung und AI Literacy sind bereits jetzt konkret genug, um die interne Umsetzung zu starten. Für Juristinnen und Juristen eröffnet sich ein wichtiges Beratungsfeld – von der Erst-Compliance-Prüfung über die Vertragsgestaltung mit KI-Anbietern bis zur Begleitung bei Behördenverfahren.

Zum Arbeitgeberprofil