Geschätzte Lesezeit: 11 Minuten

Seit dem 2. August 2026 gilt ein Großteil des EU AI Act, und damit stehen viele Unternehmen vor der Frage, was die KI-Verordnung konkret für sie bedeutet. Betroffen sind nicht nur Entwickler von KI, sondern auch Unternehmen, die KI-Tools im Arbeitsalltag einsetzen. In diesem Beitrag erklären wir, welche Risikostufen es gibt, welche Pflichten für Anbieter und Betreiber gelten, welche Fristen bereits greifen und welche Bußgelder bei Verstößen drohen.

Künstliche Intelligenz, kurz KI, entwickelt sich rasant weiter. Sie bietet viele Möglichkeiten zur Automatisierung und Steigerung der Effizienz in Unternehmen. Allerdings birgt sie auch Gefahren für den Menschen. So gab es Berichte darüber, dass Angreifer KI-Modelle wie ChatGPT und Claude von Anthropic gezielt manipulierten, um deren Sicherheitsmechanismen zu umgehen, und sie so für Cyberangriffe auf Unternehmen einsetzten.

Außerdem ist es möglich, KI für Propaganda und Fake News zu nutzen. Die Generierung von Bild und Ton ermöglicht es, Menschen Taten oder Aussagen zuzuschreiben, die sie nie begangen oder getätigt haben. Um diesen Gefahren entgegenzutreten, ist im August 2024 der AI Act der EU in Kraft getreten. Das deutsche Durchführungsgesetz, das unter anderem die zuständigen Behörden festlegt, gilt seit dem 29. Juli 2026.

Was ist der AI Act?

Wie bereits beschrieben, birgt KI reale Gefahren, etwa den Missbrauch für Hackerangriffe, Fake News, Diffamierung oder gar Schlimmeres. Gerade deshalb ist es notwendig, einen sicheren Rechtsrahmen für deren Einsatz zu schaffen. Dieser Notwendigkeit kam die EU mit dem AI Act nach, der am 1. August 2024 in Kraft trat. Mit ihm kam eine gestaffelte Anwendbarkeit einher:

Hinweis: Die Frist für Hochrisiko-KI-Systeme wurde durch den sogenannten Digital Omnibus, der seit dem 27. Juli 2026 in Kraft ist, von ursprünglich August 2026 auf Dezember 2027 verschoben, da harmonisierte Normen und Prüfstellen nicht rechtzeitig bereitstanden. Das in der Grafik genannte Datum gilt für eigenständige Hochrisiko-Systeme, etwa in der Personalauswahl oder beim Kreditscoring. Für KI in regulierten Produkten wie Medizinprodukten oder Maschinen gilt eine längere Frist bis August 2028.

Der AI Act ist ein Gesetz, das einen Spagat zwischen unternehmerischer und kreativer Freiheit einerseits und Sicherheitsmaßnahmen andererseits versucht. Er verbietet weder den Einsatz von KI gänzlich, noch lässt er sie vollständig unreguliert. Welchen Regulierungen eine Anwendung unterliegt, lässt sich anhand des Gesetzes und der Grafik weiter oben recht einfach einordnen. Systeme, die nur geringen Regulierungen unterliegen, sind die bereits bekannten Algorithmen. Also solche, die zum Beispiel Spam-E-Mails filtern oder uns Beiträge auf Social Media vorschlagen.

Bei der Stufe des begrenzten Risikos gibt es bereits mehrere Regulierungen. Diese Stufe betrifft vor allem Transparenzpflichten. So müssen Nutzer erkennen können, dass sie mit einem Chatbot sprechen, und Deepfakes müssen als solche gekennzeichnet werden. Auch KI-generierte Texte, die die Öffentlichkeit über Themen von öffentlichem Interesse informieren sollen, müssen gekennzeichnet werden, sofern sie nicht von einem Menschen geprüft und redaktionell verantwortet werden. So soll verhindert werden, dass KI-Systeme für Fake News, Diffamierung oder Hetzkampagnen eingesetzt werden.

Unter Hochrisiko-KI-Systeme fallen solche, die die Sicherheit, die Gesundheit oder die Grundrechte von Menschen erheblich beeinträchtigen können. Beispiele hierfür sind KI in Medizinprodukten, Systeme zur Personalauswahl, Kreditscoring oder Überwachungskameras mit KI-gestützter Gesichtserkennung.

Folgende Maßnahmen müssen für solche Systeme getroffen werden:

1. Risikomanagementsystem einrichten, das den gesamten Lebenszyklus und alle relevanten Aspekte der KI überwacht und prüft – von der Entwicklung bis zum laufenden Betrieb (Art. 9)
2. Trainings-, Validierungs- und Testdaten müssen nach klaren Qualitätskriterien ausgewählt sein. Dazu zählen zum Beispiel: die Daten müssen repräsentativ und möglichst fehlerfrei sein, sie müssen die relevanten geografischen und verhaltensbezogenen Merkmale der späteren Nutzung abdecken, und mögliche Verzerrungen (Bias), die zu diskriminierenden Ergebnissen führen könnten, müssen erkannt und minimiert werden (Art. 10)
3. Es muss eine technische Dokumentation erfolgen, damit Aufsichtsbehörden die Konformität der KI mit dem AI Act prüfen können (Art. 11)
4. Es muss eine automatische Protokollierung während des Betriebs erfolgen, damit relevante Ereignisse nachvollziehbar bleiben (Art. 12)
5. Es muss Transparenz gegenüber dem Betreiber hergestellt werden – also gegenüber demjenigen, der das System im Alltag einsetzt, nicht nur gegenüber Endnutzern (Art. 13)
6. Es muss eine menschliche Aufsicht gegeben sein. Die Überwachung eines KI-Systems darf nicht allein durch das System selbst erfolgen, sondern erfordert die Möglichkeit menschlichen Eingreifens (Art. 14)
7. Genauigkeit, Robustheit und Cybersicherheit müssen auf einem angemessenen Niveau sichergestellt werden – das System muss auch gegen Manipulationsversuche technisch abgesichert sein (Art. 15)

Zusätzlich, über die reinen Systemanforderungen hinaus, müssen Anbieter noch organisatorische Pflichten erfüllen, bevor das System überhaupt auf den Markt kommen darf:

8. Ein Qualitätsmanagementsystem muss eingerichtet werden, das die Einhaltung all dieser Anforderungen dauerhaft sicherstellt (Art. 17)
9. Vor der Markteinführung muss ein Konformitätsbewertungsverfahren durchlaufen werden, gefolgt von einer CE-Kennzeichnung und der Registrierung in der EU-Datenbank für Hochrisiko-KI-Systeme (Art. 43, 48, 49)

Für die höchste Risikostufe gilt ein grundsätzliches Verbot. Nur für wenige Praktiken, etwa die biometrische Echtzeit-Fernidentifizierung im öffentlichen Raum, sieht der AI Act eng gefasste Ausnahmen für die Strafverfolgung vor. Für Social Scoring, also die Bewertung von Menschen anhand ihres sozialen Verhaltens oder persönlicher Merkmale, die zu einer Benachteiligung in unabhängigen Lebensbereichen oder zu einer ungerechtfertigten, unverhältnismäßigen Benachteiligung führt, gibt es hingegen keine solche Ausnahme.

Ein Beispiel: Ein Vermieter nutzt ein KI-System, das potenzielle Mieter anhand ihres Verhaltens in sozialen Netzwerken bewertet und daraus einen Score errechnet, der über die Vergabe einer Wohnung entscheidet. Das Verhalten in einem völlig anderen Lebensbereich (Social Media) wird hier auf einen unabhängigen Bereich (Wohnungsvergabe) übertragen und benachteiligt Betroffene möglicherweise unverhältnismäßig. Genau solche Konstellationen erfasst das Verbot – unabhängig davon, welches konkrete Unternehmen ein solches System anbietet.

Wer ist konkret betroffen?

Der AI Act unterscheidet zwischen zwei zentralen Rollen: dem Anbieter und dem Betreiber. Diese Unterscheidung ist wichtig, da beide unterschiedliche Pflichten haben und ein Unternehmen je nach Situation auch beide Rollen gleichzeitig einnehmen kann.

Der Anbieter ist derjenige, welcher ein KI-System entwickelt und unter eigenem Namen auf den Markt bringt oder in Betrieb nimmt. Ihn trifft die Hauptlast der Pflichten, wie wir sie bereits im vorherigen Abschnitt beschrieben haben. Also zum Beispiel das Einrichten eines Risikomanagementsystems oder die technische Dokumentation.

Auch Betreiber haben eigene Pflichten zu erfüllen. Beim Einsatz von Hochrisiko-KI-Systemen gehört dazu unter anderem, das System nur gemäß der Nutzungsanweisung des Anbieters zu verwenden, eine menschliche Aufsicht sicherzustellen und die Betroffenen darüber zu informieren, dass ein KI-System eingesetzt wird (Art. 26).

Unabhängig von der Risikostufe gilt für alle Anbieter und Betreiber außerdem die Pflicht zur KI-Kompetenz (Art. 4): Unternehmen müssen Maßnahmen ergreifen, damit Mitarbeitende, die mit KI-Systemen arbeiten, über das nötige Wissen verfügen. Das betrifft auch Unternehmen, die lediglich Tools wie ChatGPT oder Copilot nutzen.

Hier eine Tabelle zur Übersicht:

Ein wichtiger Punkt, den viele Unternehmen übersehen: Wer ein bestehendes Hochrisiko-KI-System unter eigenem Namen oder eigener Marke weiterverkauft, etwa als White-Label-Lösung, oder es wesentlich verändert, gilt rechtlich nicht mehr als Betreiber, sondern als Anbieter. Damit übernimmt man auch dessen umfangreichere Pflichten.

Was passiert bei einem Verstoß?

Verstöße gegen den AI Act können teuer werden. Für kleine und mittlere Unternehmen gilt dabei jeweils der niedrigere Betrag, nicht der höhere wie bei größeren Unternehmen. In Deutschland ist die Bundesnetzagentur die zentrale Ansprechpartnerin für all diese Fragen. Sie agiert als Marktüberwachungsbehörde, Koordinierungsstelle und Beschwerdestelle zugleich. Für einzelne Bereiche, etwa den Finanzsektor, bleiben Fachbehörden zuständig.

Hier eine kleine Übersicht:

Diese Bußgelder machen deutlich, dass sich ein bewusster Umgang mit dem AI Act für Unternehmen lohnt, denn wer die eigenen KI-Systeme kennt und rechtzeitig vorbereitet, hat am Ende deutlich weniger zu befürchten als wer es einfach auf sich zukommen lässt.

Fazit

Der AI Act ist kein Gesetz, das Unternehmen den Einsatz von KI verbietet. Er schafft vielmehr einen Rahmen, innerhalb dessen KI verantwortungsvoll eingesetzt werden kann. Wer weiß, in welche Risikostufe die eigenen KI-Systeme fallen, welche Pflichten daraus entstehen und bis wann diese gelten, hat bereits den größten Teil der Arbeit erledigt.

Ein Aspekt zieht sich dabei durch fast alle Anforderungen des AI Act: Nachvollziehbarkeit. Ob Risikomanagement, technische Dokumentation oder menschliche Aufsicht, in jedem Fall muss ein Unternehmen genau erklären können, was sein KI-System macht und warum. Genau hier setzt one:ic an. Mit SPICE setzen wir auf eine kontrollierte, nachvollziehbare KI-Umgebung statt auf eine Blackbox. Unsere Kunden wissen, wo ihre Daten liegen, welche Modelle darauf zugreifen und wie Entscheidungen zustande kommen.

Für die Einhaltung der DSGVO spielt auch die Frage eine Rolle, wo eine KI gehostet wird, und da AI Act und DSGVO ineinandergreifen, lohnt sich der Blick auf beides. Wer auf selbst gehostete, europäische Lösungen setzt, statt Daten in eine Cloud außerhalb der EU zu geben, reduziert das eigene Risiko bereits deutlich. Welche Rolle dabei die Entscheidung zwischen Cloud und eigener Infrastruktur spielt, haben wir bereits ausführlich beschrieben. Wir bei one:ic setzen dabei selbst auf Open Source Modelle und Hosting in Deutschland.

Der AI Act wird in den kommenden Jahren zum festen Bestandteil jeder unternehmerischen KI-Strategie. Unternehmen, die sich jetzt damit beschäftigen, sind den anderen einen entscheidenden Schritt voraus.

FAQ