EU AI Act und Hochrisiko-KI – Was Unternehmen wissen müssen

KI-Systeme, die in sensiblen Bereichen eingesetzt werden, müssen strengen Vorgaben entsprechen. In diesem Beitrag wird erklärt, was Hochrisiko-KI-Systeme sind, welche Risiken mit ihrem Einsatz verbunden sind und wie rechtssicher mit ihnen umgegangen werden kann.

Stellen Sie sich vor, eine Software entscheidet automatisch, wer Zugang zu medizinischen Behandlungen erhält, wer einen Kredit bekommt oder wer für einen Job in Frage kommt. Was nach Science-Fiction klingt, ist in vielen Branchen bereits Realität. Doch was passiert, wenn diese Entscheidungen fehlerhaft sind oder Vorurteile enthalten? An genau diesem Punkt spricht man von sogenannten Hochrisiko-KI-Systemen. Solche Systeme haben das Potenzial, tief in das Leben von Menschen einzugreifen – mit schwerwiegenden Folgen. Aus diesem Grund hat die Europäische Union mit dem EU AI Act einen strengen Rechtsrahmen geschaffen, um Hochrisiko-KI zu regulieren. Doch was genau macht ein KI-System eigentlich „hochriskant“ – und was bedeutet das für Unternehmen?

Ein KI-System gilt dann als hochriskant, wenn es in einem Anwendungsfeld eingesetzt wird, in dem seine Entscheidungen erhebliche Auswirkungen auf das Leben, die Rechte oder die Sicherheit von Menschen haben können. Dabei stehen nicht technische Eigenschaften wie Rechenleistung oder Algorithmuskomplexität im Vordergrund, sondern der Kontext, in dem das System operiert – etwa in Gesundheitsversorgung, Justiz, Bildung oder öffentlicher Sicherheit.

Hochrisiko-KI ist durch folgende Merkmale gekennzeichnet:

Ein konkretes Beispiel: Ein KI-gestütztes System entscheidet automatisiert darüber, ob ein Bewerber zu einem Vorstellungsgespräch eingeladen wird. Auf Basis früherer Erfolgsprofile bewertet die KI, ob der Kandidat „passt“. Ist der Trainingsdatensatz jedoch unausgewogen oder verzerrt – etwa weil bisher hauptsächlich Männer eingestellt wurden – reproduziert das System diese Diskriminierung und benachteiligt gezielt Frauen.

Fazit: Hochrisiko-KI ist kein technisches Etikett, sondern ein juristisch und ethisch definierter Warnhinweis – für Systeme, deren Einsatz zu unfairen, unsicheren oder undurchsichtigen Ergebnissen führen kann.Solche Systeme bedürfen daher besonders strenger Auflagen – genau das ist das Ziel des EU AI Acts. Unternehmen, die in diesen Bereichen tätig sind, müssen besonders achtsam sein, denn nicht jede KI darf ohne weiteres auf den Markt gebracht werden.

Die EU-Kommission definiert im Anhang III des AI Acts konkrete Anwendungsszenarien, die automatisch als Hochrisiko-KI eingestuft werden. Diese Liste ist dynamisch und kann sich mit gesellschaftlichen und technologischen Entwicklungen erweitern. Unternehmen sollten regelmässig prüfen, ob ihre Systeme betroffen sind – etwa wenn sie in sensiblen Bereichen wie Bildung, Strafverfolgung, Infrastruktur oder Personalwesen tätig sind.

Die Risiken sind sowohl technischer als auch gesellschaftlicher Natur. Sie reichen von falschen Entscheidungen durch verzerrte Daten über fehlende Nachvollziehbarkeit bis hin zu Verlust menschlicher Kontrolle. Insbesondere im Bereich der Grundrechte entstehen Gefahren: etwa bei biometrischer Massenüberwachung, fehlerhafter Bewertung im Justizbereich oder diskriminierender Personalauswahl.

Der AI Act verfolgt einen risikobasierten Regulierungsansatz: Je höher das Risiko, desto strenger die Anforderungen. Hochrisiko-KIs müssen bereits vor dem Einsatz zahlreiche Anforderungen erfüllen, z. B.:

Diese Vorgaben sollen sicherstellen, dass KI-Systeme verantwortungsvoll und nachvollziehbar eingesetzt werden.

Hochrisiko-KI-Systeme nutzen meist Technologien aus folgenden Bereichen:

Gerade im Zusammenspiel mit sensiblen Daten werden diese Technologien schnell kritisch – wenn z. B. ein NLP-Modell zur Analyse psychischer Erkrankungen eingesetzt wird, ohne klare Kontrollmechanismen.

Best Practices für den sicheren Einsatz:

Hochrisiko-KI-Systeme sind nicht per se problematisch – im Gegenteil: Gerade dort, wo die Anforderungen besonders hoch sind, entfaltet KI ihr grösstes Potenzial. Die Einstufung als „hochriskant“ bedeutet nicht, dass diese Systeme vermieden werden sollten – sondern dass sie besonders sorgfältig entwickelt, eingesetzt und überwacht werden müssen. Aktuelle Studien wie der Stanford AI Index Report zeigen, dass verantwortungsvoll eingesetzte KI-Systeme insbesondere in Bereichen wie Medizin, Verwaltung und Bildung enormes Innovationspotenzial entfalten – gerade dort, wo die Anforderungen besonders hoch sind.

Richtig angewendet, können Hochrisiko-KIs:

Ein gutes Beispiel ist die medizinische Bildanalyse: Hochrisiko-KI kann Tumore früher und präziser erkennen als manche Fachärzte – vorausgesetzt, die Datenbasis ist divers und das Modell regelmässig validiert. Solche Systeme haben das Potenzial, Behandlungsfehler zu minimieren und Leben zu retten. Ähnlich im Personalwesen: Wird ein KI-gestütztes Auswahlverfahren so konzipiert, dass alle Bewerber anonymisiert bewertet werden, können Diskriminierungen reduziert und Chancengleichheit gefördert werden – ein echter Fortschritt gegenüber subjektiven Bauchentscheidungen.

Fazit: Hochrisiko-KI ist nicht nur eine Herausforderung – sie ist eine Chance zur Professionalisierung und Differenzierung. Wer hier Verantwortung übernimmt, setzt ein klares Zeichen für Qualität, Ethik und Innovationskraft.

Hochrisiko-KI-Systeme stehen im Spannungsfeld zwischen technologischer Innovation und gesellschaftlicher Verantwortung. Sie bieten enormes Potenzial – von effizienteren Verwaltungsprozessen bis hin zu lebensrettenden medizinischen Anwendungen. Doch gerade, weil sie tief in das Leben und die Rechte von Menschen eingreifen, brauchen sie klare Regeln, menschliche Kontrolle und transparente Strukturen. Der EU AI Act schafft hierfür einen verbindlichen Rahmen (mehr dazu), der nicht nur Risiken minimiert, sondern auch Vertrauen und Rechtssicherheit für Unternehmen schafft. Wer jetzt in robuste Datenqualität, verständliche Modelle, nachvollziehbare Entscheidungen und ethische Leitplanken investiert, positioniert sich nicht nur rechtlich auf der sicheren Seite – sondern auch strategisch als verantwortungsbewusster Innovator. Unternehmen sollten die Regulierung daher nicht als Bremse sehen, sondern als Chance zur Differenzierung: Durch Qualität, Fairness und Transparenz können Hochrisiko-KI-Systeme zu einem echten Wettbewerbsvorteil werden. Der Schlüssel liegt darin, Technik nicht gegen Menschen einzusetzen, sondern für sie – sicher, fair und erklärbar.