Ein Tool kann sehr unterschiedliche Risiken schaffen

Betrachten wir drei Beispiele aus einem Hotel.

Ein Mitarbeiter im Marketing bittet ein freigegebenes KI-Tool um Ideen, die auf öffentlich verfügbaren Informationen über das Hotel basieren. Vor der Veröffentlichung prüft er die Fakten und überarbeitet das Ergebnis. Für diesen Einsatz dürfte eine routinemäßige Kontrolle ausreichen. Die Informationen sind öffentlich, das Ergebnis lässt sich leicht überprüfen und die KI trifft keine Entscheidung über eine Person. Das bedeutet nicht, dass das Ergebnis automatisch korrekt oder frei von Urheberrechts- und Markenrisiken ist. Es bedeutet, dass die möglichen Auswirkungen begrenzt sind und die Kontrollen verhältnismäßig bleiben können.

Ein Manager nutzt dasselbe Tool, um eine Beschwerde zu übersetzen, die den Namen des Gastes, Buchungsdaten und Gesundheitsinformationen enthält. Das Risikobild hat sich verändert. Personenbezogene und möglicherweise sensible Informationen sind betroffen. Ein Übersetzungsfehler könnte die Bedeutung der Beschwerde oder die Antwort des Hotels verändern. Der Manager muss außerdem wissen, ob das Tool für diese Daten freigegeben ist und wie der Anbieter mit ihnen umgeht.

Die Personalabteilung verwendet eine KI-Funktion, um Lebensläufe zu bewerten und zu empfehlen, welche Bewerber zu einem Gespräch eingeladen werden sollten. Dies ist noch einmal eine andere Kategorie. Das System kann den Zugang zu Beschäftigung erheblich beeinflussen. Verzerrungen, Datenqualität, Transparenz, Erklärbarkeit und eine wirksame menschliche Prüfung werden wichtig. Bestimmte KI-Anwendungen im Beschäftigungsbereich können nach dem EU AI Act als Hochrisiko-KI-Systeme eingestuft werden. Entscheidend sind ihr vorgesehener Zweck und die genauen Klassifizierungsregeln.

Alle drei Anwendungen einfach als "ChatGPT" oder "generative KI" zu bezeichnen, sagt nur sehr wenig über das tatsächliche Risiko aus.

Den Anwendungsfall beschreiben, bevor er klassifiziert wird

Eine brauchbare Beschreibung sollte sechs Fragen beantworten:

1. Wofür wird das System eingesetzt?

2. Welche Daten erhält das System oder auf welche Daten greift es zu?

3. Wessen Interessen könnten betroffen sein?

4. Welche Ausgabe, Empfehlung oder Handlung erzeugt es?

5. Wie stark beeinflusst dieses Ergebnis die weitere Entscheidung oder Handlung?

6. Was prüft ein Mensch, bevor etwas geschieht?

Deshalb sollte ein KI-Nutzungsregister einzelne Anwendungsfälle erfassen und nicht nur Produkte auflisten. "Microsoft Copilot" ist ein Tool-Eintrag. "Zusammenfassung wöchentlicher Managementbesprechungen mit Mitarbeiter- und Geschäftsinformationen" ist ein Anwendungsfall, der bewertet werden kann.

Der vorgesehene Zweck ist entscheidend

Nach dem EU AI Act hängt die Klassifizierung eng mit dem vorgesehenen Zweck eines Systems und dem Kontext seiner Nutzung zusammen. Eine Einstufung als Hochrisiko-KI-System kann sich ergeben, wenn ein KI-System eine Sicherheitskomponente bestimmter regulierter Produkte ist oder unter festgelegte Anwendungsfälle in Anhang III fällt. Dazu gehören bestimmte Anwendungen in Beschäftigung und Personalmanagement.

Die rechtliche Bewertung ist genauer als die pauschale Aussage, alles im Personalbereich sei automatisch hochriskant. Artikel 6 enthält auch Bedingungen, unter denen ein in Anhang III genannter Anwendungsfall möglicherweise nicht als hochriskant gilt, wenn er die Entscheidungsfindung nicht wesentlich beeinflusst oder kein erhebliches Schadensrisiko darstellt. Für das Profiling natürlicher Personen gelten besondere Regeln.

Die Europäische Kommission veröffentlichte im Mai 2026 einen Entwurf für Leitlinien zur Klassifizierung von Hochrisiko-KI-Systemen mit praktischen Beispielen. Der Entwurfsstatus ist wichtig. Die Leitlinien sind hilfreich, ersetzen aber weder die Prüfung der endgültigen Regeln noch die Bewertung des konkreten Systems.

Eine praktische Regel für Hotels

Wenn eine neue KI-Funktion auftaucht, formulieren Sie einen Satz:

Wir verwenden [System] für [Zweck] mit [Daten], um [Ergebnis] zu erzeugen. Dieses Ergebnis wird von [Person] geprüft, bevor [Auswirkung].

Bleibt dieser Satz unklar, ist das Hotel noch nicht bereit, die Nutzung freizugeben.

Ändert sich der Satz, sollte der Anwendungsfall erneut bewertet werden. Ein Tool, das für Ideen auf Basis öffentlicher Marketinginformationen freigegeben wurde, ist nicht automatisch auch für Gästebeschwerden, Mitarbeiterdaten oder automatisierte Entscheidungen freigegeben.

Mit Transparenz über die tatsächliche Nutzung beginnen

KI-Risikomanagement beginnt nicht mit einem komplizierten Bewertungsmodell. Es beginnt mit einer genauen Beschreibung dessen, was tatsächlich geschieht.

Erfassen Sie die Nutzung. Identifizieren Sie die Daten. Verstehen Sie, wer betroffen sein könnte. Beschreiben Sie die Rolle des Ergebnisses und wie die menschliche Prüfung in der Praxis aussieht.

Erst danach sollte versucht werden, das Risiko zu klassifizieren.

Phare IQ hilft unabhängigen Hotels, Transparenz und Kontrolle über ihre KI-Nutzung aufzubauen. Dazu gehören KI-Nutzungsregister, Risikotriage, Mitarbeiterrichtlinien und Lieferantenprüfungen.

Dieser Artikel enthält allgemeine Informationen und stellt weder eine Rechtsberatung noch die rechtliche Klassifizierung eines bestimmten Systems dar. Die regulatorischen Informationen wurden am 4. August 2026 anhand von Quellen der Europäischen Kommission und EUR-Lex geprüft und sollten vor einer späteren Wiederverwendung erneut kontrolliert werden.