Special offer. See more information about Outbyte and uninstall instructions. Please review EULA and Privacy policy.

Künstliche Intelligenz gehört in eine Risikobewertungsstrategie auf zwei Ebenen: Sie kann Risiken für ein Unternehmen oder Portfolio bewerten, bringt aber zugleich eigene Risiken mit, die gesteuert werden müssen. KI-Ausgaben können Entscheidungen unterstützen; sie ersetzen weder Kontrollen für Daten und Modellverhalten noch menschliche Verantwortung. Im EU-Kontext verlangt Artikel 9 der Verordnung (EU) 2024/1689 für Hochrisiko-KI ein dokumentiertes Risikomanagement, das über den Lebenszyklus des Systems fortgeführt wird. Ob ein System als Hochrisiko-KI gilt, hängt von seinem konkreten Zweck und Einsatz ab.

Zwei Fragen gehören in jede KI-Risikostrategie

Eine Strategie sollte zunächst unterscheiden, ob KI als Bewertungswerkzeug dient oder selbst Gegenstand der Risikobewertung ist. Die Antworten überschneiden sich, sind aber nicht austauschbar: Ein gut prognostiziertes Geschäftsrisiko sagt noch nichts darüber aus, ob das System zuverlässig, angemessen und sicher eingesetzt wird.

Rolle der KI Leitfrage Beispiele für die Prüfung
KI als Bewertungswerkzeug Welches Risiko soll das System erkennen, schätzen oder priorisieren? Welche Entscheidung beeinflusst die Ausgabe? Wie geeignet sind die Daten für diesen Zweck? Wie werden Fehlalarme und übersehene Risiken erkannt?
KI als eigenes Risiko Welche Schäden oder Fehlentscheidungen kann das System verursachen? Wie kann es bei bestimmungsgemäßer Nutzung oder vorhersehbarer Fehlanwendung versagen? Wer erkennt Probleme, greift ein und dokumentiert Änderungen?

In beiden Rollen muss die Organisation die Ausgabe im Zusammenhang mit ihrem Einsatz bewerten. Eine Prognose kann etwa als Hinweis in eine Prüfung einfließen oder eine Entscheidung stark beeinflussen. Der Entscheidungseinfluss und die betroffenen Personen gehören deshalb ebenso in die Bewertung wie technische Leistungswerte.

Zweck und Einsatzkontext bestimmen die regulatorische Einordnung

Die Verordnung (EU) 2024/1689 verfolgt einen risikobasierten Ansatz. Sie unterscheidet unter anderem verbotene, hochriskante, transparenzbezogene sowie minimale oder nicht vorhandene Risikokategorien. Für die Einordnung ist nicht das Etikett „KI“ allein entscheidend, sondern wofür das System eingesetzt wird und welche Folgen seine Ausgabe haben kann.

Special offer. See more information about Outbyte and uninstall instructions. Please review EULA and Privacy policy.

Die Europäische Kommission nennt bestimmte KI-gestützte Kreditwürdigkeitsprüfungen als Hochrisiko-Beispiel, wenn sie den Zugang zu wesentlichen privaten oder öffentlichen Dienstleistungen beeinflussen können. Daraus folgt nicht, dass jede Kredit- oder Geschäftsrisikobewertung automatisch Hochrisiko-KI ist. Prüfen Sie den tatsächlichen Verwendungszweck, den Entscheidungskontext und die Rolle der Ausgabe, statt eine Kategorie allein aus dem verwendeten Modelltyp abzuleiten.

Halten Sie vor einer Klassifizierung mindestens fest, wer das System anbietet oder einsetzt, welchen Zweck es erfüllen soll, welche Personen betroffen sind und wie stark die Ausgabe eine Entscheidung beeinflusst. Diese Angaben schaffen eine belastbare Grundlage für die Prüfung der anwendbaren Anforderungen. Die konkrete rechtliche Einordnung hängt vom jeweiligen Einsatz ab.

Was Artikel 9 für Hochrisiko-KI verlangt

Artikel 9 der Verordnung (EU) 2024/1689 verlangt für Hochrisiko-KI ein Risikomanagementsystem, das eingerichtet, angewandt, dokumentiert und aufrechterhalten wird. Der Prozess ist kontinuierlich und iterativ: Er begleitet das System während seines gesamten Lebenszyklus und muss regelmäßig systematisch überprüft und aktualisiert werden.

Das Management umfasst bekannte und vernünftigerweise vorhersehbare Risiken, die bei bestimmungsgemäßer Verwendung und vorhersehbarer Fehlanwendung entstehen können. Erkenntnisse aus der Überwachung nach der Bereitstellung fließen in die Neubewertung ein. Die Verantwortlichen legen geeignete Minderungsmaßnahmen fest und beurteilen, welche Restrisiken nach diesen Maßnahmen verbleiben.

Special offer. See more information about Outbyte and uninstall instructions. Please review EULA and Privacy policy.

Weitere Bausteine des Rahmens betreffen Daten-Governance für relevante Trainings-, Validierungs- und Testdatensätze sowie aktuelle technische Dokumentation. Anbieter sollen prüfen, ob das System für seine Zweckbestimmung funktioniert, und dazu geeignete Metriken und Schwellenwerte vor dem Test festlegen. Menschliche Aufsicht muss Verantwortlichen ermöglichen, Fähigkeiten und Grenzen zu verstehen, Anomalien zu erkennen, Automatisierungsbias zu beachten und Ausgaben nötigenfalls zu verwerfen oder den Betrieb zu unterbrechen.

So bauen Sie die Bewertung in den Betrieb ein

  1. 1. Anwendungsfall und Entscheidung festhalten

    Beschreiben Sie, welches Risiko die KI bewerten soll, welche Entscheidung ihre Ausgabe beeinflusst, wer davon betroffen ist und wer das System anbietet oder nutzt. Notieren Sie auch, ob die Ausgabe nur als Hinweis dient oder maßgeblich in die Entscheidung eingeht.

  2. 2. Zweck und regulatorische Einordnung prüfen

    Bewerten Sie die tatsächliche Nutzung anhand der Verordnung (EU) 2024/1689. Dokumentieren Sie die Gründe für die Einordnung und prüfen Sie sie erneut, wenn Zweck, Einsatzumgebung oder Entscheidungseinfluss sich ändern. Bei einer Kreditwürdigkeitsprüfung ist insbesondere relevant, ob sie den Zugang zu wesentlichen privaten oder öffentlichen Dienstleistungen beeinflussen kann.

  3. 3. Risiken mit Maßnahmen verknüpfen

    Führen Sie ein Risikoregister für Gefahren aus Zweck, Daten, Systemverhalten, Einsatzumgebung und vorhersehbarer Fehlanwendung. Für jedes relevante Risiko sollte nachvollziehbar sein, wie es erkannt und eingeschätzt wird, welche Maßnahme es mindert und welches Restrisiko bestehen bleibt. Berücksichtigen Sie sowohl Fehler, die zu einer falschen Warnung führen, als auch solche, durch die ein relevantes Risiko übersehen wird.

    Special offer. See more information about Outbyte and uninstall instructions. Please review EULA and Privacy policy.
  4. 4. Daten, Tests und Schwellenwerte festlegen

    Halten Sie Herkunft und Eignung relevanter Datensätze fest und prüfen Sie, ob sie zum vorgesehenen Zweck passen. Bestimmen Sie vor den Tests geeignete Metriken und Schwellenwerte; wählen Sie diese passend zur Entscheidung und zu den möglichen Folgen eines Fehlers. Ein einzelner Leistungswert reicht nicht als Risikobewertung, wenn er nicht erkennen lässt, welche Fehlerarten im Einsatz relevant sind.

  5. 5. Menschliche Aufsicht praktisch organisieren

    Benennen Sie verantwortliche Rollen und legen Sie fest, welche Informationen sie zum Interpretieren der Ausgabe benötigen. Definieren Sie Eskalationswege sowie Kriterien dafür, wann eine Ausgabe verworfen, ein Fall zusätzlich geprüft oder der Betrieb pausiert beziehungsweise unterbrochen wird. Die Aufsicht muss es ermöglichen, Anomalien zu erkennen und Automatisierungsbias zu berücksichtigen – nicht nur formal vorgesehen sein.

  6. 6. Betrieb überwachen und Änderungen neu bewerten

    Nutzen Sie Erkenntnisse aus der laufenden Überwachung, um Risiken neu einzuschätzen und Maßnahmen anzupassen. Bewerten Sie relevante Änderungen an Modell, Daten, Zweck oder Einsatzumgebung daraufhin, ob sie die bisherige Einschätzung oder die vorgesehenen Kontrollen verändern. Dokumentieren Sie Überprüfungen und Aktualisierungen als Teil des fortlaufenden Prozesses.

Independent reader supportYour contribution helps us test, update, and keep practical guides available for everyone.Support on Ko-Fi

Welche KI-Anwendungen Banken prüfen können

Ein Suchtreffer zum Risk Assessment Report – Autumn 2024 der Europäischen Bankenaufsichtsbehörde (EBA) nennt als Einsatzbereiche unter anderem Kreditrisikomodellierung, Kreditwürdigkeitsprüfung, Betrugserkennung, Geldwäschebekämpfung und Terrorismusfinanzierung (AML/CFT), regulatorische Berichterstattung, interne Prozessoptimierung und Kundenservice. Diese Beispiele zeigen mögliche Anwendungsfelder, belegen aber weder deren Verbreitung noch die Leistungsfähigkeit einzelner Systeme. Aus dem Bericht werden hier keine Zahlen oder weitergehenden Schlussfolgerungen abgeleitet.

Special offer. See more information about Outbyte and uninstall instructions. Please review EULA and Privacy policy.

Für eine konkrete Bankanwendung ist deshalb die Bewertung des jeweiligen Systems maßgeblich: Zweck, beeinflusste Entscheidung, betroffene Personengruppen, Daten, mögliche Schäden, Nachvollziehbarkeit, Robustheit, menschliche Prüfmöglichkeiten und Überwachungsaufwand. Die Liste der Einsatzbereiche ersetzt diese Prüfung nicht.

Woran eine tragfähige Strategie erkennbar ist

  • Sie trennt das Geschäfts- oder Portfoliorisiko, das KI bewertet, von den Risiken, die das KI-System selbst erzeugen kann.
  • Sie ordnet das System anhand von Zweck und Einsatzkontext ein, statt alle KI-gestützten Bewertungen pauschal gleichzusetzen.
  • Sie verbindet erkannte Risiken mit konkreten Minderungsmaßnahmen, Tests, Zuständigkeiten und Überwachung.
  • Sie ermöglicht verantwortlichen Personen, Ausgaben zu verstehen, zu hinterfragen und bei Bedarf zurückzuweisen oder den Betrieb zu unterbrechen.
  • Sie wird aktualisiert, wenn Überwachungserkenntnisse oder Änderungen am System und seinem Einsatz die bisherige Bewertung infrage stellen.

Product prices and availability are accurate as of the date/time indicated and are subject to change. Any price and availability information displayed on Amazon at the time of purchase will apply.