EU AI Act: Was Gesundheits- und Finanzsektor bis 2026 wissen müssen

Künstliche Intelligenz (KI) wird zunehmend im Gesundheitssektor und der Kreditwirtschaft eingesetzt. Ob im Gesundheitswesen bei der Auswertung von Bilddaten, der Unterstützung ärztlicher Entscheidungen oder in der Kreditwirtschaft bei Fraud-Prevention-Systemen oder der Verwaltung großer Datenmengen: Die Technologie hat Potenzial, Prozesse effizienter zu gestalten und Fachkräfte zu entlasten. Gleichzeitig bewegt sich ihr Einsatz in einem der sensibelsten Bereiche überhaupt – im Umgang mit Patienten- und Finanzdaten.

Die zentrale Herausforderung liegt im Spannungsfeld zwischen technologischem Fortschritt und noch unklaren regulatorischen Anforderungen. Während Entwicklungen schnell voranschreiten, befinden sich Standards und Leitplanken erst im Aufbau. Sicher ist seit Inkrafttreten des EU Artificial Intelligence Act (kurz: EU AI Act Deutschland), dass der Einsatz künstlicher Intelligenz künftig reguliert werden wird. Der EU AI Act trat am 1. August 2024 in Kraft. Die Anwendung beziehungsweise Durchsetzung seiner einzelnen Bestimmungen erfolgt gestaffelt: Einige zentrale Regelungen – zum Beispiel das Verbot von KI-Systemen mit unannehmbarem Risiko – gelten seit dem 2. Februar 2025. Die meisten weiteren Bestimmungen sind nach zwei Jahren, also ab dem 2. August 2026, verbindlich. Verpflichtungen für Hochrisiko-KI-Systeme werden erst nach drei Jahren, also ab dem 2. August 2027, vollständig anwendbar.

Organisationen stehen damit vor der Frage: Wie lässt sich KI heute schon verantwortungsvoll integrieren, ohne später von neuen Vorgaben überrascht zu werden?

Erste Orientierung (noch) ohne Verbindlichkeit

Behörden wie das Bundesamt für Sicherheit in der Informationstechnik (BSI) oder internationale Initiativen haben begonnen, Kriterienkataloge für den sicheren Einsatz von KI vorzulegen. Auch OWASP liefert mit dem OWASP AI Security and Privacy Guide Ansätze, um typische Schwachstellen von KI-Systemen zu begegnen. Der „OWASP AI Testing Guide“ liefert praktische Testmethoden und Empfehlungen, damit Organisationen KI-Lösungen vertrauenswürdig, sicher und nachprüfbar in Produktion bringen können.

Ein klarer, verpflichtender Prüfrahmen existiert jedoch noch nicht. Die Verantwortlichkeit zur KI-Regulierung sollen künftig weitere bereits bestehende Behörden in Deutschland übernehmen – abhängig vom jeweiligen Anwendungsbereich der KI-Systeme.

• Das Bundesamt für Sicherheit in der Informationstechnik (BSI) übernimmt übergangsweise Aufgaben zur IT-Sicherheit und kann bestimmte Hochrisiko-KI-Systeme zulassen, bis eine langfristige Stelle festgelegt ist.

• Die Bundesanstalt für Finanzdienstleistungsaufsicht (BaFin) ist für Hochrisiko-KI im Finanzbereich wie Banken und Versicherungen zuständig.

• Datenschutzbehörden auf Bundes- und Landesebene, das Bundeskartellamt und Aufsichtsstellen für Medien- und Jugendschutz werden in ihren jeweiligen Zuständigkeitsbereichen beteiligt.

• Außerdem wird für sektorübergreifende Koordination und als zentrale Anlaufstelle ein Kompetenzzentrum (KoKIVO) bei der Bundesnetzagentur geschaffen.

• Die Einrichtung sogenannter „KI-Reallabore“ sowie ein KI-Service-Desk für Marktteilnehmer sind ebenfalls bei der Bundesnetzagentur angesiedelt.

Es entsteht somit ein „Mosaik“ verschiedener Behörden rund um die Bundesnetzagentur, wobei die jeweiligen Fachbehörden für Aufsicht und Beschwerdemanagement in ihrem Sektor verantwortlich bleiben.

Damit bewegen sich Organisationen in einer Grauzone: Für klassische Softwarelösungen gibt es etablierte Zertifizierungsverfahren – für KI fehlen bislang eindeutige Vorgaben. Sie werden aber absehbar kommen, insbesondere durch die nationale Umsetzung des EU AI Act Deutschland.

Warum Patienten- und Finanzdaten besonders sensibel sind

Gesundheits- und Finanzdaten zählen zu den schutzwürdigsten Informationen. Fehlerhafte Verarbeitung kann rechtliche Folgen haben und das Vertrauen nachhaltig beeinträchtigen.

Im Kontext der Gesundheitsdaten basieren KI-Systeme häufig auf umfangreichen Trainingsdaten. Damit stellen sich drängende Fragen:

• Woher stammen die Daten?

• Sind sie repräsentativ und aktuell?

• Wie lässt sich Diskriminierung oder Verzerrung vermeiden?

• Wer trägt Verantwortung bei fehlerhaften Ergebnissen?

Ist die KI in Entscheidungsprozesse eingebettet, genügt es nicht, dass sie zuverlässig arbeitet – sie muss überprüfbar, erklärbar und nachvollziehbar sein. Im medizinischen Kontext betrifft das etwa die Erstellung einer Diagnose, im kreditwirtschaftlichen Kontext beispielsweise die Entscheidung über eine Kreditvergabe.

Zwischen Intransparenz und Nachvollziehbarkeit

Viele KI-Modelle gelten derzeit als schwer durchschaubar, sie erscheinen nichtdeterministisch zu agieren. Sie liefern Ergebnisse, ohne dass Entscheidungswege vollständig erkennbar sind. Für den Einsatz in sicherheitskritischen Umgebungen ist die Transparenz der Entscheidungswege jedoch eine zentrale Herausforderung.

Ansätze für mehr Transparenz reichen von Verfahren der erklärbaren KI (Explainable AI) bis zu ergänzenden Tests, die Modelle im Nachhinein auf Robustheit und Konsistenz prüfen. Solche Maßnahmen sind noch nicht verbindlich vorgeschrieben, können aber entscheidend dazu beitragen, Vertrauen aufzubauen.

Vorbereitung statt Abwarten

Ein verbreiteter Irrtum besteht darin, verbindliche Vorgaben abwarten zu wollen. Erfahrungen aus anderen regulierten Bereichen zeigen: Wer erst reagiert, wenn Anforderungen verpflichtend werden, hat deutlich mehr Aufwand und läuft Gefahr, gesetzte Fristen nicht einzuhalten. Beispiele aus der Regulierung kritischer Infrastrukturen zeigen dies deutlich. 2018, als Betreiber kritischer Infrastrukturen erstmals die Einhaltung des Standes der Technik nach §8a BSIG nachweisen mussten, waren viele nicht ausreichend vorbereitet.

Schon heute können Organisationen Maßnahmen ergreifen, um vorbereitet zu sein:

• Dokumentation von Datenflüssen und Trainingsprozessen erleichtert spätere Prüfungen.

• Interdisziplinäre Zusammenarbeit zwischen Medizin, Recht, Compliance und Technik verhindert Lücken im Vorgehen.

• Sicherheitsprinzipien von Beginn an einplanen erhöht die Qualität.

• Frühe Orientierung an bestehenden Kriterienkatalogen schafft Strukturen, die sich später anpassen lassen.

Lehren aus anderen Prüfwelten

Auch in der Vergangenheit gab es Phasen, in denen technische Entwicklungen schneller waren als die Regulierung. Unternehmen, die sich frühzeitig mit aufkommenden Vorgaben wie dem EU AI Act Deutschland auseinandersetzen, Anforderungen und Maßnahmen dokumentieren, Verantwortlichkeiten klären und Prozesse etablieren, können neue Anforderungen später mit weniger Reibungsverlusten umsetzen.

Ausblick: Von der Ausnahme zur Selbstverständlichkeit

Es ist eindeutig absehbar, dass der Einsatz von KI in weiten Bereichen weiter zunimmt und Regulierungsbehörden Prüfanforderungen konkretisieren werden. Transparenz, Dokumentation und nachvollziehbare Prozesse werden dann nicht mehr freiwillig sein, sondern Voraussetzung für Nutzer, Betreiber und Hersteller von auf KI basierenden Lösungen.

Organisationen, die bereits jetzt Strukturen schaffen, zeigen, dass technologische Entwicklung und Sorgfalt kein Widerspruch sind. So lassen sich Risiken verringern und Kosten im späteren Prüfprozess reduzieren.

Der Einsatz von KI im Umgang mit sensiblen Daten eröffnet Möglichkeiten, verlangt aber besondere Sorgfalt. Solange verbindliche Prüfrahmen fehlen, sind Organisationen gefordert, selbst Verantwortung zu übernehmen. Die Erfahrung der SRC aus bereits etablierten Prüfwelten zeigt: Vorbereitung ist entscheidend. Die Frage ist nicht, ob Prüfungen kommen, sondern wann – und ob man darauf vorbereitet ist.

Wie kann die SRC Hersteller und Nutzer von zukünftig regulierter KI bereits heute unterstützen?

Die SRC bietet Unternehmen, die von der zunehmenden KI-Regulierung betroffen sind, zwei zentrale Dienstleistungen an, um sie frühzeitig fit für die neuen Anforderungen zu machen:

1. Abgleich des KI-Managementsystems mit künftigen Regulierungsvorgaben
SRC unterstützt bei der systematischen Analyse und Anpassung bestehender KI-Managementsysteme an die Anforderungen des EU Artificial Intelligence Act sowie relevanter Normen wie der ISO/IEC 42001. Dabei werden Compliance-Lücken identifiziert und Maßnahmen zur Risikominimierung, Dokumentation und Qualitätssicherung entwickelt. Ziel ist ein belastbarer Nachweis, dass das Unternehmen verantwortungsvoll und regelkonform KI-Systeme entwickelt, einsetzt oder vertreibt.

2. Technische Prüfung von KI-Systemen
SRC bietet fachkundige technische Prüfungen und Tests von KI-Anwendungen, um Risiken, Datenschutz- und Sicherheitslücken frühzeitig zu erkennen. Dies umfasst u. a. Funktionalitäts- und Robustheitstests, Bias-Überprüfungen, Transparenzanalysen sowie die Prüfung von Datensätzen und Trainingsprozessen. Die technische Expertise stellt sicher, dass KI-Systeme den regulatorischen Vorgaben standhalten und vertrauenswürdig sind.

Diese integrierten Serviceleistungen richten sich an Hersteller, Entwickler und Betreiber von KI-Lösungen gleichermaßen. SRC befähigt Unternehmen, regulatorische Pflichten proaktiv umzusetzen und Marktchancen mit sicheren, rechtskonformen KI-Produkten zu nutzen. So können Nutzer wie Hersteller die Herausforderungen der KI-Regulierung heute schon souverän meistern.