In diesem Blogbeitrag beleuchten wir die wichtigsten Fokusbereiche der regulatorischen Compliance für KI-gestützte Medizinprodukte, insbesondere mit Blick auf die regulatorischen Rahmenwerke der FDA und der Europäischen Union. Die Inhalte basieren auf der FDA-Leitlinie zu „Good Machine Learning Practices“ (GMLP), Vorgaben zu geplanten Änderungsmanagementplänen und Transparenz sowie Elementen des Team-NB-Fragebogens zu KI unter MDR/IVDR. Ebenso fließen Anforderungen aus dem EU AI Act mit ein.
Risikomanagement für KI-Systeme
Ein zentraler Bestandteil jeder Technischen Dokumentation ist das Risikomanagement. Für KI-basierte Medizinprodukte müssen zusätzlich KI-spezifische Risiken identifiziert und bewertet werden. Dazu zählen unter anderem Risiken im Zusammenhang mit dem Datenmanagement über den gesamten Lebenszyklus hinweg.
Typische KI-Risiken umfassen z. B.:
- Datenqualität
- Verzerrung (Bias)
- Übervertrauen in das System
- Daten-Drift
- unbeabsichtigtes Verhalten nach dem Retraining
Eine gute Grundlage zur Identifikation und Bewertung dieser Risiken bietet BS/AAMI 34971, ein Leitfaden zur Anwendung von ISO 14971 auf maschinelles Lernen in der KI. Er enthält praxisnahe Beispiele zu KI-spezifischen Gefährdungen, vorhersehbaren Ereignissen, potenziellen Schäden und Maßnahmen zur Risikominderung.
Der AI Act orientiert sich ebenfalls an den Schadensbegriffen der ISO 14971, erweitert diese jedoch um Punkte wie Beeinträchtigung kritischer Infrastrukturen und Verletzung grundlegender Rechte.
Modellwahl und Training
Für die Auswahl des verwendeten KI-Modells ist eine begründete und nachvollziehbare Dokumentation erforderlich. Entwickler müssen belegen, warum eine bestimmte Modellarchitektur gewählt wurde und warum sie für den vorgesehenen medizinischen Zweck geeignet ist.
Dies umfasst:
- Validierungsdaten zum Nachweis der geforderten Genauigkeit und Präzision
- Leistungsgrenzen und Einschränkungen des Modells
- Vollständige Dokumentation des Trainingsprozesses
Diese Nachweise sind nicht optional, sondern regulatorisch gefordert.
Change Control Pläne für KI-Updates
Da KI-Modelle nach der Markteinführung weitertrainiert werden können, ist es essenziell, bereits im Vorfeld Change Control Pläne (CCPs) zu definieren. Diese legen fest, unter welchen Bedingungen ein Retraining zulässig ist, und enthalten Schwellenwerte, die sicherstellen, dass Änderungen innerhalb definierter Grenzen bleiben.
Diese Pläne werden bereits im Zulassungsprozess geprüft. Solange die Änderungen im Rahmen des CCP bleiben, kann ein Retraining erfolgen, ohne dass eine erneute Zulassung notwendig wird.
Markteinführung und Post-Market Surveillance
Nach der Entwicklung muss die sichere Anwendung in der Praxis nachgewiesen werden, zum Teil mithilfe klinischer Daten. Unternehmen müssen Überwachungssysteme etablieren, die die Leistung im Alltag verfolgen und Entscheidungen dokumentieren sowie mit klinischen Ergebnissen vergleichen.
Im Gegensatz zu KI-Anwendungen im Consumer-Bereich ist autonomes Lernen im Gesundheitswesen nicht zulässig. Stattdessen sind klar strukturierte Prozesse mit menschlicher Kontrolle erforderlich.
Die Anforderungen an Post-Market Surveillance (PMS) steigen, inklusive Verfahren zur frühzeitigen Erkennung und Behebung von Problemen im Realbetrieb.
Mensch-KI-Interaktion & Qualität als Unternehmenskultur
Eine erfolgreiche Umsetzung von KI in Medizinprodukten hängt stark von einer gelebten Qualitätskultur ab. Wie auch die FDA betont, senkt eine „Kultur der Qualität und organisatorischen Exzellenz“ das Risiko unsicherer oder ineffektiver Produkte erheblich.
Gleichzeitig rückt das Thema Transparenz in den Fokus: Klinisches Fachpersonal muss verstehen können, wie ein KI-System arbeitet und wann ein Ergebnis möglicherweise hinterfragt werden sollte.
Die Regulierungsbehörden interessieren sich zunehmend für die Zusammenarbeit von Mensch und KI, also nicht nur für die reine Modellleistung, sondern für die Funktion als „Human-AI Team“ zur Gewährleistung der Patientensicherheit.
Erweiterung des Qualitätsmanagementsystems (QMS)
Alle genannten Bereiche müssen durch Prozesse im QMS unterstützt und dokumentiert werden. Hersteller müssen ihr bestehendes Qualitätsmanagementsystem um entsprechende Verfahren erweitern.
Zur Unterstützung der AI-ACT-Compliance wird derzeit die Norm ISO 42001 (AI-QMS) als Teil der ersten Normenharmonisierungs-Initiative für den AI Act entwickelt.
In unserem nächsten Blogbeitrag widmen wir uns der Entwicklung einer regulatorischen Gesamtstrategie für KI-basierte Medizinprodukte.