Der Begriff der Künstlichen Intelligenz (KI) ist zurzeit in aller Munde. KI-Thematiken werden in sämtlichen Bereichen des Lebens immer relevanter, insbesondere auch in der Medizin.

Die Gesundheitsausgaben in Deutschland belaufen sich auf über 500 Milliarden Euro pro Jahr und machen 12,5 Prozent des Bruttosozialprodukts aus. Damit ist der Gesundheits- und Medizinsektor für (aufstrebende) Unternehmen ein äußerst interessantes Feld, um Innovationen voranzutreiben. Gerade im Bereich der Radiologie, der seit jeher als einer der hochtechnologischen Bereiche der Medizin gilt, werden Anwendungsbereiche für den Einsatz von KI getestet und kreativ gedacht.

Wie bei dem Einsatz jeder neuen Technologie birgt auch der Einsatz von KI-Systemen Risiken, die auch unter juristischen Aspekten durchdacht werden müssen.

1. Was ist bereits möglich?

KI-Systeme berühren insbesondere den Bereich der Radiologie. KI bezeichnet selbständig lernende und entscheidende Software, wobei KI dazu in der Lage ist, komplexe Auswahlprozesse unter Einbeziehung einer Vielzahl von Daten selbständig durchzuführen und mit Hilfe von softwaregesteuerten Maschinen umzusetzen. Entscheidend für die Qualität ist in jedem Fall, dass das Training anhand geeigneter Daten erfolgt.

Ein Verständnis über den vielfältigen Einsatz von KI ist nötig, um die verschiedenen Lösungsansätze kritisch diskutieren zu können. KI wird beispielsweise eingesetzt, um Datensätze aus radiologischen Untersuchungen zu verbessern: zu nennen sind KI-Algorithmen zur Rausch- und Artefakt-Reduzierung. Das führt bereits heute dazu, dass Untersuchungen mit reduzierter Strahlungslast für Patienten durchgeführt werden können. Ebenso ist es möglich, die Größe der Datensätze Mithilfe von KI zu verringern. Dadurch können unter anderem schnellere Übertragungsgeschwindigkeiten im Rahmen der Teleradiologie erzielt werden. Als prominentestes Beispiel kommen KI-Systeme in der Diagnostik zum Einsatz. Per KI können Datensätze analysiert werden. Somit kann KI auch zur Befunderhebung eingesetzt werden. Beispielsweise können durch KI-Algorithmen Herdbefunde detektiert und quantifiziert werden.

Bei all diesen – bereits heute im Einsatz befindlichen – Anwendungsmöglichkeiten von KI-Systemen gilt es zu bedenken, dass diese Anwendungsmöglichkeiten nur dem aktuellen Stand der Technik entsprechen. Bei dem rasanten Fortschritt in der Technologie wird es freilich nicht bei diesen Einsatzgebieten bleiben. Die Anwendung von KI wird in bislang nur zu erahnende Gebiete vorstoßen. Das führt dazu, dass mitunter das Schreckensbild gezeichnet wird, dass in Zukunft keine Radiologen mehr benötigt werden. Einem solchen Bild sind jedoch erhebliche Zweifel entgegenzusetzen, ist der Radiologe doch deutlich mehr als eine bloße „Befundungs-Maschine“. Der Einsatz von KI sollte vielmehr als Chance verstanden werden. Beispielsweise kann KI als zweites „Augenpaar“ über die zunehmende Anzahl an Datensätzen blicken und den Radiologen so unterstützen bzw. dessen Arbeitslast verringern.

Je mehr KI-Systeme, auch außerhalb der Medizin, zum Einsatz kommen, desto dringender stellt sich die Frage, wie damit umzugehen ist, wenn ein KI-System eine Fehlentscheidung trifft. Wie kann das Recht auf die vielfältigen Probleme, welche der Einsatz von KI mit sich bringt, reagieren? Dabei soll zunächst ein Blick auf das bestehende Recht geworfen werden, und sodann überlegt werden ob es sinnvoll ist, neue Regelungen zu schaffen.

Deswegen stellt sich die Aufgabe, Technik und Recht aufeinander abzustimmen.

2. Die Haftung des Behandlers

In einem Schadensfall gilt zunächst, dass sich der Patient an den Behandler wenden muss, wenn er einen Anspruch auf Schadensersatz geltend machen möchte. Behandler ist, je nach Gestaltung des Behandlungsvertrags, entweder der behandelnde Arzt selbst oder das Krankenhaus bzw. unter Umständen sowohl das Krankenhaus als auch der Arzt.

Das Pflichtenprogramm des Behandlers wurde im Laufe der Jahre durch die Rechtsprechung vielfach konkretisiert, wodurch er mittlerweile eine Vielzahl von Pflichten zu erfüllen hat. Der Begriff des „medizinischen Standards“ steht dabei im Mittelpunkt. Dieser Standard wird durch den jeweiligen Stand der Wissenschaft und der medizinischen Erkenntnisse beschrieben. Wenn der Behandler hinter diesem Standard zurückbleibt, verletzt er seine vertragliche Pflicht und muss, bei entsprechendem Eintritt eines Schadens, Ersatz für den entstandenen Schaden leisten.

Oftmals kann der Patient nicht zur vollen Überzeugung des Gerichts darlegen, dass ein Schaden kausal aufgrund eines Behandlungsfehlers entstanden ist. Mit der Zeit haben sich daher durch die Rechtsprechung verschiedene Voraussetzungen entwickelt, bei deren Vorliegen eine Beweislastumkehr eintritt. Somit wird beispielsweise bei Vorliegen eines groben Behandlungsfehlers vermutet, dass dieser kausal für den Schaden des Patienten ist. In einem solchen Fall muss der Behandler den Beweis erbringen, dass zwischen dem groben Behandlungsfehler und dem eingetretenen Schaden keine Kausalität besteht. Dieses durch jahrelange Rechtsprechung und Erfahrung ausgebildete System der Risikoverteilung bei in Rede stehenden Behandlungsfehlern steht nun vor einer neuen Herausforderung – den KI-Systemen.

Je nach Programmierung ist es sowohl für Behandler als auch für Patienten kaum noch nachvollziehbar, in welchem Teil des Systems eine fehlerhafte Entscheidung getroffen wurde. Das Führen eines Nachweises wird dadurch erheblich erschwert. Insbesondere bei KI-Systemen, die untereinander vernetzt sind und voneinander lernen, kann nicht mehr transparent nachvollzogen werden, warum das System eine bestimmte Entscheidung getroffen hat oder woher es diesen Output erlernt hat. Dieses Problem wird als Black-Box-Problem bezeichnet. Für den Patienten dürfte es in der Regel äußerst schwierig sein, nachzuweisen, an welchem Punkt innerhalb der Verkettung eine fehlerhafte Entscheidung getroffen wurde. Somit liegt das Risiko des Einsatzes von KI-Systemen vollständig bei den Patienten. Solange kein grober Behandlungsfehler vorliegt, wird die Beweislast des Patienten auch nicht erleichtert.

In Bezug auf die Einhaltung des zuvor genannten medizinischen Standards stellt es kein Problem dar, dass der Einsatz von KI-Systemen im medizinischen Bereich noch Neuland ist. Neulandmethoden können zwar nicht dem medizinischen Standard zugeschrieben werden, daher ist der Behandler nicht verpflichtet, sie einzusetzen. Der Arzt kann jedoch aufgrund seiner Therapiefreiheit auf diese zurückgreifen. Wenn sich der Behandler für den Einsatz neuartiger KI-Systeme entscheidet, muss der Patient jedoch gesondert darüber aufgeklärt werden. Kommt der Behandler seiner Aufklärungspflicht nicht nach, entspricht das einem Behandlungsfehler gemäß § 630e BGB.

Bei dem Einsatz von Neulandmethoden gelten strengere Anforderungen an die Aufklärungspflicht. Insbesondere muss über die spezifischen Risiken der Neulandmethode besonders ausführlich aufgeklärt und explizit darauf hingewiesen werden, dass es sich um eine neue Methode handelt. Diese erhöhten Anforderungen an die Aufklärung bei Neulandmethoden hat der Bundesgerichtshof 2006 explizit aufgestellt. Beim Einsatz von KI-Systemen bedeutet dies, dass auch über die potenzielle Unnachweisbarkeit in einer möglichen Fehlerverkettung aufgeklärt werden muss. Diese Anforderungen sollen insbesondere das Selbstbestimmungsrecht des Patienten sichern. Durch eine solche Aufklärung kann der Patient informiert entscheiden, ob er dieses Risiko eingehen und tragen möchte oder nicht. Das führt aktuell dazu, dass der Patient sich bewusst dafür entscheidet, das Risiko einzugehen, in Beweisnöte zu geraten.

Allerdings ist anzunehmen, dass der Einsatz von KI-Systemen recht schnell nicht mehr als Neulandmethode betrachtet wird, sondern dem aktuellen Stand der medizinischen Wissenschaft und Erkenntnisse zugeordnet wird. Dadurch wird der Einsatz von KI zum medizinischen Standard, sodass der Behandler auf die Systeme zurückgreifen muss, um keinen Behandlungsfehler zu begehen. Infolgedessen entfällt die Wahlfreiheit des Patienten teilweise. Für die Haftung in einem Schadensfall gilt dann folgendes.

Der Patient hat sich zunächst entlang der Vertragsbeziehung an den Behandler zu wenden. Gelingt ihm der Nachweis, dass der Behandler den Schaden hätte verhindern können, weil er Einfluss auf das KI-System hätte nehmen können, weicht der Behandler von dem medizinischen Standard ab und gerät somit in die Haftung.

Gelingt dem Patienten dieser Nachweis nicht, kann er sich an den Anbieter des KI-Systems wenden. Dann hat der Patient nachzuweisen, dass der Schaden schuldhaft und kausal auf das KI-System zurückzuführen ist und der Anbieter dies hätte verhindern müssen.

Es wird dem Patienten regelmäßig äußerst schwerfallen, den Nachweis für diese Ketten zu erbringen. Daher kann davon gesprochen werden, dass er aktuell das Risiko eines Schadenseintritts trägt.

Ursprünglich war eine Harmonisierung der KI-Haftungsregeln auf EU-Ebene geplant, allerdings hat die EU-Kommission am 12. Februar 2025 den Entwurf der Richtlinie über KI-Haftung zurückgezogen.

3. Die Haftung des Herstellers

Indes scheint es gesellschaftlich und politisch nicht dem aktuellen Interesse zu entsprechen, es bei der Risikoverteilung de lege lata zu belassen. In Literatur und Politik wurde vielfach über mögliche Lösungen diskutiert, um das Risiko von den Patienten weg und hin zu anderen zu verteilen. Eine Darstellung der angedachten Optionen ist mit einem Blick auf die von den Mitgliedsstaaten der EU im Februar 2024 einstimmig gebilligte, „Verordnung zur Festlegung harmonisierter Vorschriften für Künstliche Intelligenz (KI-Verordnung = AI-Act)“ (KI-VO) obsolet. Die Billigung der KI-VO bedeutet, dass ihr Inhalt in nationales Recht übertragen werden muss und damit der Weg für die deutschen Gesetze vorgezeichnet ist.

Sowohl der ursprünglich angedachte Richtlinienvorschlag für die KI-Haftung als auch die Überarbeitung des EU Produktsicherheitsrechts sind als Teil eines Maßnahmepakets zur Unterstützung der Einführung von KI in Europa zu sehen. Die KI-Verordnung ist in Kraft; die Kapitel I und II (Allgemeine Bestimmungen und Verbotene Praktiken im KI-Bereich) gelten seit dem 2. Februar 2025. Die Produktsicherheitsverordnung ist ebenfalls in Kraft; sie gilt seit dem 13. Dezember 2024.

Die KI-VO enthält mehrere interessante Ansätze, die beachtenswert sind. Zunächst die grundsätzliche Entscheidung, dass die Verordnung für sämtliche KI-Systeme gilt. Das bedeutet, dass die KI-VO nicht speziell auf den Einsatz von KI in der Medizin zugeschnitten ist, sondern generell für alle Bereiche gilt, in denen KI eingesetzt wird. Dieser sogenannte horizontale Ansatz berücksichtigt den Einsatz von KI in seiner Gesamtheit.

Die nächste grundlegende Entscheidung innerhalb der KI-VO betrifft die Einteilung von KI-Systemen in drei verschiedene Risikogruppen: KI-Systeme mit inakzeptablem Risiko, Hochrisiko-KI-Systeme und solche mit geringem Risiko. Als KI-Systeme mit inakzeptablem Risiko sind insbesondere Systeme genannt, welche Social Scoring ermöglichen, also das Auslesen menschlichen Verhaltens. Diese sollen in der EU vollständig verboten werden. KI-Systeme, die im medizinischen Bereich eingesetzt werden sollen, werden größtenteils dem Hochrisiko-Bereich zugeordnet. Wenn ein KI-System dem Hochrisikobereich zugeordnet ist, bedeutet dies, dass strenge technische und organisatorische Anforderungen auf die Anbieter der Systeme zukommen. Es ist vorgesehen, dass die Systeme stetig ihre eigenen Risiken bewerten und verringern müssen. Sie müssen Nutzungsprotokolle anfertigen und dabei transparent sein. All das soll sicherstellen, dass die Entscheidungsfindung der KI-Systeme von Menschen überwacht werden kann. Zudem wird der Bevölkerung künftig das Recht eingeräumt, Beschwerden über KI-Systeme einzureichen und Erläuterungen zu Entscheidungen zu erhalten, die auf der Grundlage von Hochrisiko-KI-Systemen getroffen wurden. Gemäß der KI-VO werden besonders strenge Regeln und Qualitätsanforderungen für die Datensätze gelten, die als Trainingsgrundlage für Hochrisiko-KI-Systeme dienen. Darüber hinaus werden hohe Sicherheitsstandards festgelegt, um Cyberkriminalität entgegenzuwirken. Es wurde weiterhin die Notwendigkeit erkannt, dass KI-Systeme überwachbar bleiben müssen. Dadurch soll gewährleistet werden, dass der Mensch aufgrund der Anforderungen an die Systeme stets in der Lage ist, den Output der Systeme nachzuvollziehen. Wenn ein Anbieter diesen Anforderungen nicht gerecht wird, drohen empfindliche Geldbußen.

Diese strengen Anforderungen ermöglichen es auch im Falle eines Schadenseintritts nachzuvollziehen, an welcher Stelle das KI-System eine falsche Entscheidung getroffen hat und aus welchem Grund. Somit wird dem Problem der Nachvollziehbarkeit von KI-Entscheidungen durch die Anforderungen an die Systeme entgegengewirkt.

Die KI-VO wird im Ergebnis dazu führen, dass es einheitliche Regelungen innerhalb der EU für alle KI-Systeme geben wird. Diese Regelungen werden zunächst strenge Anforderungen für das Inverkehrbringen solcher Systeme im EU-Raum bedeuten und sodann auch Haftungsfragen regeln.

Es ist zu erwarten, dass das Risiko von den Patienten und Anwendern der KI-Systeme auf die Anbieter der Systeme verlagert wird. Diese werden sodann aller Voraussicht nach Versicherungen für den Fall von Schadenseintritten abschließen müssen. Es bleibt abzuwarten, inwieweit dies Innovationen hemmen und verteuern wird.

Die ersten Weichen für den Übergang zur Anbieterhaftung sind bereits gestellt. Für die Medizin und Radiologie bedeutet dies, dass es in absehbarer Zeit darauf hinauslaufen wird, dass sich Patienten zunächst weiterhin innerhalb der Vertragsbeziehung an den Behandler wenden müssen. Kann ein kausaler Schaden durch den Behandler nicht nachgewiesen werden, wird der Patient sich an den Anbieter der KI-Systeme wenden können. Insofern sind sowohl Patient als auch der Behandler vor den Unwägbarkeiten der KI-Systeme abgesichert.

Darüber hinaus kommt eine Haftung nach dem Medizinprodukterecht für den Hersteller in Betracht. Ob KI der medizinprodukterechtlichen Regulierung unterliegt, richtet sich nach dem Medizinprodukt-Durchführungsgesetz und der Medical Device Regulation (MDR). KI-basierte Software ist als Medizinprodukt einzuordnen, wenn sie eigenständig einen der in Art. 2 Nr. 1 MDR genannten spezifischen medizinischen Zwecke erfüllt, wobei es nicht darauf ankommt, ob die Software, etwa mittels Sensoren, ,,im oder am menschlichen Körper" wirkt. Insoweit ist von einem weiteren Begriff auszugehen. In der Regel wird beim KI-Einsatz in der Medizin also von der Anwendbarkeit des Medizinprodukterechts auszugehen sein.

Eine weitere Haftungsgrundlage findet sich in Art. 4 Nr. 1 der Produkthaftungsrichtlinie in Verbindung mit § 2 ProdHaftG, da Software hiernach ein Produkt im Sinne der Richtlinie ist. § 2 ProdHaftG ist deshalb geändert worden und Software ist explizit als Produkt im Sinne des Gesetzes definiert. Damit gilt eine verschuldensunabhängige Produkthaftung auch für KI-Systeme, da jedes KI-System auf Software beruht.

4. Datenschutz

Die zentralen datenschutzrechtlichen Grundsätze wie Einwilligung, Transparenz, Zweckbindung, Datenminimierung und Datenrichtigkeit sind zu beachten, zumal es insbesondere um die Verarbeitung (besonders geschützter) Gesundheitsdaten geht.

Für die Entwicklung und den Einsatz von KI-Systemen, in denen personenbezogene Daten verarbeitet werden, beinhaltet die (DSGVO) wichtige rechtliche Vorgaben. Sie dienen dem Schutz der Grundrechte und Grundfreiheiten natürlicher Personen. Auch für KI-Systeme gelten die Grundsätze für die Verarbeitung personenbezogener Daten gem. Art. 5 DSGVO (vgl. auch: „Hambacher Erklärung zur Künstlichen Intelligenz“ der Datenschutzaufsichtsbehörden des Bundes und der Länder vom 03.04.2019).

Mit dem immer schnelleren und transparenteren Informationsfluss im Zuge der Digitalisierung wachsen auch die Gefahren eines unautorisierten Zugriffs oder einer missbräuchlichen Verwendung von Daten („Big Data“).

Deshalb hat die Europäische Union auch die NIS2-Richtlinie über „Maßnahmen für ein hohes gemeinsames Cybersicherheitsniveau in der Union“ verabschiedet. Die Richtlinie beinhaltet erweiterte Sanktionsvorschriften mit neuen Bußgeldtatbeständen für Unternehmen und für Geschäftsführende. Die Richtlinie gilt für öffentliche und private Einrichtungen in 18 Sektoren mit mindestens 50 Beschäftigten und mindestens zehn Millionen Euro Jahresumsatz und Jahresbilanzsumme. Einige Sonderfälle sind unabhängig von ihrer Größe betroffen. Die Richtlinie gilt insbesondere auch für den durch Cyberangriffe stark bedrohten Gesundheitssektor.

5. Fazit

• KI erfordert danach besondere Sorgfaltspflichten, Aufklärung und Einwilligung des Patienten.
• Haftungsrisiken sind zu beachten,
• es gelten der Datenschutz und die Schweigepflicht.
• Grenze zwischen Entscheidungsassistenz und automatisierter Entscheidung darf nicht überschritten werden!

Diese Meldung ist Inhalt unseres Radiologie-Newsletters. Melden Sie sich jetzt an, und erhalten Sie weitere Nachrichten direkt kostenlos in Ihr Postfach.