Zentrale Bedeutung des Haftungsrechts beim Einsatz von KI in der Medizin

Eine juristische Dissertation zur KI in der Medizin – ein Gespräch mit Anwältin Djamila Batache zu rechtlichen Aspekten.

Trifft eine neuartige Technologie wie die der künstlichen Intelligenz auf einen so sensiblen ­Bereich wie denjenigen der Medizin, wirft dies auch zahlreiche rechtliche Fragestellungen auf. Sie umfassen u. a. die Haftpflichtsituation, mitunter die Reichweite der ärztlichen Sorgfaltspflicht, das Zulassungs- und das Datenschutzrecht oder versicherungsrechtliche Themen, wie mir Djamila Batache, Anwältin und Doktorandin, beschreibt. Schon als Volontärin und jetzt als Anwältin bei derselben Kanzlei ist sie in der Beratung von Unternehmen im Bereich von Pharma und Life-Science involviert und damit am Puls der Rechtsfragen bei der Entwicklung und Umsetzung von KI-Anwendungen. So nah am Puls, schreibt sie aktuell ihre juristische Dissertation zu haftungsrechtlichen Implikationen beim Einsatz von KI in der Medizin.
Aus der Perspektive einer Juristin stelle sich für eine wissenschaftliche Arbeit die Ausgangsfrage, welche rechtlichen Herausforderungen mit dem Einsatz von KI in der Medizin einher­gehen könnten und ob das bestehende Recht für deren Bewältigung ausreiche, sagt Djamila Batache.

Häufig können auch bei revolutionären Entwicklungen in der Technik Zusammenhänge zu Vorbekanntem aufgezeigt und genutzt werden. Wenn mit dem bestehenden Rechtsrahmen hinreichende Lösungen entwickelt werden können, müssen grundsätzlich keine Neuregelungen erwogen werden.» KI-Systeme würden für das Recht aber insofern eine neuartige Herausforderung darstellen, als sie durch ihre Lernfähigkeit in der Lage sind, gewisse Aufgaben in der Me­dizin völlig selbständig durchzuführen, ohne umfassende Vorgabe durch einen Menschen. Ein derart eigenständiges Handeln vermute ­unser Recht seiner Grundkonzeption nach bislang aber nur bei Menschen, nicht auch bei ­Maschinen. Es werde daher kontrovers diskutiert, ob es für den Einsatz von KI in der Medizin eventuell neue Regeln brauche.

In der EU würde gerade die Gesetzgebung mit dem Ziel harmonisierter Vorschriften komplett durchgewälzt – sie wolle ein grosses Zulassungsgesetz hervorbringen, welches sämtliche Be­reiche der KI, nicht nur in der Medizin, ab­decke. Auch die Haftung von Herstellern und Anwendern von KI-Systemen soll revidiert werden. «In der Schweiz werden die Entwicklungen in der EU mit Interesse verfolgt, allgemein ist aber rechtspolitisch eher noch eine abwartende Haltung wahrzunehmen. Die Herausforderungen müssen deshalb vorerst mit den Regelungen ange­gangen werden, die man schon hat», hält die Anwältin fest. Gerade das Haftungsrecht sei ein sehr wichtiges Instrument zur Steuerung von Chancen und Risiken bei neuen Innovationen, da es sehr flexibel sei. Denn es basiere, vereinfacht gesagt, auf der Grundregel, dass eine Person dann hafte, wenn sie bei einer Handlung verglichen mit deren Nutzen zu viele Risiken eingegangen sei. Das gilt auch für Ärztinnen und Ärzte: Sie haften ihren Patientinnen und Patienten gegenüber grundsätzlich dann, wenn sie in einer gewissen Situation von der allgemein erwarteten Sorgfalt abweichen. Um rechtlich zu beurteilen, welche Anforderungen an diese Sorgfalt zu setzen sind, wird wiederum auf ­medizinisches Wissen bzw. medizinische Standards abgestellt.

In Bezug auf KI-Systeme entspreche es derzeit wohl noch der allgemeinen Sorgfalt bzw. dem medizinischen Standard, diese nur «in the loop» einzusetzen: «Zumindest in der Schweiz ist es so, dass aktuelle Anwendungen von KI in der Regel die Ärztin oder den Arzt nur unterstützen, also ‹in the loop› eingesetzt werden. Vom Hersteller des Systems ist vorgesehen, dass der ­Endentscheid bei der ärztlichen Fachperson ­bleiben muss – dass die Ärztin oder der Arzt am Ende das KI-Ergebnis nochmals überprüft und hinterfragt.» Im Moment hafte die Ärztin oder der Arzt daher noch sehr umfassend für die angewandten Systeme, weil man von ihm verlange, dass er selber auch nochmals prüfe und hinterfrage, welchen Entscheid das System gefällt habe. «Final validiert die Ärztin oder der Arzt – es bleibt also bei der ärztlichen Entscheidung und so gesehen hat sich rechtlich im Moment noch nicht viel verändert.

Gleichzeitig könne man aber auch erkennen, dass das Potenzial der KI-Systeme darin liege, in gewissen Situationen schneller zu sein, schneller zur richtigen Entscheidung gelangen zu können und in gewissen Situationen wahrscheinlich auch die Fehlerquellen zu minimieren. Beispielhaft hierfür wäre z. B. ein KI-System für Notfallstationen, welches in wenigen Sekunden die ­automatisierte Entscheidung für eine Verlegung eines Patienten in den Schockraum fällen könne. «Diese Vorteile von KI-Systemen können letztlich aber nur nutzbar gemacht werden, wenn nicht jede einzelne Entscheidung nochmals von Ärztinnen und Ärzten überprüft werden muss. Es könnte daher eines Tages durchaus der ge­botenen Sorgfalt entsprechen, dass Ärztinnen und Ärzte zugunsten des Patientennutzens auf einzelne Entscheidungen von qualitativ sehr hochstehenden KI-Systemen vertrauen dürfen, sofern keine Zweifel über deren Richtigkeit aufkommen – ähnlich wie man sich in der Arbeitsteilung auch auf die Expertise ärztlicher Kolleginnen und Kollegen verlassen darf.» Hier gibt es noch viele juristische Details zu klären, welchen Djamila Batache im Rahmen ihrer Disser­tation tiefer nachgeht. Denn auch die beste KI wird aufgrund ihrer Lernfähigkeit niemals vollständig fehlerfrei sein, die Haftungsfrage also weiterhin relevant bleiben. «Für die Frage, ob ein derartiger Einsatz einst zulässig sein könnte, ist letztlich aber vor allem auch entscheidend, ob die medizinische Wissenschaft und Praxis diesen Weg überhaupt einschlagen möchte.»

Das einzige ihr derzeit bekannte «out of the loop»-Beispiel sei die klinische Anwendung in der Diagnostik der Diabetischen Retinopathie, welches in den USA zugelassen sei, in der Schweiz, soweit sie wisse, aber noch nicht, ­weshalb es hierzulande wohl auch noch nicht zum Einsatz komme.

Damit ist neben der Arzthaftung auch die Herstellerhaftung von grosser Relevanz. Während der Arzt auf den Nutzen und die Risiken von KI-Systemen in der konkreten Anwendung Einfluss nehmen kann, kann der Hersteller diese bei der Entwicklung der Systeme beeinflussen. Gerade bei KI-Systemen, die nicht mehr zwingend von Ärztinnen und Ärzten überprüft werden müssen, wird dem Hersteller bei der Haftungsfrage eine zentrale Rolle zukommen, so die Einschätzung von Frau Batache. Allerdings seien viele wissenschaftliche Arbeiten, die von hoffnungsvollen «out of the loop»-Ergebnissen berichteten, erst Forschungsanwendungen, was nicht zwingend bedeute, dass sie im ­klinischen Alltag genauso vielversprechend sein würden. Stand jetzt sei daher der Standard weiterhin das «in the loop»-System, welches die ärztliche Fachperson als letzte Instanz der Überprüfung vorsehe.

Klar ist, dass von Ärztinnen und Ärzten zukünftig Fachkompetenz für die Vorgänge der KI verlangt werden wird.

Nur so könne diese schliesslich auch gegenüber dem Nutzen abgewogen werden, sagt Djamila Batache weiter. «Selbstverständlich ist ausserdem der Hersteller eines Systems verpflichtet, den Anwender, also die Ärztin und den Arzt, so zu schulen bzw. zu informieren, dass er in der Lage ist, das System sachgerecht, zweckgerecht und sorgfältig verwenden zu können.»

Djamila Batache betont im Verlauf des Gesprächs – und dies ist ihr sehr wichtig –, dass es ihr bei allen jetzt geäusserten juristischen Überlegungen nie darum gehe, dass die Ärztin oder der Arzt in seiner Funktion ersetzt werden könnte und in näherer Zukunft ein ganzer Behandlungskomplex durch die KI übernommen werden würde. «Es geht um sehr gezielte, spezifische Aufgaben, wie z. B. eine gewisse eingeschränkte Bildanalyse für eine sehr spezifische Diagnose. Das System ist (zumindest noch) nicht in der Lage, eine Differentialdiagnose aufzu­zeigen, sondern es ist auf etwas Spezifisches ­angesetzt und trainiert.» Sie weiss um die zum Teil grosse Skepsis und Zurückhaltung gegenüber ­ersetzender KI in der Medizin, diese ging auch aus der von der FMH durchgeführten Umfrage «Digital Trends Survey 2021» hervor. «In welchem Umfang KI in der Medizin zum Einsatz kommen soll, ist eine Debatte, die es nicht nur aus rechtlicher Sicht zu führen gilt. Letztlich ist die medizinische Einschätzung unabdingbar. Nicht vergessen werden sollte aber, dass mit dem Einsatz von KI nicht nur Risiken einher­gehen, sondern auch vielfältige Potenziale. Sowohl die Medizin wie auch die Rechtswissenschaft sollten daher von einer allzu grossen Abwehrhaltung gegenüber KI absehen und sich auf die bestmögliche Nutzung der Technologie zum Wohle der Patientinnen und Patienten konzentrieren», meint Djamila Batache abschlies­send dazu.

Optimiertes Drucken

Djamila Batache ist Anwältin im Life-Sciences- und Prozess­team in der Kanzlei Kellerhals Carrard in Basel. Im Rahmen ihrer Dissertation befasst sie sich mit haftungsrechtlichen Fragestellungen beim Einsatz von künstlich intelligenten Medizinprodukten im ärztlichen Behandlungsverhältnis, wobei sie den Fokus auf das Arzt- und Produktehaftungsrecht legt.

Mitglied der Redaktion Synapse