00:00:03:

00:00:05: Willkommen beim Erzitag, dem Podcast der Erze-Zeitung.

00:00:09: Mein Name ist Julia Frisch und ich bin Redakteurin im Ressort Praxiswissen.

00:00:13: Und heute will ich wissen was die europäische KI-Verordnung konkret für die Praxen bedeutet?

00:00:19: Die Verordnung gilt seit Jahrzehnt zwanzig vierundzwanzig.

00:00:21: Seitdem werden nicht nur den KI Entwicklern sondern auch den Anwendern Pflichtnau verlegt.

00:00:27: Die meisten Regelungen dieser Verordnungen sind im August in Kraft getreten So etwa bestimmte Transparenzpflichten für KI-generierte Inhalte.

00:00:36: Was das für die Arztpraxen bedeutet, das will ich heute mit Professorin Dr.

00:00:41: Julia Gogel besprechen.

00:00:44: Julia Gogel ist Fachanwältin für Medizinrecht und Associate Partner der Kanzlei Lück & Petzold im Bad Hamburg.

00:00:51: Außerdem ist sie Professorin an der SRH Hochschule Heideberg.

00:00:55: Guten Tag Frau GogEL!

00:00:58: Frau Gugel, können Sie uns einen kurzen Überblick geben?

00:01:01: Warum gibt es eigentlich diese KI-Verordnung und betrifft sie jeden in Deutschland?

00:01:07: Ja eine ganz wichtige Frage.

00:01:10: Die KI Verordnung gibt es weil der europäische Rechtsrahmen an der Stelle vereinheitlich werden sollte und sozusagen Rechtssicherheit innerhalb der EU geschaffen werden sollte für alle Akteure.

00:01:23: Grundsätzlich kann man sagen, sie betrifft jeden, der die KI beruflich einsetzt, gewerblich nutzt, der sie öffentlich nutzt.

00:01:31: also in einem kleinen Bereich werden jetzt Privatpersonen ausgenommen, die das Reihen zum internen Gebrauch verwenden.

00:01:38: aber für unser Thema und unsere Zielgruppe Ärztinnen und Ärzte ist es auf jeden Fall einschlägig.

00:01:44: Die sind wie Sie ja schon erwähnt hatten Betroffen nicht nur die Entwickler, sondern unter den Betreiberbegriff fallend betroffen und deshalb auch entsprechend verpflichtet.

00:01:57: Man kann sagen es ist eine Verordnung, die innerhalb der EU Rechtssicherheit schaffen soll jetzt sehr stark diskutiert.

00:02:10: Wir haben ja vielleicht in den letzten Tagen auch gerade gehört die neuen Warnungen, die aus dem USA kommen und Tropic ist da ja in der Presse laut geworden und hat diesen Kontrollverlust moniert und internationale Kontrollen gefordert.

00:02:25: Und sozusagen dieses unkontrollierte Wettrennen wieder etwas zu verlangsamen, also der Schrei nach einer Regulierung.

00:02:33: Das ist das was wir eigentlich in der EU mit dem AI-Akt zur deutschen KI Verordnung haben, was angelegt ist und was jetzt nach und nach in die Umsetzung

00:02:43: kommt.".

00:02:44: Wir haben ja schon gesagt, seit August gibt es diese neue Pflichten aus der Verordnung.

00:02:49: Können Sie uns einen Überblick geben?

00:02:51: Welche Pflichte sind das und warum sind die für die Praxen relevant?

00:02:56: Also es ist erfolgreich, seit dem zweiten August gelten insbesondere die neuen Transparenzpflichten.

00:03:03: Das wäre jetzt in der Verordnung.

00:03:04: Und ich arbeite eigentlich immer ganz gerne auch mal mit dem Text, das ist insbesondere der Artikel fünfzig der Verordnungen wo es eben neue Kennzeichnungspflichten gibt, insbesondere für Bilder und Texte und das ist jetzt sozusagen akut.

00:03:21: da muss man jetzt ran gehen vielleicht etwas aus der Vergangenheit aber genauso wichtig ist die KI-Schulung als Pflicht die ja schon einige Weile besteht, auch noch zu berücksichtigen.

00:03:33: Aber jetzt ganz akut mit dem zweiten August vor allen Dingen die Kennzeichnungspflicht weil eben bestimmte künstlicher zeugte oder manipulierte Inhalte als solche auch kenntlich gemacht werden sollen.

00:03:45: und hier ist auch der Schutzzweck wieder ganz eindeutig der KI einsetzt, soll das transparent machen.

00:03:54: Es gibt in diesem Artikel fünfzig eine Ausnahme nämlich für Situationen, in denen aufgrund der Umstände und des Kontextes offensichtlich ist dass KI eingesetzt wird.

00:04:07: also wenn man jetzt beispielsweise einen deutlich als virtuellen Assistent beschriebenen Chatboard benutzt Dann könnte man sagen, braucht es jetzt keinen zusätzlichen Hinweis weil sich aus dem Kontext und den Umständen ergibt das hier KI im Einsatz ist.

00:04:22: Ansonsten bedarf es aber wirklich dieser Kennzeichnung aus Transparenzgründen.

00:04:27: und vielleicht noch ein wichtiger Hinweis.

00:04:29: Die Verordnung geht von einem angemessen informierten und aufmerksamen verständigen Verbraucher aus, ja?

00:04:36: Also wenn die Umstände des Ergeben das ist klar ist dass hier KI eingesetzt wird dann kann man von dieser Transparenspflicht absehen.

00:04:45: Ich würde aber immer den sicheren Weg beraten und diesen Hinweis setzen, wo man eben künstlich erzeugt oder manipulierte Inhalte verwendet.

00:04:54: Gilt das nun wirklich für alle Inhalten die man KI generiert benutzt hat?

00:04:59: Oder gibt es da auch wieder Ausnahmen?

00:05:01: Oder ist es dann wieder zu umständlich diese ganzen Ausnahmen im Kopf zu behalten, dass man deswegen wie sie sagten lieber auf Nummer sicher gehen sollte...

00:05:10: Also es ist ganz richtig, was Sie sagen.

00:05:11: Es kommt darauf an, was für Inhalte wir haben?

00:05:14: Es gibt nämlich Unterschiede zwischen bildlichen und textlichen Informationen die KI generiert wurden.

00:05:21: Und hier gibt das tatsächlich für die Texte Die Ausnahme also so eine sogenannte textbezogene Ausnahme dass diese Kennzeichnungspflicht entfällt wenn die Inhalte einer menschlichen Überprüfung oder redaktionellen Kontrolle, wie es so schön heißt in der Verordnung unterzogen wurden.

00:05:41: und das muss kumulativ vorliegen.

00:05:44: eine Person, die Verantwortung für die Inhalt trägt.

00:05:49: Und da muss man auch dazu sagen, das ist jetzt manchmal so ein bisschen in der Diskussion.

00:05:54: Reicht es jetzt das einmal flüchtig durchzulesen?

00:05:58: Also gefordert ist schon eine inhaltliche substanzielle Prüfung und ne klar zuordnbare Verantwortung also nicht nur die formale Kontrolle dass ich das einmal überfliege denn am Ende geht es ja darum nach außen die Verantwortung für den Inhalt des Textes zu übernehmen.

00:06:18: weil es allein schon aus den Gründen, dass wir alle wissen das die KI mitunter halluciniert und Fehler macht.

00:06:25: Dass wenn man das dann im eigenen Namen veröffentlicht, man sich auch sicher ist was man da schreibt wozu man da die Verantwortung übernimmt und dass deshalb auch einmal gründlich zumindest durchließt.

00:06:36: Dann kommen wir gleich mal in die verschiedenen Anwendungen gehen, die es ja in einer Praxis gibt.

00:06:41: bei KI generierten Texten denke ich natürlich zum ersten mal dann an die Webseite, an die Praxis-Webseite.

00:06:50: Da müsste ich dann wenn nicht diese KI verwende dann auch irgendwo hinschreiben.

00:06:55: also hier habe ich auch KI verwendet oder... Muss ich das dann doch wieder nicht machen, wenn der Arzt mal drüber gelesen hat und gesagt hat okay stimmt alles was hier steht?

00:07:04: Sie haben vollkommen richtig angesprochen.

00:07:05: Wir müssen natürlich auch später unterscheiden zu was setzt sich die KI ein und gibt es ein mögliches Risiko?

00:07:12: wie ist sozusagen die die Intensität der Verwendung also bei einfachen Anwendungen.

00:07:17: Wenn wir jetzt sagen wir nutzen ChatGPT um einen Satz zu formulieren um unsere Seite zu beschreiben Da ist jetzt natürlich nichts besonders zu kennen verzeichnen, wenn Sie den Text selber wieder lesen und vielleicht das mal so als Faustformel vorweg.

00:07:31: Je mehr die KI dann an die Diagnostik oder an die Therapie oder auch an die Patientendaten eben rankommt, desto höher sind dann auch wieder die rechtlichen Anforderungen.

00:07:40: also rein jetzt als Werkzeug eingesetzt um so einen Informationstext auf der Homepage zu formulieren.

00:07:47: da würde es vollkommen ausreichen dass sie diesen Text einmal gegenlesen, prüfen anpassen und dann bedarf es auch keines besonderen Hinweises.

00:07:57: Anders sieht das halt bei steigender Intensität von KI Anwendungen aus.

00:08:00: also beispielsweise jetzt der nächste Schritt man würde einen Chatbot auf der Seite einsetzen mit dem der Patient dann in Kontakt kommt.

00:08:08: da muss erkennbar sein, dass der Patient mit einer Maschine kommuniziert.

00:08:12: Da braucht es ganz klar diesen Hinweis.

00:08:15: man muss sich einfach den Schutzzweck dieser Transparenzpflicht nochmal vor Augen führen.

00:08:21: Man will also das der schützenswerte Verbraucher in dem Fallpatient eben nicht getäuscht werden könnte potenziell darüber, dass hier kein Mensch mit ihm agiert sondern eine Maschine Und wichtig ist, weil sie das auch ansprechen.

00:08:39: Wo brauche ich dann diesen Hinweis?

00:08:41: Reicht es irgendwo möglicherweise im Impressum versteckt?

00:08:46: Nein!

00:08:47: Also da ist die Verordnung auch sehr klar und sagt dass spätestens zum Zeitpunkt der ersten Interaktion diese Transparenzpflicht anfällt also diese Information gegeben werden muss und bei einem Chatbot oder so einem Telefonassistenten sollte dann eben unmittelbar vor her oder mindestens zu Beginn der Kommunikation dieser Hinweis platziert werden.

00:09:11: Also das würde eben nicht ausreichen, im Impressum oder in der Datenschutzerklärung irgendwo so einen generischen Hinweis zu verstecken.

00:09:20: Das ist auch ganz wichtig dass das eben sozusagen auch aufhindbar für den Patienten

00:09:26: ist.

00:09:26: Das bedeutet wenn ich nun KI-Dokumentationsanwendungen benutze die mir helfen Patientengespräche zusammenzufassen Und danach her vielleicht auch noch daraus Arztbriefe generiert werden, dass ich dann auf jeden Fall vorher dem Patienten sage.

00:09:41: Ich benutze hier die KI und die wird dann auch nur Arzt Brief

00:09:45: schreiben.".

00:09:46: Also wenn Sie tatsächlich den kompletten Arztgriff mit der KI schreiben, was ja mittlerweile immer mehr gemacht wird.

00:09:52: Das kann man sagen.

00:09:54: Man darf natürlich nur nicht der Illusion erliegen, dass das dann irgendwie aus der Verantwortung raus wäre mit diesem Hinweis.

00:10:02: Es ist vollkommen klar, dass die KI weiterhin nur ein Werkzeug ist und die letzte Verantwortung insbesondere auch die ärztliche Therapiehochheit bei dem Behandler verbleibt.

00:10:15: auch möglichst der Patient nicht irgendwie bekommen, dass jetzt die KI sozusagen weil sie es mit schreibt ist auch verantwortet.

00:10:23: Insofern muss man da bei der Formulierung vielleicht ein bisschen sensibler vorgehen und sagen das man sie unterstützend einsetzt.

00:10:30: ich glaube das ist den meisten Patienten auch klar und nachvollziehbar.

00:10:35: Das aber keinesfalls die KI hier die Dokumentationspflicht als solch einem Arzt abnimmt geschweige denn Behandlungspflichten aus dem Verhältnis.

00:10:45: Würde es denn reichen, wenn man im Wartezimmer einen Aushand macht?

00:10:49: Wir benutzen dafür und dafür KI.

00:10:52: Ja das kann man machen.

00:10:54: Das ist sicherlich kein Fehler weil das ergänzend auf jeden Fall schon mal wie schon erwähnt so ein generischen Hinweis setzt wie auch im Impressum.

00:11:02: aber es würde eben nicht reichen weil es sozusagen nicht konkret genug ist.

00:11:07: Also wir müssen für die konkrete Interaktion diese Aufklärung haben.

00:11:12: Und wenn Sie jetzt im Wartezimmer, das käme so ein bisschen auf die Formulierung an müsste man sich anschauen, generisch diesen Hinweis geben könnte man sagen dass es vielleicht nicht konkret genug ist in Bezug auf die konkrete Verwendung.

00:11:27: dann also wenn sie im Wartezimmer sowas aufhängen als Ergänzung sicherlich nicht verkehrt ist auch nicht versteckt, weil da sitzt der Patient ja in der Regel und er sollte erst auch zur Kenntnis nehmen können.

00:11:38: Aber gerade jetzt zum Beispiel bei KI generierten Bildern oder Videos, da sollte die Kennzeichnung direkt am jeweiligen Inhalt stehen Und das im Wartezimmer kann ergänzend sinnvoll sein.

00:11:49: Ich würde aber dazu beraten, dass nicht alleine so zu tun.

00:11:53: Das gilt wahrscheinlich dann auch für KI-Tools, die bei der Diagnose unterstützen oder bei der Bildanalyse muss ich dann auch den Patienten da immer darauf hinweisen dass sich diese Werkzeuge benutzen.

00:12:06: Das ist tatsächlich auch eine Frage der Aufklärung.

00:12:09: Auch hier ist der Hinweis wichtig allerdings wieder unter dem Vorbehalt was nicht der Eindruck entsteht das tatsächlich die KI des Ergebnisses diktiert ja und das ja als Unterstützung eingesetzt.

00:12:23: für diesen Hinweis kann man gut auch in einem Aufklärungsbogen einsetzen.

00:12:28: Das ist ja üblich mit Aufklärungbögen zu arbeiten, die auch im jeweiligen Aufkläringsgespräch dann nochmal leicht konkretisiert werden.

00:12:36: Da würde dieser Hinweis genügend dass sie es verwenden.

00:12:39: aber wie gesagt es darf auf keinen Fall der Eindruck entstehen und deswegen muss man da sensibel kommunizieren das die letzte Verantwortung irgendwie an die KI delegiert wird was natürlich nicht geht weil wir schon mehrfach gesagt die letzte verantwortung beim Behandler bleibt und auch die Haftung natürlich keineswegs irgendwie auf die KI abgeweist werden kann.

00:12:59: Wie sieht es denn aus, wenn ich mir überlege wie kann man sich das in der Arztpraxis eigentlich am einfachsten machen?

00:13:06: Reicht es zum Beispiel dann aus dass man am Anfang einer Behandlung wenn der Patient nur in die Praxis kommt ihn ein Einwilligungsformular vorlegt auf dem dann auch erklärt wird man benutzt unter Umständen KI-Tools und wendet diese auch an dass er dann der Patient dann diese Sachen unterschreibt und dadurch schon aufgeklärt ist, oder müsste ich dann trotzdem jedes Mal wieder ihn darauf hinweisen.

00:13:31: Also jetzt benutze ich das KI-Tool.

00:13:36: Also man müsste natürlich immer schauen, was hat man jetzt für einen Fall?

00:13:39: und auch so ein Aufklärungsbogen.

00:13:41: Auch den sollte man im besten Fall nicht selber schreiben sondern da sollte man sich professionellen Rat holen.

00:13:47: es gibt ja auch von verschiedenen Anbietern vorformulierte Aufklärung Bögen die auch soweit schon sind dass sie diese Hinweise beinhalten.

00:13:55: aber dafür ist der Bogen dar wie Sie sagen das man sich das Ganze etwas einfacher macht und nicht jedes Mal wieder dieselben Informationen geben muss.

00:14:03: also das kann man sicher in so einem Aufklärungsbogen.

00:14:07: einmal für alle Fälle aufnehmen und dann außer es gäbe einen besonderen Anlass im Aufklärungsgespräch noch mal gesondert darauf einzugehen.

00:14:16: Und da ist auch wieder die Formel die invasiver, die Maßnahmen also jetzt mit diagnostischer Auswertung beispielsweise von Röntgenbildern oder ähnlichem.

00:14:25: Da würde auch dieser Hinweis ausreichen.

00:14:27: wenn das aber irgendwie im Aufklärungsgesprüchen Thema wäre oder wenn es natürlich auch von Patientenseiten Seite nochmal nachgefragt würde, dann sollte man sich die Zeit nehmen Da auch noch mal darauf einzugehen und vor allen Dingen, was jetzt schon mehrfach gesagt wurde nochmal betonen.

00:14:42: Dass das lediglich ein Werkzeug ist und auf gar keinen Fall den Behandler ersetzt.

00:14:47: Noch einmal eine Rückfrage!

00:14:48: Es sind ja diese Gesprächsaufzeichnungen mittlerweile ja schon sehr verbreitet in den Praxen wo KI dann natürlich nachher die Gespräche zusammenfasst.

00:14:59: Wurde es da auch so ein Anwilligungsbogen reichen, dass ich dann nicht nachher jedes Mal wieder bei jedem Gespräch mit dem Patienten darauf hinweisen müsste?

00:15:08: Dass auch hier die KI sozusagen mithört.

00:15:11: Tatsächlich ja!

00:15:13: Also ich würde auch sagen man muss das jetzt nicht in jedem einzelnen Gespräch nochmal explizit sich freieben lassen.

00:15:20: Die Frage ist halt wie lange gilt denn so eine Aufklärung?

00:15:23: also wie lange weiß denn der Patient noch dass er mal eingewilligt hat in das Aufzeichnen, insbesondere vor dem Hintergrund.

00:15:32: Dass diese Einwilligung ja auch jederzeit frei wiederruflich sein muss.

00:15:36: Also dass der Patient natürlich jederzeit auch das Recht dazu sagen will ist eben nicht mehr.

00:15:40: Da muss man auch so ein bisschen auf Sicht fahren.

00:15:42: und wie man es auch sonst von der Aufklärung jetzt im Behandlungssetting kennt, gibt's ja so als Faustformel irgendwie die sechs Monatsgrenze.

00:15:51: Weil man einfach sagt das menschliche Erinnerungsvermögen verplast logischerweise... Und ich gehe mal davon aus, dass man nach sechs Monaten wenn man jetzt nicht regelmäßig dort in Behandlung ist vielleicht nicht mehr weiß.

00:16:04: Dass man da in diese Gesprächsaufzeichnung eingewilligt hatte das man es vielleicht dann nach einer gewissen Zeit einfach nochmal wieder anspricht und das auffrischt und sich das möglicherweise noch einmal mündlich einholt die Zustimmung dass sich daran nichts geändert hat das weiterhin aufgezeichnet wird oder wenn man ganz sicher sein möchte, sogar das nochmal dokumentiert.

00:16:22: Dass man es noch mal aufgefrischt hat sozusagen weil sie ja immer davon ausgehen müssen dass auch wenn Sie einmal die Einwilligung bekommen haben, die natürlich jederzeit für die Zukunft dann wiederruflich ist also da gibt's tatsächlich gesetzlich keine starren Vorgaben.

00:16:39: Da ist einfach so ein bisschen die Frage was in dem Spannungsfeld zwischen überbordender Bürokratie und andererseits noch Zeit für den Patienten.

00:16:50: Was ist da sinnvoll, würde ich zu so einem Mittelweg tendieren?

00:16:54: Dass man dann nach einer gewissen Zeit, also beispielsweise Zäsur von sechs Monaten Patient werden nicht mehr da nochmal darauf hinweist wie das mitgeschrieben oder aufgezeichnet wird was in dem Raum gesprochen wird.

00:17:05: Man

00:17:05: sind ja viele Praxen mittlerweile auch in den sozialen Medien unterwegs auf Instagram oder LinkedIn oder Facebook.

00:17:15: Was gilt denn da, wenn ich KI generierte Texte und Bilder verwende?

00:17:20: Also tatsächlich ist es so dass wir ja jetzt primär über die KI-Verordnung sprechen.

00:17:24: Und für die gilt egal, wo sie Dinge publizieren, die jetzt ganz aktuell natürlich die Transparenzpflicht und die Kennzeichnung wie Sie diese Inhalte generiert haben.

00:17:36: Unabhängig davon muss man natürlich schauen, wer man jetzt als Arzt irgendwie in also... Sie kennen sicherlich den Begriff Medfluencer, das ist ja ein ganz interessantes und spannendes neues Feld.

00:17:48: Wenn man da aktiviert muss man noch viel mehr regulatorische Rahmenbedingungen beachten also unter anderem das HWG des Heilmittelrechts, des Berufsrecht

00:17:59: usw.,

00:17:59: was wir jetzt hier in dem Setting nicht alles streifen können.

00:18:02: aber da ist tatsächlich die KI Kennzeichnungspflicht eine von vielen Dingen die man regulatorisch im Blick haben muss Und das ist eben genauso, als würden Sie auf Ihrer Homepage auch was Veröffentlichen wieder alles zu kennzeichnen.

00:18:16: Was eben mit KI erstellt wurde.

00:18:18: vielleicht da noch ein Hinweis weil es oft gesagt wird die KI-Verordnung selbst schreibt eigentlich nur vor dass für Bilder und Texte die irgendwie Öffentlichkeitsbezug haben diese Kennzeichnungspflicht gilt Und insbesondere natürlich Deepfakes, und da ist auch oft ein Missverständnis wahrzunehmen oder festzustellen was eigentlich ein Deepfake ist.

00:18:43: Da geht es eigentlich im Prinzip darum dass das Texte beziehungsweise in dem Fall Bilder sind.

00:18:49: Grafiken die zwei Kriterien gleichzeitig erfüllen müssen nämlich einmal einen gewissen Realitätsbezug haben und zudem Enttäuschungspotenzial.

00:18:59: Und das ist eben ganz wichtig, dass man gerade da nochmal genau hinschaut.

00:19:03: Wenn man so was macht es wird möglicherweise auch mal in der Arztpraxis relevant, dass ein fiktiven Patienten in ein bestehendes Setting einbettet oder ähnliches.

00:19:14: Dass man da immer im Blick hat und einen Bereich deepfake unterwegs sein könnte weil der Inhalt so realistisch wirkt, dass er als echt durchgehen könnte.

00:19:24: Müssen Mitarbeiter jetzt extra dafür geschult werden?

00:19:27: Ja, und zwar nicht erst seit August.

00:19:30: Sondern tatsächlich schon seit Februar twenty-five gilt die KI Kompetenzpflicht für alle Mitarbeiter in der Praxis, die eben die KI beruflich einsetzen.

00:19:43: Und das ist aus meiner Sicht eine ganz relevante Pflicht, die auch noch mal letzten Endes klar macht.

00:19:49: Dass ja auch die KI-Verordnung davon ausgeht, dass die letzte Verantwortung bei Menschen bleiben.

00:19:55: Denn sonst bräuchten wir alle diese AI Literacy oder KI Kompetenz nicht – diese notwendigen Kompetenzen um eben eine fundierte Entscheidung über KI-Lysteme treffen zu können und beispielsweise auch erkennen zu können wenn eine KI haluziniert oder wenn es möglicherweise ein Diskriminierungsthema wird, also Stichwort Bayes.

00:20:17: Das alles sind Inhalte die im Zuge der Schulungskompetenz vermittelt werden sollen?

00:20:24: damit eben die betroffenen Personen das notwendige Wissen haben, um auch zu verstehen wie die KI arbeitet.

00:20:32: Also bestmöglich natürlich zu verstehen wobei es ja in vielen Teilen noch immer den berühmten Black Box Effekt gibt dass man nicht sicher sagen kann wie ist tatsächlich dann zu dem Ergebnis gekommen ist.

00:20:44: aber das ist eben ganz wichtig dass in der KI Wertschöpfungskette alle Kenntnisse vermittelt werden und das entsprechend auch nachgehalten wird.

00:20:54: verantwortungsvolle Umgang mit KI in der Praxis verlangt.

00:20:58: Und vielleicht noch ein Hinweis auf diese Schulung... Gehe ja davon aus, dass die meisten das schon gemacht haben.

00:21:05: Wenn nicht dann unbedingt?

00:21:07: Denn wie gesagt, die Pflicht gilt ja schon seit Februar fünfundzwanzig und auch hier muss man halt dazusagen ist es wieder ein Dokumentationsthema zum Nachweisen und sollte dann entsprechend auf dokumentieren, dass es Schulungen gegeben hat wer teilgenommen hat vielleicht in groben Zügen was das Curriculum war oder welchen Anbieter man dafür hinzugezogen hat.

00:21:27: Natürlich ist das, was auch gelebt werden soll.

00:21:31: Also nicht nur für die Schublade und Haken dran sondern diese Schulungen sollten wiederholt werden zumindest anlassbezogen also wenn es wesentliche Änderungen des verwendeten Systems gibt.

00:21:44: Es gibt ja hin und wieder wichtige Updates.

00:21:46: Und da müsste man die Mitarbeiter dann gegebenenfalls nachschulen, so weil man hier auch klar sagen muss nicht jede Schulung ist jetzt für jeden Mitarbeiter mit gleichem Inhalt sinnvoll sondern dann müsste man eben auch nochmal in der Praxis schauen wer hat welche Verantwortung wer arbeitet mit welchen Formen von Krain zusammen und dann eben noch mal abschichten welche Schulungsinhalte dann für die jeweiligen Mitarbeiter auch wirklich sinnvoll werden im täglichen Praxisaalter.

00:22:12: Was passiert dann, wenn ich diese Pflichten alle nicht beachte?

00:22:16: Drohen da ein Strafen und wer kontrolliert das eigentlich.

00:22:20: Also es drohen Straßen und die Folgen hängen tatsächlich wie immer von der Art des Verstoßes ab.

00:22:26: also das geht gestaffelt vor von jetzt tatsächlich behördlichen Anordnungen, die eben möglicherweise die Nutzung einschränken oder die Nuzung untersagen.

00:22:37: Bis hin im schlimmsten Fall zu berufsrechtlichen Konsequenzen oder gar eine Aftung wirklicherweise gegenüber den Patienten wenn es da zunach klargekäme.

00:22:46: im tv-rechtlichen Bereich.

00:22:48: und in Deutschland gibt es einen Umsetzungsgesetz das sogenannte KI Marktüberwachungs- und Innovationsförderungsgesetz.

00:22:56: Schwieriges Wort!

00:22:57: dass eben eigene Bußgeldvorschriften als Ergänzung zu der KI-Verordnung enthält.

00:23:04: Und da gibt es, will ich es keine Angst machen, aber da gibt das für bestimmte Betreiberverstöße Geldbußen bis zu fünfzigtausend Euro.

00:23:13: und was man auch nicht vergessen darf ist natürlich, dass daneben immer weiterhin die DSGVO, also die bekannte Datenschutzgrundverordnung besteht.

00:23:22: Die ja deutlich höhere Sanktionen auslösen kann und verschlüsse dagegen natürlich unabhängig von dem KI-Thema weiter verfolgt werden können.

00:23:33: Und das betrifft eben auch Fälle in denen Patientendaten unkontrolliert in frei zugängliche KI-Dienste eingegeben werden.

00:23:41: Stichwort Schattenkai, aber das ist ja nicht unser Thema.

00:23:44: Aber man darf trotzdem nicht vergessen die Datenschutzrundverordnung mit ihrem eigenen Sanktionsapparat gilt nebenher weiter.

00:23:54: Es

00:23:54: sind damit zu rechnen dass sich Anwälte was ja in der Vergangenheit bei neuen Pflichten immer sehr beliebt war dann auf eine Klagewelle einschwingen.

00:24:03: also es gibt ja mal diese Anwältete die dann Tausendfach Abmahnungen schreiben an irgendwelche Firmen oder Prexen.

00:24:13: Ist das auch ein gewisses Risiko, was da lauern könnte?

00:24:16: Also das ist auf jeden Fall möglich.

00:24:19: Ich kann jetzt nicht immer für die ganze Zunft sprechen aber überall wo es Lücken gibt in die man reingehen kann.

00:24:26: Das lehrt die Erfahrung wird auch dann möglicherweise als Art Geschäftsmodell des Betrieben und da sollte man keine Angst schüren, aber dass es auf jeden fall mögen und es gibt's auch schon wie es das immer gibt oder ein neues Gesetz kommt mit neuen Pflichten dazu gekommen sind, ihre Inhalte jetzt zu aktualisieren und damit ein Geschäft gemacht wird.

00:24:49: Ja also das ist auf gar keinen Fall zu unterschätzen.

00:24:53: umso mehr einen Grund spätestens jetzt anzufangen.

00:24:57: Was ich mich gefragt habe bei der Verordnung Sie gilt ja erst mal für Dinge die selber produziere mit KI?

00:25:05: Aber was ist denn, wenn ihr zum Beispiel ein Patient zu mir in die Praxis kommt und eine KI-Diagnose dabei hat?

00:25:11: Und ich dann die Prafe meine Dokumentation aufnehme.

00:25:16: Und das nachher in irgendeiner Weise auch verwerte muss ich dann auch wieder darauf hinweisen dass diese Patienten Dokumentations auf KI passiert?

00:25:27: Also, das ist zu überlegen.

00:25:29: Das ist tatsächlich eine Frage die wir viel hören aus der Praxis weil natürlich immer mehr Patienten auch mit dem eigenen KI-Befund kommen.

00:25:36: also es gibt grundsätzlich erst mal keine Pflicht das irgendwie zur Akte zunehmen.

00:25:41: und was manche machen so ein Hinweis nicht validiert oder nicht geprüft damit lehnen sie ja im Zweifel irgendwie die Akte auf.

00:25:48: Ja, die Frage ist ja eigentlich vielmehr auch wieder den Spagat hinzubekommen zwischen dem ich neben den Patienten ernst Sie hat sicher im Vorfeld auch die Mühe gemacht, da was zu recherchieren.

00:25:59: Und das Ganze zu ignorieren ist allein schon aus Gründen des Vertrauens und der Arztkazentenkommunikationen sicherlich nicht zielführend.

00:26:06: Man sollte aber sehr klar schon erstgespräch oder beeinbringen eines solchen Karibepfunts schon klarmachen, dass man dann das gerne anhört, aber dass der Arz die Therapiewokalt behält und dass es höchstens ergänzend eingesetzt werden kann, dass man sich darauf nicht verlässt.

00:26:28: Insofern das ist eine gute Frage nämlich jetzt zur Akte.

00:26:31: also es bringt keinen Mehrwert weil sie natürlich am Ende selbst wieder für ihre Diagnostik, für ihre Therapie, für die Befundeerhebung auch für die Dokumentation des Ganzen verantwortlich sind aber um sozusagen den Patienten an der Stelle nicht zu verlieren macht es Sinn das auf jeden Fall im Gespräch... Also Einbringen zu lassen und vielleicht dann aufgrund ihrer eigenen Wahrnehmung sich ein Bild zu machen, ob es diesen Vorbefund braucht.

00:27:03: Ob man den seinen eigenen Auswertungen und Befunderhebungen irgendeiner von zugrunde legen möchte das auch noch mein Thema ist.

00:27:12: Sie wissen ja gar nicht und es würde auch jedes Maß sprengen, welche KI der Patient bemüht hat was da gepromptet wurde etc.

00:27:20: Und ich meine manche Patienten kommen da ja mit zwei Hundert Seiten vorbefunden denen sie dann noch am besten schnell eben mal überfliegen sollen.

00:27:28: das ist ja nicht leistbar.

00:27:30: insofern kann man vielleicht in groben Zügen das einbauen.

00:27:33: Es muss aber irgendwo einen Mittelweg geben und immer ganz klar unter der Prämisse dass die Diagnostik ärztliche Domäne sind und da auch die Verantwortung liegt.

00:27:44: Und das muss auch der Patient verstehen, also in der Worst Case-Varia-Patient bringt einen KI generierten Vorbefund mit und man einigt sich darauf dass es so passt.

00:27:54: Das kann ja nicht sein.

00:27:55: gleichwohl wenn wir den Patienten ja nicht verlieren oder könnten möglicherweise Anhaltspunkte für weitere Fragen, für weitere Abklärung, differenzial diagnostische Anamnese sein.

00:28:05: So würde ich das werten wollen!

00:28:07: Für fremde KI-Inhalte muss ich dann also keine Verantwortung übernehmen.

00:28:13: Das würde ja voraussetzen, dass ich das zur Akte nehme... Und davon würde ich eben schon abraten.

00:28:19: Also, das ist ja so mal eine Frage wie genau der Fall liegt was der Patient also möglicherweise welche Fahrtrichtung aber vor allen Dingen auch wie invasiv jetzt die Erkrankungen oder die Behandlung dann wäre?

00:28:33: Aber ich würde eigentlich eher davon abstellen sowas zu Akten zunehmen sondern mir mein eigenes Bild machen und das allemal im Gespräch mit dem Patienten.

00:28:41: denn wenn sie es zur Akte haben, gründlich prüfen, dann kommen Sie in solche Folgefragen rein.

00:28:50: Wie treibe ich dafür die Verantwortung bzw.

00:28:53: habe ich mir Inhalte zu Eigen gemacht?

00:28:56: Wo wir vielleicht wieder im Bereich des Urheberrechts unterwegs sind wenn es eben doch nicht rein KI generiert ist?

00:29:02: Also ich wäre da sehr zurückhaltend, muss ich sagen.

00:29:06: Was das sich zu eigen machen von fremd Material angeht?

00:29:11: Wenn es von einem Kollegen oder einer Kollegin kommt ist ja sowieso alles klar.

00:29:15: aber was der Patient sich im Vorfeld selbst erstellt hat soll man auf jeden Fall ernst nehmen und Werten in die Akte aufnehmen.

00:29:22: Das kann ja der Patient in seiner EPA möglicherweise für sich machen Aber jedenfalls nicht autorisiert durch sie als Behandler.

00:29:30: Frau Gockel, was raten Sie Praxen?

00:29:32: Wie Sie jetzt am besten vorgehen mit diesen ganzen Pflichten die sie jetzt ja momentan haben.

00:29:37: Würden Sie dazu raten erst mal zu gucken, was benutze ich eigentlich alles für KI und auf welchem Plattform benutze sich das und wie kläre ich dann meine Patienten darüber auf?

00:29:48: Also wir würden dringend dazu ratEN Jetzt spätestens anlässlich des zweiten achten so eine Art KI-Inventur durchzuführen, also eine vollständige KI-Bestandsaufnahme der Praxis.

00:30:03: Wo man ganz klar einmal schaut was wird überhaupt eingesetzt?

00:30:09: Ist es überhaupt KI wäre ja nochmal die Vorfrage, also was wird benutzt und vor allen Dingen zu welcher Funktion.

00:30:17: Also welche Anwendung wird wofür eingesetzt und in dem nächsten Schritt, welche Daten werden in der jeweiligen Anwendungen verarbeitet?

00:30:26: Das sind ja im Praxissetting jetzt überwiegend Gesundheitsdaten so dass das da dann in einem Dorf folgende nächsten Schritt eine Einteilung in Risikokategorien sinnvoll wäre, so wie wir das der Eingangs angesprochen haben von einfacher, also niedriges Risikoanwendungen beispielsweise nur administrative Unterstützung.

00:30:53: oder ich bastle mir mit ChatGPT einen Text für meine Homepage über den Chatbot, der direkt die Kommunikation mit dem Patienten geht.

00:31:03: Wo wir dann wieder die Kennzeichnungspflicht, insbesondere haben und auch die Kontrollpflicht natürlich was da kommuniziert wird bis hin zu höher Risiko belasteten Anwendungen.

00:31:16: Insbesondere im Bereich der medizinischen Entscheidungsunterstützung.

00:31:19: Und wenn es weiter geht Richtung Medizinprodukt das Thema Medizin Produkte Recht und hohe Risiko KI, da wird ja nächstes Jahr und übernächstes Jahr mit dem Annex III und dem AnneX II der Verordnung nochmal einiges auf uns zukommen.

00:31:36: Also dass man dann bisschen schon vorausschauend unterwegs ist diese Risikokategorien erstmal clustered für sich Eintalten Überblick bekommt so genannte KI-Inventur und dann entsprechend natürlich auch die Risiken im Blick hat.

00:31:54: Man sollte auch als Praxis jetzt natürlich nicht sofort ein riesigen Compliance-Apparat aufbauen, aber man sollte idealerweise eine interne KI-Nutzungsrichtlinie anlegen, wo zum Beispiel für die Mitarbeiter so was geregelt ist wie private Nutzung von KI.

00:32:17: Also, dass das eben geregelt wird beziehungsweise verboten wird.

00:32:20: Wir haben ja schon das Stichwort Schatten KI, das auch in aller Munde ist angesprochen und dann natürlich die Dokumentation über die KI-Schulungen, die wir vorhin angesprochen haben gutführen.

00:32:31: Und da sich jetzt sozusagen einmal den Bestand zu analysieren und jetzt tatsächlich spätestens anzufangen das Thema umzusetzen.

00:32:43: Dann wie wir gesagt haben eventuell eine Einwilligungserklärung dann darauf hinweisen, dass verschiedene KI-Systeme genutzt werden.

00:32:52: Sehr schön!

00:32:53: Genau den Punkt hat ich vergessen, wenn Sie dann Ihre ganzen Dokumente alles was sozusagen auch an Einwilligungstexten und sonstigen Informationen, wenn da also der Review erfolgt das man da nochmal drüber geht und schaut passt es noch?

00:33:05: Das ist jetzt ja vielleicht auch ein schöner Anlass, dass man da unbedingt nochmal bei den Einwillighungstexten schaut wo habe ich da nochmal den Hinweis die Gespräche aufgezeichnet werden, ergänzen zu dem was wir gesagt hatten.

00:33:18: Dass man irgendwo vielleicht noch mal einen allgemeinen generischen Hinweis im Wartezimmer hat und dass man überall am richtigen Ort auch die richtigen Hinweise selbst in der richtigen Form.

00:33:29: dann was sie angesprochen haben das ist das Follow-up.

00:33:32: also wann müsste ich wenn nicht einmal im Einwilligungsbogen hatte vor zwei Jahren vielleicht nochmal darauf hinweisen Genau so ist wie früher, dass wir aufzeichnen.

00:33:42: Dass man da auch mindestens einmal im Jahr drüber schaut ob die Sachen noch passen und ansonsten wie schon angesprochen Anlass bezogen wenn jetzt neue Updates kommen neue Funktion dann immer dies auch zum Anlass nimmt nochmal über die jeweilige Nutzung darüber zu schauen.

00:33:59: das wäre ein wichtiger Punkt.

00:34:01: was ich vielleicht Abschließend dazu noch sagen will, diese KI-Inventur die man jetzt dann vor sich hat wenn man sie noch nicht angefangen hat ist.

00:34:10: Natürlich Arbeit, aber es ist wirklich auch eine große Chance sich modern aufzustellen als Praxis.

00:34:17: Sich rechtskonform sowieso zu verhalten Aber wirklich tatsächlich da auch mit der Zeit zu gehen, sich dann auch nochmal vielleicht die alten Einwilligungstexte zu ziehen und einmal so einen Rundumschlag sozusagen zu machen dass man sich da gut aufstellt Denn die Chancen der KI liegen ganz klar auf der Hand Und das sie recht sicher eingesetzt werden muss ist klar.

00:34:39: Die KI-Verordnung ist auch keine Verhinderungsverordnung, die irgendwie allen Angst machen soll und alle einschränken will.

00:34:46: Sondern das ergibt sich auch aus den Erwägungskründen der Verordnung.

00:34:50: Die will diesen Einsatz von KI ganz klar fördern und das Innovationspotenzial auch von KI klar unterstützen.

00:35:00: Und dass ist jetzt eigentlich eine gute Gelegenheit da auf dieser Welle mitzuschwimmen, auch wenn es sich vielleicht erstmal so wie ein bisschen zwang anfühlt, dass man jetzt da nochmal mühevoll alles durchforsten muss und schauen muss wo man steht.

00:35:12: Das war ein schönes Schlusswort Frau Gockel.

00:35:15: Ich bedanke mich recht herzlich für die Einordnung der KI-Verordnung.

00:35:19: Vielen Dank für das Gespräch.

00:35:21: Ja, vielen Dank auch Ihnen!