KI-Anwendungen rechtssicher einsetzen - Teil 3

Die Integration von KI in die Unternehmensstrategie bietet große Chancen, birgt aber
auch Herausforderungen an Compliance und Regulatorik. Die rechtssichere Integration von
KI in die Unternehmensstrategie ist kein Luxus, sondern eine juristische Notwendigkeit, denn
in vielen Fällen drohen bei Nichtbeachtung drakonische Strafen. 
Bei den Verantwortlichen für KI-Systeme erzeugen die Fragen zu Compliance und
Regulatorik daher eher ungute Gefühle. Wer ist sich schon sicher, an alles gedacht zu haben?
Sind die richtigen Maßnahmen getroffen worden, um die nötigen Rahmenbedingungen zum
sicheren Betrieb von KI-Systemen zu schaffen und den Regelungen zu genügen?

Dieser Beitrag ist Teil III der gemeinsamen Blog-Serie der internationalen Großkanzlei CMS und viadee. Wir beleuchten darin ein erstes Praxisbeispiel und die besonderen Herausforderungen, welche der Einsatz von KI mit sich bringt.

Wir zeigen insbesondere in unserem kostenlosen Webinar mit CMS weitere Anwendungsbeispiele auf.

Anwendungsfall Chatbot

In diesem fiktiven auf der Praxis basierenden Anwendungsfall wird ein KI-System als interner Chatbot eingesetzt, etwa für interne Zwecke oder zum Zwecke der Erbringung von Leistungen im IT- Kundensupport. Bei Chatbots stehen Vorgaben der KI-VO sowie des Datenschutzrechts im Mittelpunkt:

• Es muss geklärt werden, ob der Kunde als „Anbieter“ oder lediglich als „Betreiber“ der KI-Lösung fungieren würde. Diese Unterscheidung ist von entscheidender Bedeutung, da eine Einstufung als "Anbieter" deutlich weitgehendere regulatorische Pflichten des Kunden aus der KI-VO auslöst. Für die Einstufung spielt nicht nur die konkrete technische Umsetzung des KI-Systems eine Rolle – z.B. auch mit Blick auf eine etwaige Einbindung eines LLMs –, sondern auch, ob das KI-System so tief in die bestehende Infrastruktur des Unternehmens integriert wird, dass keine Rückschlüsse auf die Entwicklung durch einen Dritten mehr möglich sind. Bereits in der Frühphase, insbesondere bei der Auswahl des KI-Modells, sollten hier wohlüberlegte Entscheidungen getroffen werden, die es ggf. ermöglichen, eine Einstufung als Anbieter zu vermeiden und regulatorische Anforderungen gezielt zu minimieren.
  
  
• Es stellt sich ferner die Frage, ob es sich bei dem Chatbot um Hochrisiko-KI-System handelt. Sollte der Chatbot im Wesentlichen etwa im Bereich des Kundesupports eingesetzt werden, wird er in der Regel nicht in einer riskanten Weise mit personenbezogenen Daten agieren oder Auswirkungen auf besonders sensible Bereiche haben, sodass es sich regelmäßig nicht um Hochrisiko-KI-Systeme handelt. Gleichwohl sollte stets geprüft werden, ob der Chatbot nicht Entscheidungen in einem der in Art. 6 sowie Anhang III KI-VO genannten Bereiche trifft.
  
  

• Datenschutzrechtlich ist zunächst sicherzustellen, dass die Datenverarbeitung auf einer auf einer gültigen Rechtsgrundlage beruht und allgemeine Datenschutzprinzipien beachtet werden. Regelmäßig dürfte die Verarbeitung zur Erfüllung eines Vertrages oder zur Durchführung vorvertraglicher Maßnahmen erfolgen und damit rechtmäßig sein. Bei komplexeren Chatbots, die personenbezogenen Daten als Kontextdaten der Beantwortung der Fragen zugrunde legen, kann es aber auch erforderlich sein, auf das berechtigte Interesse oder eine Einwilligung des Betroffenen zurückzugreifen.

Unterstellt, dass (i) der Chatbot nicht als Hochrisiko-KI eingestuft wird, (ii) der Kunde lediglich als Betreiber (und nicht als Anbieter) agiert und (iii) eine Umsetzung der Lösung aus datenschutzrechtlicher Sicht als grundsätzlich möglich angesehen wird, sollten im Kontext der Entwicklung und des Rollouts u.a. im Folgenden umrissenen rechtlichen Anforderungen umgesetzt werden.

• Jedenfalls bei nicht rein internen Chatbots ist aus rechtlicher Sicht zu berücksichtigen, inwieweit die Aussagen des Chatbots dem einsetzenden Unternehmen zugerechnet werden können. Es ist zudem zu prüfen, ob bei falschen Aussagen – insbesondere auch ausgehend von dem konkreten Verwendungszweck – zivilrechtliche Schadensersatzansprüche (etwa von Kunden, die auf die Aussagen des Chatbots vertraut haben) gegen das den Chatbot betreibende Unternehmen in Betracht kommen können. International am meisten Aufmerksamkeit erregt hat insofern sicherlich der Fall Moffatt vs. Air Canada: In diesem Fall wurde die Fluggesellschaft haftbar gemacht, weil ihr KI-gestützter Chatbot fehlerhafte Informationen zu Rückerstattungen gab – das Gericht entschied, dass Aussagen des Chatbots wie von einem menschlichen Vertreter zu behandeln seien. Aber auch in Deutschland gibt es erste Fälle: So hat das LG Kiel entschieden, dass ein Unternehmen für fehlerhafte KI-generierte Inhalte haftet, wenn diese ohne ausreichende menschliche Kontrolle veröffentlicht werden.
  
  
• Die hieraus resultierenden (rechtlichen) Risiken lassen sich ggf. durch explizite (und ggf. auch technisch hinterlegte) Beschränkungen des Einsatzzweckes oder deutliche Disclaimer, die auf die Möglichkeit falscher Aussagen und Halluzinationen hinweisen, reduzieren. Hat die KI einen begrenzten Informationsstand, sollte auch hierauf explizit hingewiesen werden. Zudem kann es empfehlenswert sein, einen menschlichen Ansprechpartner vorzuhalten, der kontaktiert werden oder sich proaktiv einschalten kann. Aus technischer Sicht sollte von Beginn darauf geachtet werden, die benötigten Front-Ends bzw. passende Pop-ups von Beginn an so zu entwickeln und zu gestalten, dass die rechtlichen Hinweise auf relevante Art und Weise untergebracht werden können. Insofern gilt dann (wahrscheinlich) wie so oft: Je prominenter und deutlicher die Hinweise untergebracht werden, desto besser ist dies aus rechtlicher Sicht (und desto schlechter aus UX-Sicht).

Unterstellt, dass der Kunde abweichend zu (ii) als Anbieter (und nicht als Betreiber) agiert, treffen ihn z.B. folgende zusätzliche Pflichten:

• Anbieter von KI-Systemen, die für eine direkte Interaktion mit natürlichen Personen bestimmt sind, müssen nach Art. 50 KI-VO sicherstellen, dass die KI-Systeme so konzipiert und entwickelt werden, dass die betreffenden natürlichen Personen darüber informiert werden, dass sie mit einem KI-System interagieren, wenn dies für den Endnutzer nicht offensichtlich ist. Diese Information muss spätestens zum Zeitpunkt der ersten Interaktion oder Exposition in klarer und erkennbarer Weise zur Verfügung gestellt werden. Chatbots bauen in der Regel auf einer Interaktionsmöglichkeit der Nutzer auf, sodass der Anbieter einen entsprechenden Hinweis (in der ersten Nachricht des Chatbots oder einen allgemeinen, stets sichtbaren Warnhinweis) vorsehen muss.
  
  
• Ist das KI-System darüber hinaus auch in der Lage, synthetische Audio-, Bild-, Video- oder Textinhalte zu erzeugen, kommen weitere Anforderungen auf den Anbieter zu: Denn dieser hat nach Art. 50 KI-VO sicherzustellen, dass die Ausgaben des KI-Systems in einem maschinenlesbaren Format gekennzeichnet sind und als künstlich erzeugt oder manipuliert erkannt werden können.
  
  

Hier finden Sie die anderen Teile unserer Blogreihe:

• KI-Anwendungen rechtssicher einsetzen - Teil 1

• KI-Anwendungen rechtssicher einsetzen - Teil 2

Ansprechpartner

Thorsten Hemme ist Experte für IT-Recht und Digital Business. Zu den Schwerpunkten seiner Tätigkeit gehört die Gestaltung von IT-Verträgen aller Art, u.a. Softwareentwicklungs-, Integrations-/Implementierungs-, Cloud-/SaaS- sowie (sonstige) IT-Outsourcing-Verträge. Als IT-Rechtsexperte war Thorsten Hemme an zahlreichen komplexen und großvolumigen IT-Projekten beteiligt und verfügt daher über umfassende Erfahrung über die besonderen Herausforderungen solcher Projekte .

Dirk Langheim ist beratender Manager bei der viadee IT-Unternehmensberatung und unterstützt Kunden bei organisatorischen und strategischen Themen mit den Schwerpunkten Product Ownership und agile Skalierung. Er berät Kunden bei der Einführung von Innovationmanagementsystemen und ist seit über 25 Jahren in verschiedenen Rollen in der IT unterwegs.

Wenn Sie an weiteren Formaten zu diesem Thema interessiert sind, melden sich gerne bei unserem Webinar dem gleichnamigen Titel „KI-Anwendungen rechtssicher einsetzen“ an, in dem weiter auf dieses Thema eingegangen wird.

Hat man die rechtliche Seite sicher im Griff, bieten KI-Systeme insbesondere große Chancen.
Anregungen dazu finden sie in unserem Blogpost und das gleiche Thema adressieren wir im Webinar "Künstliche Intelligenz im Unternehmen: Praxisnahe Use Cases für messbaren Business Value".

Sie benötigen eine individuelle Einschätzung der Rechtslage zum Einsatz Ihrer gekauften oder
selbst entwickelten KI-Systeme? Sie wollen sicherstellen, dass Ihre Ausgangsdaten und Ihr
KI-System möglichst Bias-frei ist? Sie fragen sich, wie Sie organisatorisch und technisch ein
angemessenes Risikomanagement umsetzen können?
Wenn Sie solche oder ähnliche individuelle Fragen zu Rechtsthemen und/oder der Umsetzung
von Compliance Maßnahmen für KI-Anwendungen haben, melden Sie sich gerne bei unserem
Partner CMS, oder bei uns, der viadee. Die Autoren dieses Blog-Posts (Thorsten Hemme von
CMS und Dirk Langheim von der viadee) freuen sich über Ihre Kontaktaufnahme.

Dieser Blog stellt keine Rechtsberatung dar und ersetzt eine solche auch nicht. Wenden Sie
sich bei konkreten Rechtsfragen an einen Rechtsberater.