LLM Potenziale heben: Herausforderungen und Empfehlungen bei der Investitionsentscheidung

LLMs wie ChatGPT haben die Alltagstechnologie revolutioniert, aber welche Bedeutung haben sie für Unternehmen? In diesem Blogbeitrag werden methodisch die enormen Potenziale und komplexen Herausforderungen bei Investitionen in LLMs beleuchtet.
Basierend auf den Ergebnissen einer Masterarbeit werden Empfehlungen gegeben, wie fundierte Investitionsentscheidungen in einer dynamischen Technologielandschaft getroffen werden können, die zunehmend durch ethische Überlegungen geprägt ist. Insbesondere der EU AI Act stellt einen wichtigen Bezugspunkt dar, der Unternehmen dazu anregt, datenschutztechnische und ethische Standards in ihre Entscheidungsprozesse zu integrieren.

Potenziale von LLMs für Unternehmen strukturiert bewerten

Jeder hat schon mal von ChatGPT gehört, und viele haben das Large Language Model (LLM) bereits genutzt, um E-Mails zu generieren, Texte zusammenzufassen oder einfache Fragen im privaten Kontext zu beantworten. Auch Unternehmen entdecken zunehmend die Potenziale von LLMs für ihre Mitarbeiter:innen und Prozesse. Da LLMs sehr vielseitig sind, gibt es zahlreiche Anwendungsszenarien, von einem einfachen unternehmenseigenen „ChatGPT“ bis hin zu einem LLM, das Aufgaben löst, indem es auf unternehmensinterne Informationen, Datenbanken oder Prozessmodelle zugreift. Die Möglichkeiten sind unübersichtlich und der Nutzen oft vielschichtig und nicht sofort messbar. Dies stellt Unternehmer:innen vor schwierige Investitionsentscheidungen. Wie kann man eine Investition in LLMs bewerten und ihr Potenzial den Kosten gegenüberstellen? Welche Herausforderungen entstehen bei dieser Investitionsentscheidung?

Mit diesen Fragestellungen habe ich mich in meiner Masterarbeit beschäftigt und Antworten gefunden. Dieser Beitrag beschreibt die besonderen Eigenschaften von LLMs, die daraus resultierenden Herausforderungen für Investitionsentscheidungen und welche Empfehlungen für eine fundierte Investitionsbewertung in LLMs abgeleitet werden können.

Was macht die Investitionsentscheidung in LLMs so besonders und herausfordernd?

In meiner Masterarbeit habe ich eine reale Investitionsentscheidung in ein sogenanntes RAG-System untersucht, das ein LLM mit Skill-Profilen füttert, um neue Mitarbeiterpotenziale zu entdecken. Aus diesem Anwendungsfall ergaben sich einige wichtige Charakteristika, die wertvolle Erkenntnisse über Investitionen in LLMs liefern.

Besondere Eigenschaften und Herausforderungen bei LLM Investitionen

Eine zentrale Erkenntnis war, dass der Entscheidungsprozess keineswegs linear verlief, sondern vielmehr iterativ mit mehreren Schleifen gehandhabt wurde, sobald neue Erkenntnisse hinzukamen oder Herausforderungen adressiert wurden. Mit jeder Iteration wurden neue Risiken entdeckt und adressiert, Anwendungsfälle zugeschnitten und Stakeholder aus diversen Fachbereichen wie dem Datenschutz, dem Vertrieb oder Data Science als wertvolle Informationsträger konsultiert.

Eine klassische Kosten-Nutzen-Analyse zeigte beispielsweise die Schwierigkeit, den Nutzen des RAG-Systems in finanziellen Zahlen auszudrücken. Zwar lassen sich qualitative Vorteile wie schnellere Prozesse mit besseren Ergebnissen oder strategische Vorteile beschreiben, doch es ist schwierig, diese in monetäre Kennzahlen umzurechnen, da zu viele Variablen und Unbekannte vorhanden sind. Die Analyse zeigte auch, dass zukünftige Optionen eine interessante Eigenschaft der LLM-Investition darstellten. Es wurde argumentiert, dass aus einer einmal getätigten Investition viele neue, nützliche Optionen in der Zukunft resultieren könnten. Beispielsweise könnte man Potenziale und Entwicklungschancen von Mitarbeitern besser erkennen, das LLM-System zu einem neuen Produkt weiterentwickeln oder den Entscheidungsprozess mit LLMs beschleunigen.

Eine überraschende Erkenntnis war, wie viel Gewicht die Risikoanalyse im Entscheidungsprozess einnahm. Ethische Risiken wie die mögliche Benachteiligung von Mitarbeitenden und der Umgang mit personenbezogenen Daten sowie potenziellen Geschäftsgeheimnissen spielten mindestens eine ebenso große Rolle wie die Kosten-Nutzen Analyse.

Investition in LLMs mit altbewährten Investitionsmethoden bewerten?

LLMs können letztlich ähnlich wie andere Softwaresysteme, bspw. ERP-Systeme betrachtet werden. Daher stellt sich die Frage, ob man LLM-Investitionen mit traditionellen Investitionsmethoden bewerten kann.

Es gibt verschiedene traditionelle Methoden, die in vier Kategorien unterteilt werden können: quantitative finanzielle, quantitative multikriterielle, qualitative und fortgeschrittene Methoden. Zudem gibt es das Business Case Framework, das eine ganzheitliche Sammlung aller Informationen zur Investitionsentscheidung unterstützt.

Gruppen von klassischen Bewertungsmethoden für Informationssysteme

Bei der Anwendung dieser Methoden auf LLM-Investitionen stieß ich auf zahlreiche Herausforderungen. So lassen sich etwa die Vorteile einer solchen Investition nur schwer in monetären Werten quantifizieren, was die Anwendung quantitativer finanzieller Methoden nahezu unmöglich macht. Bei den quantitativen multikriteriellen Methoden ergeben sich ähnliche Schwierigkeiten, obwohl sie auch andere Bereiche außerhalb der finanziellen Perspektive berücksichtigen, wie Kunden, User, interne Prozesse und Lernen und Weiterentwicklung. Viele fortgeschrittene Methoden basieren auch weitgehend auf finanziell messbaren Kennzahlen, was ihre Anwendung ebenfalls erschwert und kompliziert macht.

Die qualitativen Methoden wie das CCP-Framework von Stockdale und Standing (2006) sind weitgehend anwendbar, weisen jedoch auch Defizite auf, da sie wichtige Aspekte wie ethische und datenschutzbezogene Risiken nicht adäquat adressieren und bewerten. Überraschenderweise zeigten sich ähnliche Defizite bei der Adressierung von ethischen und datenschutzbezogenen Risiken bei der Anwendung des Business Case Frameworks, obwohl dieses Framework eigentlich darauf abzielt, alle relevanten Informationen zu sammeln, und somit ganzheitlich alle wichtigen Charakteristiken von Entscheidungen in LLMs abdecken sollte.

Traditionelle Methoden lassen sich weitestgehend nicht anwenden. Was heißt das jetzt?

Die Anwendung traditioneller Methoden zur Investitionsbewertung von Informationssystemen zeigte, dass diese Methoden nicht wirklich anwendbar sind oder erhebliche Defizite aufweisen. Dies ist wenig überraschend, da sich die Forschung seit jeher vor der Herausforderung sieht den Nutzen von Informationssystemen messbar zu machen und die Methoden dazu entweder zu einfach oder zu komplex für die Praxis sind. Die Anwendung der Methoden auf den LLM-Investitionsfall bestätigt und verstärkt diese Kritik, indem sie zeigt, dass auch besondere Eigenschaften von LLM-Investitionen wie ethische und datenschutztechnische Risiken nicht abgedeckt werden können.

Auf Basis der Erkenntnisse aus der Anwendung dieser Methoden, der Herausforderungen und der Lessons Learned aus dem Investitionsfall habe ich einige Empfehlungen erarbeitet und mit Experten aus der Wirtschaft diskutiert. Die Empfehlungen können dabei helfen, Investitionen in LLMs zu bewerten und somit die Investitionsentscheidung zu unterstützen.

Empfehlungen für die Investitionsentscheidung in LLMs

1. Ein umfassendes Entscheidungsrahmenwerk aufbauen. Diese Empfehlung zielt darauf ab, alle wichtigen Informationen für die Investitionsentscheidung zu sammeln und transparent darzustellen. Das Dokument sollte im Kreis der Nutzer:innen und Beteiligten als Anlaufstelle dienen, die es ermöglicht, Feedback zu geben und die Entscheidungsgrundlage nachvollziehbar weiterzuentwickeln (ähnlich dem ADR-Ansatz). Es ist wichtig, dass dieses Dokument lebendig bleibt und regelmäßig aktualisiert wird, um den sich ändernden Anforderungen und Erkenntnissen gerecht zu werden.

2. Einen iterativen Entscheidungsprozess anwenden. Die Analyse des Falls sowie die Ergebnisse mehrerer Experteninterviews zeigen eindeutig, dass ein iteratives Vorgehen unerlässlich ist, um der Komplexität und den neuen Herausforderungen gerecht zu werden, die mit wachsendem Wissen einhergehen.

3. Kontext und Stakeholder aktiv in die Entscheidung einbinden. Es ist entscheidend, dass Informationen über den Kontext – einschließlich des internen und externen Umfelds, der Gründe für die Investition und der Perspektiven aller relevanten Interessengruppen – gesammelt und in den Entscheidungsprozess integriert werden. Dies stellt sicher, dass die Investition nicht nur fundiert, sondern auch breit akzeptiert wird, was letztlich zu einer höheren Erfolgswahrscheinlichkeit führt.

4. Kosten quantifizieren. Auch wenn zu Beginn möglicherweise die erforderliche fachliche Expertise fehlt, ist es entscheidend, die Kosten für das LLM zu quantifizieren. Eine monetäre Einschätzung der Kosten sollte unbedingt durchgeführt werden, da sie eine fundierte Grundlage für die Investitionsentscheidung bietet und hilft, finanzielle Risiken frühzeitig zu identifizieren.

5. Nutzen quantifizieren wo möglich. Goldstandard erstellen für die Qualitätssicherung. Qualitative Nutzenargumente und zukünftige Optionen hervorheben. Der Nutzen sollte unbedingt quantifiziert werden, idealerweise mit finanziellen Kennzahlen, um eine klare Grundlage für die Investitionsentscheidung zu schaffen. Wenn eine monetäre Quantifizierung nicht möglich ist, ist die Entwicklung eines „Goldstandards“ unerlässlich, um die Qualität im weiteren Prozess sicherzustellen. Zudem sollten qualitative Nutzenargumente, zukünftige Optionen und strategische Überlegungen aktiv in die Entscheidungsfindung einfließen, um ein umfassendes Bild der potenziellen Vorteile zu erhalten.

6. Risikoanalyse für ethische und datenschutztechnische Bedenken. Ethische und datenschutztechnische Herausforderungen sind inhärente Herausforderungen für LLMs und somit auch wesentliche Aspekte bei der Investition in LLMs und müssen zwingend in die Entscheidungsfindung einfließen. Diese Themen sollten als „Must-Criteria“ behandelt werden, die im iterativen Prozess der Investitionsentscheidung erfüllt sein müssen. Beispielsweise können ethische Risiken wie die Benachteiligung von Mitarbeitern auftreten, während datenschutztechnische Risiken die Nutzung personenbezogener Daten oder die Preisgabe von Unternehmensgeheimnissen umfassen. Eine gründliche Risikoanalyse ist entscheidend, um potenzielle negative Auswirkungen frühzeitig zu identifizieren und geeignete Maßnahmen zu ergreifen.

7. KI-Richtlinie erstellen. Um datenschutzrechtliche Risiken, einschließlich der Gefährdung von Geschäftsgeheimnissen, effektiv zu managen, ist es unerlässlich, eine umfassende KI-Richtlinie zu entwickeln. Diese Richtlinie sollte den Geltungsbereich, die Zulässigkeit, die Verwendungseinschränkungen sowie den Umgang mit KI-Systemen klar definieren und als Grundlage für die Prüfung aktueller Investitionsentscheidungen dienen. Obwohl die Erstellung einer solchen Richtlinie anfänglich zeitaufwändig sein kann, wird sie den Entscheidungsprozess in zukünftigen KI-Projekten erheblich beschleunigen und vereinfachen, indem sie klare Rahmenbedingungen schafft und Unsicherheiten reduziert.

8. Unternehmenswerte aktiv in den Entscheidungsprozess einbeziehen. Es ist entscheidend, sich intensiv mit den eigenen Werten auseinanderzusetzen, um ethische Risiken zu identifizieren und proaktiv anzugehen. Obwohl diese Risiken oft schwerer zu fassen sind und nicht immer vollständig aufgedeckt werden können, müssen sie dennoch als wesentlicher Bestandteil der Entscheidungsfindung betrachtet werden. Eine klare Auseinandersetzung mit den Unternehmenswerten fördert nicht nur die Akzeptanz eines KI-Systems bei den Mitarbeitern, sondern kann auch entscheidend sein, um die Unterstützung des Betriebsrats für die Investition zu sichern.

Der Goldstandard: Ohne klare Ziele kein Erfolg

Der Begriff "Goldstandard" beschreibt die bestmögliche Lösung oder "Grundwahrheit" für ein Problem. In der Data Science und bei KI-Projekten bezieht sich der Goldstandard auf ein Referenzsystem, das als objektive Wahrheit dient. Es handelt sich um das ideale, korrekte Ergebnis, an dem sich generierte Antworten messen lassen. Mit anderen Worten: Der Goldstandard gibt vor, was die richtige Antwort auf eine Fragestellung ist, basierend auf einer vorliegenden Datenlage.

Allerdings gibt es oft Probleme, einen solchen Goldstandard zu definieren.

Daumenregel: Wenn es für Menschen schon schwer ist, sich auf eine „richtige“ Antwort zu einigen, spricht das deutlich gegen ein erfolgreiches KI-Projekt. Denn wenn die Daten und die Antworten unklar oder widersprüchlich sind, wird die KI ebenfalls unsichere oder unpräzise Ergebnisse liefern.

Potenziell kann ein LLM diese Unsicherheiten oder Widersprüche auch aufzeigen.

Persönliche Meinung und Ausblick

Ebenso wie LLMs neu sind, ist auch die Forschung zur Bewertung solcher Investitionen noch jung beziehungsweise nicht vorhanden. Meine Masterarbeit ist ein erster Schritt, um neue Denkanstöße in die Forschung einzubringen und gleichzeitig ein Appell, weg von den alten, oft kritisierten Investitionsmethoden und hin zu neuen, flexibleren Modellen zu denken. Nur so kann die Forschung die Praxis effektiv unterstützen und bei der Bewertung von Investitionen in neue Technologien wie KI helfen.

„Der Schlüssel zu erfolgreichen KI-Projekten liegt nicht nur in der Technologie, sondern auch in der Fähigkeit, ethische und datenschutzrechtliche Risiken zu erkennen und managen, die das Vertrauen der Mitarbeiter stärken.“

Wenn Sie mehr erfahren wollen über KI und ihre Einsatzmöglichkeiten und Potenziale, schauen Sie sich doch mal bei unseren Seminaren um oder besuchen Sie unser Seminar KI für Führungskräfte.

Sind Sie neugierig geworden auf Investitionsentscheidungen in LLMs, KI-Systeme und deren Anwendungsmöglichkeiten? Möchten Sie über die Empfehlungen diskutieren und Erfahrungen austauschen? Melden Sie sich gerne bei uns!

Die Autorin

Janina Lau ist seit 2024 Beraterin bei der viadee. Ihr Schwerpunkt liegt im Business Process Management und der Business Analyse. Ihre Masterarbeit schrieb sie über LLMs im Bereich Data Science.