Generative KI im Prozessmanagement: Konsistente Prozessdokumentation dank LLMs

Herausforderung: Inkonsistente und veraltete Prozessdokumentation

Unternehmen arbeiten mit verschiedenen Arten von Dokumentation, um ihre Prozesse zu steuern und zu dokumentieren. Diese beziehen sich aufeinander. Beispiele dafür sind:

• Prozessmodelle (z.B. BPMN-Diagramme) auf mehreren Detail-Ebenen (Strategisch, fachlich, technisch)

• Schulungsunterlagen (bspw. für Nutzerinnen eines IT-Systems, das am Geschäftsprozess beteiligt ist)

• Arbeitsanweisungen und Unternehmensrichtlinien, die sich auf Prozesse beziehen.

• Textdokumente, die bspw. eine Schnittstelle im Prozess dokumentieren oder dessen IT-Sicherheit oder Risiken darin bewerten.

• Regulatorische Dokumente wie bspw. eine Norm oder Bafin-Vorgabe zu einem Prozess.

Probleme entstehen immer, wenn diese Dokumente nicht inhaltlich synchron gehalten werden: Veraltete Informationen führen zu Missverständnissen, Fehlern und erheblichem Mehraufwand bei der Korrektur und Klärung, was Kosten bedeutet. Inkonsistente Prozessdokumentationen führen auch häufig zu betrieblicher Ineffizienz und erhöhter Arbeitsbelastung der Mitarbeiter - Missverständnisse werden potenziell mehrfach “geklärt” aber nicht behoben, weil Menschen den Aufwand oder die Verantwortung dafür scheuen.

Vermutlich sind manchmal gute Ideen in solchen Dokumenten versteckt, die dann aber nicht (schnell) ihren Weg in den Regelprozess finden. Das ist das Ziel des BMBF-Projektes Change.WorkAROUND, in dessen Rahmen diese Ergebnisse entstanden sind.

Wie können LLMs die Prozessdokumentation erleichtern?

LLMs wie GPT-4 analysieren große Text- und Datenmengen und erkennen automatisch Widersprüche in der Dokumentation, sofern Dokumente sich aufeinander beziehen. Im Rahmen der Masterthesis ist ein Proof-of-Concept für die Unterstützung des folgenden Ablaufs entstanden:

In der Praxis kann dies folgendermaßen aussehen: Eine Person nimmt Änderungen an einem Prozessdokument vor. Das System prüft automatisch, ob die Änderungen inhaltlicher Natur sind (oder nur kosmetisch) und ob sie mit anderen Prozessdokumenten in einer Wissensdatenbank wie Confluence oder Signavio konsistent sind. Treten inhaltliche Widersprüche auf, erhält der zuständige Prozessverantwortliche eine E-Mail mit einer detaillierten Zusammenfassung und Handlungsvorschlägen. In Tests mit Unternehmen aus Industrie, Energie und Versicherungswirtschaft hat der Prototyp gezeigt, dass die Genauigkeit der Dokumentationsprüfung erhöht und der manuelle Aufwand reduziert werden kann.

Eine Nachricht für eine offensichtliche Inkonsistenz hatte bspw. den folgenden Inhalt (anonymisiert):

Sehr geehrte Prozessverantwortliche,

Der aProCheCk auf Dokumenten-Konsistenz hat die folgenden Änderungen und Inkohärenzen zwischen der neuesten Version des Text-Dokuments 'Schulungsunterlage_v2.pdf' und dem zugehörigen Prozessdokument 'Auftragsgenerierung Bestellabwicklung Wholesale.bpmn' festgestellt:

Änderungen im ursprünglichen Dokument:
Der Zeitrahmen für die Erstellung eines Auftrags in SAP über die Schnittstelle aus dem Vorsystem wurde von 7 Tagen auf 14 Tage vor dem Termin verlängert.

Inkohärenzen mit dem zugehörigen Prozessdokument:
Das zugehörige Prozessdokument gibt derzeit an, dass der Auftrag 7 Tage vor dem Termin erstellt wird. Diese Information ist nun inkohärent mit der neuen Zeitrahmenangabe von 14 Tagen im BPMN-Dokument.

Implikationen der Änderungen:
Wenn die Änderungen übernommen werden: Das zugehörige Prozessdokument muss aktualisiert werden, um den neuen Zeitrahmen von 14 Tagen widerzuspiegeln. Dies stellt sicher, dass alle Prozessbeteiligten die korrekten Informationen haben und es zu keinen Missverständnissen oder Verzögerungen kommt.
Wenn die Änderungen rückgängig gemacht werden: Das BPMN-Dokument müsste auf den ursprünglichen Zeitrahmen von 7 Tagen zurückgesetzt werden, um die Konsistenz mit dem aktuellen Prozessdokument zu gewährleisten. Dies könnte jedoch die Vorteile der verlängerten Planungszeit beeinträchtigen.

Notwendige Änderungen im zugehörigen Prozessdokument:
Das zugehörige Prozessdokument 'Auftragsgenerierung Bestellabwicklung Wholesale.bpmn' sollte aktualisiert werden, um anzugeben, dass der Auftrag 14 Tage vor dem Termin erstellt wird, anstatt 7 Tage. Dies stellt sicher, dass beide Dokumente wieder konsistent sind und die Prozessbeteiligten die korrekten Informationen haben.

Mit freundlichen Grüßen
Ihr aProCheCk-Team

Schon die LLMs der derzeitigen Generation wie GPT-4o zeigen eine beeindruckende Leistungsfähigkeit bei der Verarbeitung textbasierter Dokumente, wie z.B. schriftliche Dokumente oder BPMN-Quellcode. Wir haben auch brauchbare Ergebnisse aus weniger zugänglichen Prozessdokumenten erreichen können (bspw. mit exportierten SVG-Grafiken im Wiki, die einen BPMN-Prozess darstellen). Nicht standardisierte Dateien erfordern jedoch einen größeren Mehraufwand und eine solide Datenbasis ist entscheidend für die Leistungsfähigkeit des Systems. Was bedeutet Datenqualität in diesem Zusammenhang?

• Voraussetzung für die Nutzung des Ansatzes ist, potenziell zusammengehörige Dokumente identifizieren zu können, um sie dann zu prüfen. Idealerweise gibt es eine zentrale Stelle, von der aus alle Dokumente automatisch erreichbar und erkennbar sind, für die wir Konsistenz untereinander fordern (wie bspw. der BPMN Modeler für Confluence im Kontext einer Prozesslandkarte).

• Der Ansatz profitiert inhaltlich von guten Modellierungspraktiken: Standardkonformität, konsistenter Benennung von Rollen, Systemen und Fachbegriffen sind förderlich. Der Ansatz kann solche Inkonsistenzen aber auch selbst aufdecken.

• Der Ansatz funktioniert am besten, wenn konsequente Versionierung umgesetzt wird und veraltete, irrelevant gewordene Dokumentenstände zuverlässig aus dem Dokumentenbestand entfernt werden (oder wir geben den mit diesem Tooling den Anstoß ein veraltetes, inkonsistentes Dokument zu löschen).

• Auf der administrativen Ebene muss klar sein, wer jeweils Interesse an und Verantwortung für die Konsistenz der Prozessdokumentation hat.

Es hat sich in Experimenten gezeigt, dass das System schon auf PoC-Level mit unterschiedlichen Abstraktionsebenen arbeiten und auch regulatorische Dokumente effektiv einbinden kann, die Ansprüche an Prozesse stellen. Neue Modelle können durch große “Kurzzeitgedächtnisse” mit einem beeindruckend hohen Grad an Komplexität und Heterogenität umgehen.

Wie gut funktioniert das?

Mit typischen Änderungen und Dokumenten aus Forschung und Industrie war durch interative Verbesserungen eine Accuracy, also die Wahrscheinlickeit für richtige Ergebnisse vom aProCheCk zweier Dokumente, von 83,5% erreichbar.

Das System ist, wie eine LLM-basierten Lösungen nicht-deterministisch. Es kommt also bei mehreren Durchläufen nicht zwingend zu identischen Ergebnissen. Es lohnt sich also entsprechende Experimente mehrfach zu machen und die Robustheit der Ergebnisse zu prüfen. Im konkreten Fall sind die Ergebnisse erstaunlich stabil (zu 93,6%) bei mehreren Ausführungen.

Außerdem gilt es einen weiteren Qualitätsaspekt zu betrachten: Die Anzahl von Fehl-Alarmen. Hier sehen wir die Gefahr, dass eine zu häufige Warnung zur Ablehnung des Systems führt. Hier gibt es aber Justierungsmöglichkeiten und die Verantwortung für deren Nutzung muss bei der Nutzerin liegen: Die Ansprüche an den Grad der gewünschten Konsistenz und die Bereitschaft Änderungen zu machen werden von Person zu Person unterschiedlich sein und das gilt es zu berücksichtigen.

Ist das wirtschaftlich? Während die einzelne Prüfung eines Dokumentenpaars vernachlässigbar günstig ist, kommen bei einer großen Zahl von Dokumentenpaaren relevante API-Kosten für die Nutzung von LLMs zusammen. Mit einer gut kuratierten Dokumentenbasis und nächtlichen Batches lässt sich dieser Aufwand aber steuern.

Datenschutz und Datensicherheit

Eine häufige Sorge beim Einsatz von KI-Technologien ist der Datenschutz. Unsere PoC  verwendet LLMs, die per Azure in der EU gehostet werden, um sicherzustellen, dass sensible Daten innerhalb der europäischen Datenschutzrichtlinien bleiben. Darüber hinaus werden nur notwendige Daten verarbeitet und alle Kommunikationskanäle verschlüsselt. Alternativ könnten auch lokale Modelle verwendet werden.

Es bleibt eine Wahrnehmungsfrage zu bewerten. Der vorliegende Proof-of-Concept ist ein Qualitätssicherungswerkzeug, dass man sowohl als Unterstützung als auch als Überwachung empfinden kann. Die Einführung des Systems führt idealerweise zu mehr “Mut” beim Aktualisieren von Prozessdokumenten, denn es gibt weniger Grund für die Angst, durch eine Änderung etwas in der Prozessdokumentation durcheinanderzubringen. Ob das gelingt hängt auch maßgeblich davon ab, wer informiert wird und wie die Person darauf reagiert. Hier werden Betriebsräte mitsprechen wollen.

Ausblick: Zukünftige Entwicklungen

Die gezeigten Möglichkeiten sind vielversprechend: Zukünftige Modelle könnten auch eine tiefere Integration von multimodalen Daten (Bilder, Meeting-Protokolle, Prozessdaten) und erweiterten Kontextinformationen ermöglichen, was die Genauigkeit und Relevanz der vorgeschlagenen Änderungen weiter verbessern würde. 

Die kurzfristig größten Potenziale sehen wir aber in kleinen Verbesserungen am gezeigten Prozess, um diesen passgenauer zu machen: Wer interessiert sich bspw. für welche Inkonsistenzen? Auf dieser Basis reduziert sich der “Gewöhnungseffekt” und Datenschutzverantwortliche / Qualitätsverantwortliche / Process Ownerinnen / Security-Spezialisten / Anwendungsentwickler / Data Scientisten könnten ausgewählte, bedarfsgerechte Warnungen bekommen oder ein Agent könnte dabei helfen, die Dokumente zunächst aufzuzeigen, für die wir uns Konsistenz wünschen. Beides sind mögliche Themen für anschließende Masterarbeiten.

Wir brauchen Feedback!

Die ersten Feedbacks waren sehr erfreulich:

"Kann mir gut vorstellen, dass das einen Nutzen für das Unternehmen haben kann - vor allem weil wir viele verschiedene Formen von Dokumentation haben."                                     (J., Strategisches Prozessmanagement)

Wir denken darüber nach, entsprechende KI-Features wie diese in die von viadee entwickelten Werkzeuge zur Prozess- und Entscheidungsmodellierung in Atlassian Confluence einzubauen. Die integrierte und im Wiki-Stil lebendige Sicht auf Prozesse und Dokumente dort scheint ideal zu sein für Ansätze dieser Art.

Wäre ein KI-Konsistenzcheck Ihrer Prozessdokumentation für Sie nützlich? Was wären ihre Prioritäten und Wünsche für so eine Funktion?

Sprechen Sie uns gern darauf an.