Von der Chat Plattform zum AI Hub mit Open WebUI & LiteLLM

Während die meisten Unternehmen KI-Tools im Einsatz haben, kämpfen IT-Verantwortliche mit einem digitalen Wildwest: Mitarbeiter nutzen Shadow-AI-Lösungen, sensible Daten landen in ungeschützten Umgebungen und proprietäre RAG-Systeme verstauben als Insellösungen. Die Folgekosten reichen von ungenutzten Systemen, über DSGVO-Strafen bis zum Verlust wettbewerbskritischer Daten – doch ein Verbot ist keine Option.

Die Lösung liegt in einer kontrollierten KI-Infrastruktur, die Bedienkomfort mit Enterprise-Sicherheit verbindet. In diesem Beitrag demonstrieren wir, wie wir mit Open WebUI eine unternehmenseigene Chat-Plattform aufbauen, die über LiteLLM nicht nur herkömmliche LLMs, sondern auch eigene KI-Anwendungen wie RAG-Systeme oder Agenten nahtlos integriert – und das ohne Vendor-Lock-in.

Warum eine zentrale Chat-Plattform selbst betreiben?

Unkontrollierte KI-Nutzung führt zu Datenlecks und Fragmentierung: Mitarbeiter nutzen oft externe Tools wie ChatGPT, während interne RAG-Systeme oder Agenten isoliert bleiben. Eine eigene Plattform löst diese Probleme durch:

• Datenhoheit: Sensible Informationen verbleiben im eigenen System. (bei Bedarf auch “Air-Gapped” ohne Cloud-Nutzung).

• Einheitliche Bedienung und bessere User Experience: Alle KI-Tools (Chat, RAG, Code-Generierung) sind unter einer Oberfläche und API auffindbar.

• Kostenkontrolle: Zentrales Monitoring der LLM-Nutzung und deren Budgetierung..

"Ein fehlendes Angebot der intelligenten Helfer bedeutet meist die wesentlich riskantere Nutzung externer Dienste durch die Hintertür.“ - wie beschrieben in unserem früheren Blogpost “Die eigene Chat Platform Powered by LibreChat”

Die Architektur: Open WebUI + LiteLLM als KI-Gateway

Wir möchten eine äußerst erweiterbare Lösung vorstellen, mit welcher eine eigene Chat Platform inkl. Integration aller eigenen KI-Services bereitgestellt werden kann.
Unser Setup kombiniert zwei Schlüsselkomponenten:

1. Open WebUI
   Die Open-Source-Oberfläche bietet ein ChatGPT-ähnliches Frontend mit Plugins für RAG, Code-Generierung und mehr. Open WebUI spielt in der gleichen Produktkategorie wie LibreChat, das wir zuvor hier beleuchtet haben. Es bietet darüber hinaus mehr Self-Service-Optionen an, mit der Nutzer:innen selbst Wissen und Funktionen bereitstellen können.

2. LiteLLM-Proxy
   LiteLLM dienst als Proxy und API für Open WebUI. Es verwaltet den Zugriff auf alle Modelle, ob Self-hosted oder in der Cloud.

Dieses Setup setzten wir erfolgreich in mehreren Projekten ein. Folgende Grafik zeigt anhand eines Beispiels, wie das Setup in der Azure Cloud realisiert werden kann.

Beispielhaftes Setup von Open WebUI und LiteLLM: wir stellen die KI-Anwendung und alle Abhängigkeiten wie gewohnt in der Azure Cloud bereit. Die Modelle werden als Service von Azure OpenAI bezogen. LiteLLM integriert nun sowohl die LLMs, als auch die eigene Anwendung und stellt sie Open WebUI bereit. Die User können somit über ein einheitliches Interface mit LLMs und eigenen Anwendungen interagieren.

Der Clou: KI-Anwendungen als „Modelle“ tarnen

Durch LiteLLMs Custom Provider API werden beliebige Tools für Anwendungen über eine einheitliche Schnittstelle integriert.
Diese Schnittstelle kann fortan von Chat Platforms und Data Scientists genutzt werden und dient so ganz nebenbei als KI-Middleware im Unternehmen.
Ein weiterer Vorteil: durch die Anbindung an bestehende Chat Plattformen ersparen wir uns die Entwicklung eines eigenen Frontends für einzelne KI-Anwendungen.

„LiteLLM erlaubt es, beliebige Dienste als LLM-API zu ‚tarnen‘ und sie somit den Chat Plattformen bereitzustellen – selbst wenn dahinter kein Neuronales Netz steckt.“

Damit ist diese Infrastruktur auch für Standardanwendungen oder andere Dienste verfügbar, die LLM-Funktionen anbieten möchten: Es greifen identische Sicherheits-, Budget- und Kontrollmechanismen.

Das Minimalbeispiel

Mit wenig Konfiguration lässt sich das genannte System schnell entwickeln:

1. Wir implementieren ein CustomLLM und verbinden so unsere KI-Anwendung mit LiteLLM:

2. Es folgt die Konfiguration von LiteLLM, in der wir sowohl GPT-4o-mini als Chat-Modell, als auch unsere eigene Anwendung integrieren: 

3. Schließlich starten wir das System bspw. mit Docker Compose (docker-compose up) und betrachten das Ergebnis unter http://localhost:8080: 

* Codebeispiele und Konfigurationen sind vereinfacht.

Fazit: KI-Integration auf enterprise-niveau

Mit Open WebUI und LiteLLM schaffen Sie eine zentrale KI-Schaltstelle, die:
✅ Jedes Modell (Azure, Bedrock, Eigenentwicklungen) einbindet
✅ Jede Anwendung (RAG, Agenten, Code-Generierung) als Service sowohl für Endnutzer:innen als auch für Developer verfügbar macht
✅ Jede Policy (Kosten, Sicherheit, Compliance) zentralisiert durchsetzt und implizit eine Art laufende Inventur der KI-Anwendungsfälle an zentraler Stelle anbietet.

Sie möchten eine solche Plattform einführen? Wir unterstützen Sie bei Konzeption, Implementierung und Betrieb – von der ersten Proof-of-Concept-Integration bis zur unternehmensweiten Rollout-Strategie  inklusive Schulung der Nutzer:innen.