Die Veröffentlichung von GitHub Copilot Mitte 2022 hat die Entwicklerwelt nachhaltig geprägt und den Weg für neue, KI-gestützte Arbeitsweisen geebnet. Bereits ein Jahr später berichteten wir über mögliche Alternativen, bei denen sensible Daten die eigene Infrastruktur nicht verlassen. Seitdem hat sich die Landschaft rasant weiterentwickelt. Grund genug, das Thema erneut aufzugreifen und eine Lösung vorzustellen, die sich einfach, sicher und nachhaltig in Unternehmen integrieren lässt.
Architektur und Voraussetzungen
Die Lösung basiert auf drei wesentlichen Komponenten:
- Continue.dev: Ein Open-Source-Plugin, das KI-Modelle nahtlos in IDEs wie VSCode und JetBrains integriert. Es ermöglicht Funktionen wie intelligente Codevervollständigung, automatische Dokumentation und KI-Chats direkt in der Entwicklungsumgebung. Das Plugin kann frei über den Marketplace installiert werden.
- LiteLLM: Ein flexibles Open-Source-KI-Gateway, das verschiedene KI-Modelle verwaltet und über eine einheitliche API bereitstellt (Modelle werden über den OpenAI-Schnittstellenstandard veröffentlicht). LiteLLM erleichtert die Integration und das Management von Modellen erheblich und ermöglicht die Vergabe virtueller API-Schlüssel zur Nutzer- und Budgetkontrolle.
- Model Provider: Continue.dev und LiteLLM unterstützen eine breite Palette an KI-Modellen - von kommerziellen Anbietern wie OpenAI oder Azure bis hin zu Open-Source-Alternativen wie Llama-2 oder Mistral. Die Auswahl richtet sich nach individuellen Anforderungen und Budget.
Alle Services werden containerisiert ausgeliefert. Für die Installation genügt eine Container-Umgebung wie Docker, Kubernetes oder ein Cloud-Service (z.B. Azure Container Apps). So bleibt der Infrastruktur- und Wartungsaufwand minimal.
Demo
Eine vollständige End-to-End-Demo - inklusive Visual Studio Code-Umgebung - steht unter diesem Link bereit. Der Einstieg ist denkbar einfach:
1. Umgebungsvariablen für Model Provider Auth in der secrets.env-Datei einfügen.
2. Sollte kein Azure OpenAI verwendet werden, muss LiteLLM entsprechend für den Provider konfiguriert werden: https://docs.litellm.ai/docs/proxy/configs.
3. Browser öffnen unter https://localhost:8443
Das Ergebnis: Eine vorkonfigurierte VSCode-Umgebung, die Continue.dev enthält und über LiteLLM mit dem gewünschten KI-Modell kommuniziert. So kann direkt in der IDE mit KI-Unterstützung programmiert, dokumentiert und gechattet werden.
Anmerkung: Die Demo nutzt das GPT-4o-Modell von Azure OpenAI. An dieser Stelle lassen sich Modelle integrieren, die besser für den Code-Einsatz geeignet sind, wie z.B. CodeStral oder Qwen.
Betrieb und Monitoring
Für den produktiven Einsatz ist ein sicheres Schlüsselmanagement unerlässlich. Während in der Demo der LiteLLM-Root-Key verwendet wird, empfiehlt sich für Unternehmen die Nutzung der LiteLLM-Weboberfläche (http://localhost:4000/). Hier können Admins (Login: admin:your-master-key ) individuelle Nutzerkonten anlegen, Berechtigungen vergeben und API-Schlüssel mit Budgets und Limits ausstellen.
Wir legen zunächst einen Nutzer an, der Zugriff auf die LiteLLM-API erhält. Anschließend erstellen wir einen API-Key, der für die Kommunikation mit Continue.dev verwendet wird. Dieser Key kann mit einem Budget versehen werden, um die Kosten im Griff zu behalten.
Den Key hinterlegen wir in Continue.dev. Fortan wird die Nutzung des Keys durch LiteLLM getrackt. So behalten Unternehmen jederzeit den Überblick über Verbrauch und Kosten und können Missbrauch effektiv verhindern.
Ein KI-Gateway wie LiteLLM ist damit ein entscheidender Baustein für die sichere und kontrollierte Einführung KI-gestützter Entwicklungswerkzeuge im Unternehmen.
Fazit und Ausblick
Continue.dev und LiteLLM ermöglichen es, leistungsstarke KI-Funktionen sicher und flexibel in die eigene Entwicklungsumgebung zu integrieren. Die Open-Source-Basis sorgt für maximale Kontrolle über Daten und Infrastruktur. Die Demo zeigt, wie unkompliziert der Einstieg gelingt und wie schnell Entwickler von den Vorteilen profitieren. Gerade für Unternehmen, die Wert auf Datenschutz und Kontrolle legen, ist Continue.dev eine überzeugende Alternative zu kommerziellen Lösungen wie GitHub Copilot. Übrigens: Neben Continue.dev und LiteLLM gibt es mittlerweile eine Vielzahl weiterer Open-Source-Projekte, die KI-Funktionen für Entwickler bereitstellen (bspw. Cline und OpenRouter) und den Trend hin zur selbstgehosteten KI-Lösung unterstreichen. Darüber hinaus zeigt sich, wie wichtig eine durchdachte KI-Architektur im Unternehmen ist: Gateways wie LiteLLM können als Rückgrat für verschiedenste KI-Anwendungen dienen - nicht nur für Entwicklungswerkzeuge, sondern auch für Chat-Plattformen wie Open WebUI. Mehr dazu gibt es in diesem Blogpost.
Haben Sie Fragen oder möchten Sie KI-gestützte Entwicklungswerkzeuge mit passenden Architekturen auf Ihrer Infrastruktur einführen? Wir unterstützen Sie gern von der Konzeption über die Implementierung bis zum Betrieb - von der ersten Proof-of-Concept-Integration bis zur unternehmensweiten Rollout-Strategie inklusive Schulung der Nutzer:innen.
zurück zur Blogübersicht
Diese Beiträge könnten Sie ebenfalls interessieren
Keinen Beitrag verpassen – viadee Blog abonnieren
