Self-Hosted Code-Copilot - Enterprise-Ready mit Continue.dev und LiteLLM

Montag, 21.7.2025

Self-Hosted Code-Copilot

Die Veröffentlichung von GitHub Copilot Mitte 2022 hat die Entwicklerwelt nachhaltig geprägt und den Weg für neue, KI-gestützte Arbeitsweisen geebnet. Bereits ein Jahr später berichteten wir über mögliche Alternativen, bei denen sensible Daten die eigene Infrastruktur nicht verlassen. Seitdem hat sich die Landschaft rasant weiterentwickelt. Grund genug, das Thema erneut aufzugreifen und eine Lösung vorzustellen, die sich einfach, sicher und nachhaltig in Unternehmen integrieren lässt.

 In diesem Beitrag zeigen wir, wie die Open-Source-Tools Continue.dev und LiteLLM genutzt werden können, um Entwicklungsumgebungen wie VSCode und JetBrains-Produkte mit modernen KI- und Copilot-Funktionen auszustatten. Anhand eines kurzen Beispiels demonstrieren wir, wie unkompliziert der lokale Einstieg gelingt - ganz ohne Programmieraufwand, mit voller Kontrolle über alle Komponenten und Daten.
 
 

Architektur und Voraussetzungen

architecture

Die Lösung basiert auf drei wesentlichen Komponenten:

  • Continue.dev: Ein Open-Source-Plugin, das KI-Modelle nahtlos in IDEs wie VSCode und JetBrains integriert. Es ermöglicht Funktionen wie intelligente Codevervollständigung, automatische Dokumentation und KI-Chats direkt in der Entwicklungsumgebung. Das Plugin kann frei über den Marketplace installiert werden.
  • LiteLLM: Ein flexibles Open-Source-KI-Gateway, das verschiedene KI-Modelle verwaltet und über eine einheitliche API bereitstellt (Modelle werden über den OpenAI-Schnittstellenstandard veröffentlicht). LiteLLM erleichtert die Integration und das Management von Modellen erheblich und ermöglicht die Vergabe virtueller API-Schlüssel zur Nutzer- und Budgetkontrolle.
  • Model Provider: Continue.dev und LiteLLM unterstützen eine breite Palette an KI-Modellen - von kommerziellen Anbietern wie OpenAI oder Azure bis hin zu Open-Source-Alternativen wie Llama-2 oder Mistral. Die Auswahl richtet sich nach individuellen Anforderungen und Budget.

Alle Services werden containerisiert ausgeliefert. Für die Installation genügt eine Container-Umgebung wie Docker, Kubernetes oder ein Cloud-Service (z.B. Azure Container Apps). So bleibt der Infrastruktur- und Wartungsaufwand minimal.

 

Demo

Eine vollständige End-to-End-Demo - inklusive Visual Studio Code-Umgebung - steht unter diesem Link bereit. Der Einstieg ist denkbar einfach:

1. Umgebungsvariablen für Model Provider Auth in der secrets.env-Datei einfügen.

2. Sollte kein Azure OpenAI verwendet werden, muss LiteLLM entsprechend für den Provider konfiguriert werden: https://docs.litellm.ai/docs/proxy/configs.

3. Browser öffnen unter https://localhost:8443

Das Ergebnis: Eine vorkonfigurierte VSCode-Umgebung, die Continue.dev enthält und über LiteLLM mit dem gewünschten KI-Modell kommuniziert. So kann direkt in der IDE mit KI-Unterstützung programmiert, dokumentiert und gechattet werden.

demo

Anmerkung: Die Demo nutzt das GPT-4o-Modell von Azure OpenAI. An dieser Stelle lassen sich Modelle integrieren, die besser für den Code-Einsatz geeignet sind, wie z.B. CodeStral oder Qwen.

 

Betrieb und Monitoring

Für den produktiven Einsatz ist ein sicheres Schlüsselmanagement unerlässlich. Während in der Demo der LiteLLM-Root-Key verwendet wird, empfiehlt sich für Unternehmen die Nutzung der LiteLLM-Weboberfläche (http://localhost:4000/). Hier können Admins (Login: admin:your-master-key ) individuelle Nutzerkonten anlegen, Berechtigungen vergeben und API-Schlüssel mit Budgets und Limits ausstellen.

Wir legen zunächst einen Nutzer an, der Zugriff auf die LiteLLM-API erhält. Anschließend erstellen wir einen API-Key, der für die Kommunikation mit Continue.dev verwendet wird. Dieser Key kann mit einem Budget versehen werden, um die Kosten im Griff zu behalten.

LiteLLM User anlegen

litellm-create-key2

Den Key hinterlegen wir in Continue.dev. Fortan wird die Nutzung des Keys durch LiteLLM getrackt. So behalten Unternehmen jederzeit den Überblick über Verbrauch und Kosten und können Missbrauch effektiv verhindern.

LiteLLM Nutzung tracken


Ein KI-Gateway wie LiteLLM ist damit ein entscheidender Baustein für die sichere und kontrollierte Einführung KI-gestützter Entwicklungswerkzeuge im Unternehmen.

 

Fazit und Ausblick 

Continue.dev und LiteLLM ermöglichen es, leistungsstarke KI-Funktionen sicher und flexibel in die eigene Entwicklungsumgebung zu integrieren. Die Open-Source-Basis sorgt für maximale Kontrolle über Daten und Infrastruktur. Die Demo zeigt, wie unkompliziert der Einstieg gelingt und wie schnell Entwickler von den Vorteilen profitieren. Gerade für Unternehmen, die Wert auf Datenschutz und Kontrolle legen, ist Continue.dev eine überzeugende Alternative zu kommerziellen Lösungen wie GitHub Copilot. Übrigens: Neben Continue.dev und LiteLLM gibt es mittlerweile eine Vielzahl weiterer Open-Source-Projekte, die KI-Funktionen für Entwickler bereitstellen (bspw. Cline und OpenRouter) und den Trend hin zur selbstgehosteten KI-Lösung unterstreichen. Darüber hinaus zeigt sich, wie wichtig eine durchdachte KI-Architektur im Unternehmen ist: Gateways wie LiteLLM können als Rückgrat für verschiedenste KI-Anwendungen dienen - nicht nur für Entwicklungswerkzeuge, sondern auch für Chat-Plattformen wie Open WebUI. Mehr dazu gibt es in diesem Blogpost.

 


Haben Sie Fragen oder möchten Sie KI-gestützte Entwicklungswerkzeuge mit passenden Architekturen auf Ihrer Infrastruktur einführen? Wir unterstützen Sie gern von der Konzeption über die Implementierung bis zum Betrieb - von der ersten Proof-of-Concept-Integration bis zur unternehmensweiten Rollout-Strategie inklusive Schulung der Nutzer:innen.

Jetzt kontaktieren

 

 


zurück zur Blogübersicht

Diese Beiträge könnten Sie ebenfalls interessieren

Keinen Beitrag verpassen – viadee Blog abonnieren

Jetzt Blog abonnieren!

Kommentare

Tobias Goerke

Tobias Goerke

Tobias Goerke ist Berater bei der viadee IT-Unternehmensberatung. Als Data Scientist liegen seine Schwerpunkte in der Einführung künstlich intelligenter Systeme und der Erforschung verschiedener Verfahren des erklärbaren Maschinenlernens.  
Tobias Goerke bei LinkedIn