Viele Unternehmen möchten ihren Mitarbeitenden einen KI-Chat bereitstellen, ohne dass Firmendaten bei einem US-Dienst landen. Eine bewährte Lösung ist eine eigene Plattform auf Basis von Open WebUI. Dieser Beitrag zeigt, wie so eine Plattform aufgebaut ist und worauf Sie beim Betrieb achten sollten.
Was ist Open WebUI?
Open WebUI ist eine selbst gehostete Weboberfläche für Sprachmodelle. Sie sieht ähnlich aus wie ChatGPT und bietet Chatverläufe, Dateiupload, Wissensdatenbanken für eigene Dokumente, Benutzerverwaltung mit Rollen und die Anbindung verschiedener Modelle. Die Oberfläche läuft auf Ihren eigenen Servern oder in Ihrer Cloud-Umgebung.
Open WebUI erzeugt selbst keine Antworten. Es leitet Anfragen an ein Sprachmodell weiter, das Sie frei wählen.
Der typische Aufbau
Eine Unternehmensplattform besteht meist aus drei Schichten:
- Oberfläche: Open WebUI für Chat, Dokumente und Benutzerverwaltung.
- Gateway: ein Proxy wie LiteLLM, der Anfragen an die Modelle verteilt, Kosten je Team erfasst und Zugangsschlüssel zentral verwaltet.
- Modelle: entweder Cloud-Modelle in einer europäischen Region, etwa Azure OpenAI, oder lokale Open-Source-Modelle wie Llama oder Mistral, betrieben mit Ollama oder vLLM.
Durch das Gateway lassen sich Modelle austauschen, ohne dass sich für die Nutzer etwas ändert.
Cloud oder On-Premise?
Cloud-Modelle in der EU liefern die beste Antwortqualität und brauchen keine eigene GPU-Hardware. Wichtig sind ein Vertrag zur Auftragsverarbeitung und die Wahl einer europäischen Region.
Lokale Modelle verlassen Ihr Netzwerk nie und eignen sich für besonders sensible Daten, bis hin zum Betrieb ohne Internetverbindung. Dafür brauchen Sie passende Hardware, und die Antwortqualität hängt stark vom gewählten Modell ab.
In der Praxis kombinieren viele Unternehmen beides: lokale Modelle für vertrauliche Inhalte, Cloud-Modelle für alles andere.
Anmeldung und Rechte
Open WebUI unterstützt die Anmeldung über OAuth bzw. OpenID Connect, etwa mit Microsoft Entra ID. Mitarbeitende melden sich so mit ihrem bestehenden Firmenkonto an. Über Gruppen und Rollen steuern Sie, wer welche Modelle und Wissensdatenbanken nutzen darf.
Open WebUI und DSGVO: worauf es ankommt
- Speicherort der Chatverläufe und Dokumente festlegen und Löschfristen definieren.
- Verträge zur Auftragsverarbeitung mit allen beteiligten Cloud-Anbietern abschließen.
- Protokollierung bewusst konfigurieren: so viel wie für Betrieb und Kostenkontrolle nötig, so wenig wie möglich.
- Mitarbeitende schulen, welche Daten sie eingeben dürfen.
Eine eigene Plattform ist kein Freifahrtschein. Sie gibt Ihnen aber die Kontrolle, die Ihnen bei öffentlichen Diensten fehlt.
Typische Stolpersteine
- Lizenz: Prüfen Sie die aktuellen Lizenzbedingungen von Open WebUI, insbesondere zum Branding bei größeren Installationen.
- Updates: Das Projekt entwickelt sich schnell. Planen Sie regelmäßige Updates und testen Sie sie vor dem Einspielen.
- Wissensdatenbanken: Die Qualität der Antworten auf eigene Dokumente hängt stark von deren Aufbereitung ab. Mehr dazu in unserem Beitrag RAG für den Mittelstand.
Unterstützung durch DFT IT
Wir bauen und betreiben solche Plattformen in Azure, On-Premise oder komplett offline. Mehr dazu auf unserer Seite Generative KI. Für die Einführung im Team bieten wir passende KI-Schulungen an. Sprechen Sie uns an, wenn Sie eine eigene KI-Plattform planen.