Ein lokales Modell betreiben, wenn Daten nicht hinaus dürfen

Irgendwann fragt in fast jedem KI-Gespräch jemand, ob das Modell auf eigenen Servern laufen kann. Manchmal ist das eine ernsthafte Anforderung, manchmal ein Unbehagen auf der Suche nach technischer Form. Unser Leitfaden ein KI-Modell für den Kundenchat wählen behandelt es als echte Option mit echten Kosten — ernst zu nehmen und ebenso wert, sich davon abzubringen, wenn der Grund nicht trägt.

Wann es wirklich nötig ist

Drei Situationen machen Self-Hosting richtig. Eine Aufsicht oder Berufskammer, die das Senden von Mandantendaten an fremde Verarbeiter untersagt — manche Rechts- und Klinikkontexte fallen darunter. Ein Vertrag mit einem Großkunden, der den Verarbeitungsort festlegt. Oder eine interne Richtlinie, geschrieben vor der KI-Zeit, deren Änderung länger dauern würde als ihre Einhaltung.

Was nicht auf der Liste steht: allgemeines Unbehagen gegenüber Cloudanbietern. Ist die Sorge, ein Modellanbieter könnte mit Kundennachrichten trainieren, ist die Abhilfe ein Vertrag, der das verbietet — welche Klauseln zählen, steht in Auftragsverarbeitung und Unterauftragnehmer.

Die übersprungenen Zwischenwege

Zwischen öffentlicher API und einem Rechner im eigenen Büro liegen zwei Zwischenlösungen, die die meisten Fälle mit weit weniger Aufwand lösen.

• Ein gehostetes Modell, fest an eine Region gebunden, sodass die Verarbeitung in der EU oder einer anderen zugesagten Jurisdiktion bleibt.
• Ein Enterprise-Cloud-Betrieb, bei dem das Modell in Ihrem eigenen Cloudkonto läuft, mit Ihren Zugriffskontrollen und Protokollen, ohne dass Sie Hardware pflegen.

Für die große Mehrheit genügt eines davon sowohl der Aufsicht als auch dem Kunden, ohne dass jemand für eine laufende GPU verantwortlich wird. Prüfen Sie das zuerst — die Fragen zum Speicherort behandelt wo Ihre Kundendaten liegen.

“

„Läuft das lokal?" ist meist der richtige Instinkt in der falschen Anforderung. Fragen Sie zuerst, was die Regel tatsächlich sagt.

— be digital ai Team

Was es tatsächlich braucht

Ein offenes Modell zu betreiben, das für Kundengespräche gut genug ist, verlangt eine Maschine mit ernsthafter GPU, nicht einen übrigen Bürorechner. Sie brauchen außerdem jemanden, der es am Laufen hält: Aktualisieren, Überwachen, Neustarten, wenn es Freitagabend um sieben verstummt, und Neutesten bei jedem Modellwechsel.

Die Hardwarekosten sind einmalig und kalkulierbar. Die Wartungskosten laufen weiter und werden meist unterschätzt, weil sie bei der Person landen, die technisch genug ist, um es zu reparieren — in kleinen Betrieben oft genau die, die am wenigsten Zeit hat.

Wo die Qualität liegt

Offene Modelle sind enorm besser geworden und beantworten Routinefragen aus einer Wissensbasis durchaus zuverlässig. Zurück liegen sie bei den schwierigeren Verhaltensweisen: eine Regel unter Druck halten, über ein langes Gespräch konsistent bleiben und nicht-englische Dialekte so geläufig behandeln wie die größten gehosteten Modelle. Schreiben Ihre Kunden im Golfdialekt, testen Sie genau das und nehmen Sie nichts an.

Prüfen Sie lokale Kandidaten an denselben zwanzig Gesprächen wie jedes andere Modell, mit der Methode aus eine KI testen, bevor sie mit Kunden spricht. Ein leicht schwächeres Modell, das Sie regelkonform hält, ist ein guter Tausch; ein merklich schwächeres ohne benennbaren Grund nicht.

Die Wirtschaftlichkeit ist nicht der Grund

Self-Hosting spart bei kleinen Mengen selten Geld. Gehostete APIs sind pro Gespräch günstig und Sie zahlen nur die Nutzung; eine GPU kostet gleich viel, ob sie tausend Nachrichten im Monat beantwortet oder keine. Der Break-even liegt weit höher als erwartet und rückt mit jeder Preissenkung weiter weg.

Wählen Sie lokal wegen Kontrolle und Regelkonformität, nie wegen der Kosten. Stützt sich der Business Case auf Ersparnis, rechnen Sie zuerst was eine KI-Antwort wirklich kostet mit echten Zahlen durch.

Ein praktikabler Kompromiss

Manche Betriebe teilen es auf: Ein lokales Modell übernimmt alles, was sensible Datensätze berührt, während allgemeine Anfragen — Öffnungszeiten, Preise, Verfügbarkeit — an ein gehostetes Modell gehen. Das verdoppelt die Einrichtung und ist tatsächlich die Arbeitsweise mehrerer regulierter Teams, weil es die teure Einschränkung nur dort ansetzt, wo die Regel wirklich gilt, statt sie über jedes Gespräch zu legen. Welchen Weg Sie auch wählen: Halten Sie den Grund schriftlich fest. In zwei Jahren fragt jemand, warum der Aufbau ungewöhnlich ist, und „unsere Berufskammer verlangt es" ist eine deutlich bessere Antwort als eine mündliche Überlieferung, an die sich niemand mehr genau erinnert.