Eine KI testen, bevor sie mit Kunden spricht

Jedes Team testet seine KI gleich: Chatfenster öffnen, ein paar Dinge fragen, beeindruckt sein, einschalten. Das Problem ist, dass Sie Ihr eigenes Geschäft kennen und deshalb unbewusst so formulieren, wie die Dokumente es beantworten. Echte Kunden tun das nicht. Unser Leitfaden ein KI-Modell für den Kundenchat wählen sieht ein festes Testset als Mindestmaß vor einer aktiven Nummer — und als das, worauf Sie danach immer wieder zurückkommen.

Das Testset aus echten Gesprächen bauen

Öffnen Sie den Posteingang und nehmen Sie dreißig Wechsel der letzten Monate. Räumen Sie nichts auf — behalten Sie Tippfehler, Fragmente, Nachrichten, die in vier getrennten Zeilen ankommen, und die im Dialekt geschriebenen. Unter diesen Bedingungen arbeitet die KI.

Streuen Sie: fünfzehn gewöhnliche Fragen, die sie beherrschen soll, fünf, deren Antwort nicht in Ihren Dokumenten steht, fünf unangenehme — Beschwerde, Rabattwunsch, Verlangen nach einem Menschen — und fünf wirklich mehrdeutige. Bei der letzten Gruppe unterscheiden sich Modelle am stärksten, denn richtig wäre eine Rückfrage statt einer Vermutung. Notieren Sie zu jedem Gespräch in einem Satz, was die richtige Antwort gewesen wäre — sonst bewerten Sie beim dritten Durchlauf nach Gefühl statt nach Maßstab.

Drei Dinge bewerten

Widerstehen Sie einem komplizierten Bewertungsbogen. Drei Ja-Nein-Urteile je Gespräch genügen und werden tatsächlich konsequent angewendet.

1. Richtig — nichts in der Antwort widerspricht Ihren Dokumenten oder der Wirklichkeit. Ein selbstsicher erfundenes Detail fällt durch, so gut der Rest auch ist.
2. Im Ton — ein Kunde wäre nicht überrascht zu erfahren, dass eine Kollegin das geschrieben hat. Zu förmlich, zu plaudrig und zu werblich fallen hier durch.
3. Nützlich — der Kunde kann jetzt etwas tun: buchen, kaufen, mit klarer Erwartung warten oder einen Menschen erreichen.

Dreißig Gespräche, je drei Urteile, neunzig Bewertungen — etwa vierzig Minuten Arbeit. Schreiben Sie das Ergebnis auf, denn der Wert liegt im Vergleich mit dem nächsten Durchlauf, nicht in der Zahl selbst.

“

Lücken findet man nicht mit Fragen, deren Antwort man kennt. Nehmen Sie die Fragen Ihrer Kunden, samt Tippfehlern.

— be digital ai Team

Die unangenehmen Fälle bewusst prüfen

Die fünf unbequemen Gespräche leisten das meiste. Fordern Sie dreimal hintereinander Rabatt und sehen Sie, ob die Regel hält. Behaupten Sie etwas Falsches als Prämisse und sehen Sie, ob korrigiert wird. Verlangen Sie einen Menschen und sehen Sie, wie schnell und sauber das passiert.

Genau hier zerfällt ein Modell, das im Normalgebrauch hervorragend wirkt — und genau hier entstehen Beschwerden. Das erwartete Verhalten steht in wann die KI stoppen und einen Menschen holen sollte. Zeigt Ihr Test, dass die KI weitermacht, wo sie eskalieren sollte, ist das ein Konfigurationsfehler vor dem Livegang, keine hinzunehmende Eigenart.

Bei jeder Änderung neu durchlaufen

Das Testset verdient sich beim zweiten Durchlauf. Jede Änderung an Modell, Systemregeln, Dokumenten oder freigeschalteten Werkzeugen kann das Verhalten unvorhergesehen verschieben, und ein vierzigminütiger Neudurchlauf zeigt die Richtung.

Das gilt besonders für Prompt-Änderungen, die eine einzelne Beschwerde beheben sollen. Eine verschärfte Preisregel kann dazu führen, dass die KI Dinge verweigert, die sie zuvor tadellos beantwortet hat — und ohne festes Testset bleibt dieser Rückschritt unsichtbar, bis ein Kunde darauf trifft.

Damit Modelle vergleichen

Mit demselben Set wählen Sie zwischen Anbietern. Lassen Sie alle Kandidaten mit identischen Dokumenten und Anweisungen laufen — einschließlich einer selbst gehosteten Option, die Sie nach ein lokales Modell betreiben, wenn Daten nicht hinaus dürfen erwägen —, bewerten Sie gleich und lesen Sie die Abweichungen — die Gespräche, in denen sich Modelle unterscheiden, sind die aufschlussreichen. Worauf dabei zu achten ist, steht in KI-Anbieter für den Kundenchat vergleichen.

Danach im Betrieb weitertesten

Ein Test vor dem Start sagt etwas über dreißig selbst gewählte Gespräche. Der Livebetrieb sagt etwas über die, die Sie sich nicht vorgestellt haben, und er produziert unaufhörlich neue. Sobald Sie live sind, übernimmt die wöchentliche Stichprobe aus das KI-Protokoll lesen — und die besten Ergänzungen für Ihr Testset sind die Gespräche, die letzte Woche schiefgingen. So wird aus einer Momentaufnahme Ihrer Annahmen ein Verzeichnis all dessen, was Sie tatsächlich erwischt hat. Nach einem Jahr ist dieses Set das wertvollste Dokument Ihrer KI-Einrichtung: Es enthält jede Frage, an der schon einmal etwas gescheitert ist, und verhindert, dass derselbe Fehler ein zweites Mal live geht.