AI-Chatbots im Betrieb evaluieren: Qualität messbar machen

Ein AI-Chatbot ist erst dann nützlich, wenn er im Alltag verlässlich arbeitet. Viele Projekte starten mit einer guten Demo, scheitern aber später an derselben Frage: Wie erkennen wir, ob der Bot wirklich hilft, statt nur überzeugend zu klingen? Genau hier trennt sich Spielerei von Betrieb. Wer einen Chatbot für Support, Sales oder interne Prozesse einsetzen will, braucht eine klare Evaluation mit Kennzahlen, Freigaben und definierten Übergaben.
Warum die Demo nicht reicht
In der Praxis zählen nicht nur kreative Antworten, sondern korrekte, nachvollziehbare und zeitnahe Antworten. Ein Chatbot kann sprachlich stark wirken und trotzdem fachlich falsch liegen. Das ist besonders kritisch bei Produktfragen, Lieferzeiten, Rücksendungen, technischen Anleitungen oder internen HR- und IT-Prozessen.
Für Cytracon ist deshalb nicht die Modellgrösse entscheidend, sondern die Frage: Wie oft liefert das System die richtige Antwort, auf welcher Quelle basiert sie, und wann muss ein Mensch übernehmen? Wer diese drei Punkte nicht misst, verwaltet Bauchgefühl statt Qualität.
Der passende Use Case: Support vor Verkauf vor Technik
Nicht jeder Einsatz braucht die gleiche Messlogik. Ein interner Wissensassistent für den First-Level-Support hat andere Anforderungen als ein Chatbot im Onlineshop oder ein Assistent für das Vertriebsteam.
- Support: Ziel ist schnelle, korrekte Ersthilfe mit sauberer Eskalation bei Unsicherheit.
- Verkauf: Ziel ist qualifizierte Vorberatung, etwa zu Sortiment, Verfügbarkeit oder passenden Leistungen.
- Technik: Ziel ist reproduzierbare Orientierung über Prozesse, Tickets, Dokumentation und Systemgrenzen.
Ein Schweizer Maschinenbauer etwa kann intern einen Assistenten für Service-Dokumente einsetzen. Der Nutzen entsteht nicht dadurch, dass der Bot „intelligent“ klingt, sondern dass er Monteure und Support-Mitarbeitende in Sekunden zur richtigen Anleitung führt und bei unklaren Fällen sauber an die Fachstelle übergibt.
Die drei Kennzahlen, die wirklich helfen
Für den Betrieb eines AI-Chatbots empfehlen sich drei Kernkennzahlen, die sich gut kombinieren lassen:
- Antwortqualität: Wurde die Frage fachlich richtig beantwortet? Das lässt sich per Stichprobe, Scorecard oder Review-Workflow bewerten.
- Quellenabdeckung: Stützt sich die Antwort auf aktuelle und zugelassene Inhalte? Gerade bei RAG-Systemen ist das zentral.
- Eskalationsquote: Wie oft wird korrekt an einen Menschen übergeben? Zu wenig Eskalation ist riskant, zu viel Eskalation macht das System nutzlos.
In vielen Projekten ist eine erste brauchbare Zielgrösse nicht „maximale Automatisierung“, sondern eine hohe Trefferquote bei klar begrenztem Scope. Ein Bot, der 70 Prozent der Standardfälle sauber löst und die restlichen 30 Prozent korrekt übergibt, ist im Betrieb oft wertvoller als ein System, das überall halb gut antwortet.
Vorher/Nachher im Alltag
Vorher: Mitarbeitende suchen in Wissensdatenbanken, fragen Kolleginnen und Kollegen oder beantworten dieselbe Kundenfrage mehrfach. Die Qualität schwankt, und Wissen bleibt in Köpfen oder PDFs stecken.
Nachher: Der Chatbot liefert eine Antwort mit Quellenhinweis, markiert Unsicherheit und startet bei Bedarf einen klaren Übergabeprozess. Dadurch sinkt die Suchzeit, und der Mensch wird nur dort eingebunden, wo Fachwissen oder Verantwortung nötig ist.
Das funktioniert aber nur, wenn die Inhalte gepflegt werden. Veraltete Preislisten, alte Rückgaberichtlinien oder nicht mehr gültige Produktdaten sind die häufigste Ursache für schlechte Bot-Qualität. Ein gutes Modell löst kein schlechtes Inhaltsmanagement.
Checkliste für den Go-live
Vor dem produktiven Einsatz sollte ein Chatbot mindestens diese Punkte erfüllen:
- Die erlaubten Themen sind klar abgegrenzt.
- Die Quellen sind freigegeben, versioniert und aktuell.
- Unklare Fragen führen zu einer menschlichen Übergabe.
- Antworten werden mit einem Review-Set regelmässig geprüft.
- Fehlantworten, Halluzinationen und Eskalationen werden protokolliert.
- Es gibt einen Fallback, falls das LLM oder die Datenquelle ausfällt.
Gerade bei Unternehmenswissen ist Governance kein Zusatzthema, sondern Teil des Produkts. Rollenrechte, Freigaben und Protokollierung gehören von Anfang an dazu. Cytracon setzt solche Assistenten deshalb nicht als isolierte Chat-Oberfläche auf, sondern als Prozessbaustein mit klaren Regeln.
Entscheidungsbaum: Automatisieren oder übergeben?
Eine einfache Entscheidungslogik hilft im Betrieb:
- Ist die Frage im freigegebenen Scope? Wenn nein, direkt an Menschen übergeben.
- Gibt es aktuelle, passende Quellen? Wenn nein, keine erfundene Antwort ausgeben.
- Ist die Antwort mit hoher Sicherheit belegbar? Wenn nein, Rückfrage oder Eskalation.
- Hat der Nutzer ein kritisches Anliegen? Wenn ja, immer menschliche Kontrolle vorsehen.
Damit lässt sich der Bot nicht nur technisch, sondern auch operativ steuern. Das ist besonders wichtig in Support- und Vertriebsprozessen, wo eine falsche Antwort sofort Kosten verursacht oder Vertrauen zerstört.
Fazit: Qualität ist ein Betriebsmodell
Ein AI-Chatbot ist kein einmaliges Projekt, sondern ein laufender Service. Wer ihn messen will, braucht klare Ziele, saubere Inhalte, regelmässige Reviews und einen ehrlichen Übergabepfad. Dann wird aus generativer KI ein Werkzeug, das Mitarbeitende entlastet und Kunden schneller ans Ziel bringt.
Wenn Sie einen AI-Chatbot für Support, Verkauf oder interne Wissensarbeit aufsetzen oder bestehende Antworten systematisch verbessern möchten, unterstützen wir bei Cytracon bei Architektur, Governance und Betrieb. Mehr dazu finden Sie auf unserer Kontaktseite.





