Zwei Dinge, die gleich heißen
„Wir setzen KI ein“ bedeutet zwei völlig verschiedene Sachen. Der Unterschied entscheidet über Datenschutz, Haftung und Aufwand — nicht über die Technik.
In fast jedem Haus wird bereits mit einem Sprachmodell gearbeitet: Jemand öffnet ein Chatfenster, fügt einen Text ein und liest, was zurückkommt. Das ist nützlich, und es ist nicht der Gegenstand dieses Kurses.
Hier geht es um den anderen Fall: Ihre Anwendung stellt die Frage. Ohne dass jemand hinsieht, im Takt der eingehenden Vorgänge, tausendmal am Tag.
Was sich dadurch ändert
| Ich frage die KI | Meine Anwendung fragt die KI | |
|---|---|---|
| Wer wählt aus, was hineingeht | ein Mensch, Satz für Satz | eine Zeile Code, einmal geschrieben |
| Wer sieht die Antwort zuerst | derselbe Mensch, sofort | oft niemand |
| Wer merkt einen Fehler | der Mensch, in derselben Sekunde | derjenige, den er trifft — später |
| Wie oft passiert es | ein paar Mal am Tag | so oft, wie Vorgänge kommen |
| Wer ist verantwortlich | der Mensch, der es tut | Ihr Haus als Anbieter der Funktion (Station 07) |
| Was kostet ein Irrtum | zehn Sekunden | einen Vorgang, einen Kunden, einen Vorfall |
WarumWarum die Fehlerquote gleich bleibt, die Wirkung aber nicht
Ein Modell, das im Chatfenster in 95 von 100 Fällen richtig liegt, liegt auch in Ihrer Funktion in 95 von 100 Fällen richtig. Die Technik ändert sich nicht. Was sich ändert, ist alles, was danach passiert.
Im Chatfenster sind die fünf Fehler fünf Momente, in denen ein Mensch stutzt, korrigiert und weitermacht. Sie kosten Sekunden und hinterlassen keine Spur.
In einer Funktion mit 800 Vorgängen am Tag sind dieselben fünf Prozent vierzig falsch eingeordnete Vorgänge — jeden Tag, achthundert im Monat. Sie hinterlassen sehr wohl eine Spur, nur bemerkt sie niemand, weil sie sich über alle Beteiligten verteilt: hier ein Kunde, der zweimal anrufen muss, dort ein Vorgang, der eine Woche liegt.
Für die Abnahme folgt daraus etwas Unbequemes: „Wir haben es mit zwanzig Beispielen probiert, es war gut“ ist keine Abnahme. Zwanzig Beispiele bei 95 Prozent bedeuten im Erwartungswert einen Fehler — den man auch mit Pech nicht sieht. Wer eine Aussage über die Quote braucht, braucht dreistellige Stückzahlen, und zwar aus dem echten Bestand, nicht aus ausgesuchten Fällen.
TiefeDie Zahl, die man stattdessen misst
Die Fehlerquote eines Modells ist schwer zu messen und altert bei jedem Modellwechsel. Die Kennzahl, die trägt, ist eine andere: der Anteil der Vorschläge, die ein Mensch übernommen hat.
Sie hat drei Vorteile. Sie fällt im Betrieb ohne Zusatzaufwand an (ein Feld im Protokoll). Sie misst das, was zählt — nicht Richtigkeit, sondern Brauchbarkeit. Und sie ist über Modellwechsel hinweg vergleichbar, weil sie am Ergebnis hängt und nicht am Modell.
Was man damit anfängt: Fällt sie nach einem Modellwechsel, war der Wechsel schlecht. Ist sie von Anfang an niedrig, hat das Vorhaben die Kandidatenprüfung nicht bestanden. Steigt sie über Monate, wird die Funktion angenommen — und dann darf man über eine höhere Automatisierungsstufe nachdenken (Station 04), vorher nicht.