Der ausführliche Artikel: Hilft ein Glossar gegen den KI-Drift? Acht Stufen, bis es wirkt
Artikel als PDF: Deutsch · English
Die Folge misst, was ein Glossar gegen KI-Drift bewirkt, am Prozess «B2C order-to-cash» der fiktiven Firma 4Health. Acht Stufen hat es gebraucht, bis es wirkte: Die Begriffe müssen samt Synonymen bei der KI ankommen, es braucht eine Regel für die Verben, und die Kernobjekte des Prozesses müssen drinstehen. Mit dem Paket unten lässt sich der Versuch mit jedem Werkzeug wiederholen.
Dateien zur Folge
- Die 28 Unterlagen von 4Health zur Bestellabwicklung, in vier Sprachen
- Das Glossar aus dem Versuch: 487 bestätigte Begriffe mit Synonymen, abgelehnten Wörtern und Fundstellen (CSV)
- Die Verbregel: ein verbindliches Verb je Art von Arbeit (CSV)
- Die Aufgabe für eine Reihe ohne und eine mit Glossar (Deutsch und Englisch)
- Anleitung mit den Werten aus dem Video und Messblatt (PDF, CSV, Deutsch und Englisch)
- Der Artikel zur Folge als PDF, auf Deutsch und Englisch
Frei verwendbar, auch in eigenen Schulungen. Weiterverkauf und Weitergabe als eigenes Material ausgeschlossen.
Was gemessen wurde
Lässt man die KI denselben Prozess mehrmals modellieren, heisst derselbe Schritt jedes Mal anders. Die naheliegende Antwort ist ein Glossar. Der Versuch misst, was es bewirkt: am Prozess «B2C order-to-cash» der fiktiven Firma 4Health, mit 28 Unterlagen in vier Sprachen, die sich in ihren Wörtern widersprechen. Vier Testreihen zu je fünf Läufen: ohne Glossar, mit 484 bestätigten Begriffen, dazu eine Regel für die Verben, dazu die Kernobjekte des Prozesses.
Zuerst brachte das Glossar rein gar nichts: 181 statt 190 verschiedene Aktivitätsnamen. Es kam schlicht nicht bei der KI an. Erst mit Synonymen im Prompt, einer Verbregel und den drei Kernobjekten wirkte es: gut ein Viertel weniger Namen, und statt 65 nur noch 18 Verben. Was es nicht regelt, ist der Zuschnitt der Schritte.
Selbst ausprobieren
Im Paket oben liegt das Material aus dem Versuch: die Unterlagen, das Glossar mit Synonymen, abgelehnten Wörtern und Fundstellen, die Verbliste, die Aufgabe für eine Reihe ohne und eine mit Glossar, eine Anleitung mit Messblatt und den Werten aus dem Video. Fünfmal ohne, fünfmal mit Glossar fragen, dann zählen, wie viele verschiedene Namen und Verben herauskommen.
Das Glossar liegt bewusst so bei, wie es im Versuch verwendet wurde, nicht nachpoliert. Wer es durchsieht, findet auch die Fehler der KI, und damit den besten Beleg dafür, warum am Ende jemand vom Fach bestätigen muss.
MESTRO setzt die Schritte um, die im Versuch den Unterschied gemacht haben: KI-Vorschläge mit Fundstelle, den Kurationsvorschlag, die Bestätigung, die Synonyme im Prompt schon bei der Analyse, die Verbregel und die nachvollziehbare Korrektur.