Die Folge misst, was dabei herauskommt, wenn man einen Prozess beschreibt und die KI das Modell zeichnen lässt. Fünf Stufen, von «es lädt» bis «die KI fragt nach, statt still zu entscheiden». Mit dem Paket unten lässt sich der Versuch mit jedem Werkzeug nachmessen — ohne zu programmieren.
Dateien zur Folge
- Die Notiz zum Retourenprozess, so wie sie im Versuch verwendet wurde
- Die Aufgabe im Wortlaut — eine einzige Bitte an das Sprachmodell
- Anleitung und Prüfliste für die Stufen 1 bis 3 (PDF)
- Messblatt zum Eintragen der zehn Läufe (CSV)
- Dazu die drei sich widersprechenden Unterlagen für Stufe 4 und 5
Frei verwendbar, auch in eigenen Schulungen. Weiterverkauf und Weitergabe als eigenes Material ausgeschlossen.
Was gemessen wurde
Der Versuch nimmt einen alltäglichen Prozess — eine Retoure im Onlinehandel — und gibt ihn fünf Sprachmodellen zu modellieren. Drei Arten von Eingaben: ein sauberer Text, eine Notiz aus dem Gedächtnis, und drei Unterlagen, die sich bewusst ein wenig widersprechen. Jede Variante zehnmal, immer mit derselben Bitte. Über 170 Modelle, jedes automatisch geprüft.
Gemessen wird an fünf Stufen, die aufeinander aufbauen: Lädt das Ergebnis überhaupt? Kommen alle Fälle vor oder nur der Normalfall? Kommt zweimal dasselbe heraus? Ist nichts erfunden? Und — die Stufe, auf die es ankommt — fragt die KI nach, wenn die Quellen sich widersprechen, statt still zu entscheiden?
Selbst nachmessen
Die Stufen sind einfach genug, um sie mit jedem Werkzeug nachzumessen, ohne ein Programm zu schreiben. Zehnmal fragen, jedes Ergebnis in einem BPMN-Viewer öffnen, abhaken. Das Paket oben enthält alles dafür.
Die Prüfliste hört bei Stufe 3 auf, und das mit Absicht: Bis dorthin kann jeder mitmessen, mit jedem Werkzeug und jedem Modell. Lädt es? Ist der Ausnahmepfad da? Kommt zweimal dasselbe heraus? Das sieht man im Viewer und hakt es ab — kein Zugang, keine Programmierung. Genau deshalb taugen diese drei Stufen als Messlatte: Sie sind für alle dieselbe.
Ab Stufe 4 ändert sich die Art der Frage. Treue lässt sich erst prüfen, wenn mehrere Quellen vorliegen, die sich widersprechen — die drei Unterlagen dafür liegen im Paket. Und Stufe 5 lässt sich am Modell gar nicht ablesen: Sie fragt nicht, wie das Ergebnis aussieht, sondern ob das Werkzeug zurückgefragt hat. Wer still entscheidet, liefert ein tadelloses Diagramm; der Fehler ist im Ergebnis unsichtbar. Damit hört es auf, eine Eigenschaft des Sprachmodells zu sein, und wird eine Eigenschaft des Rahmens drumherum.
MESTRO setzt an allen fünf Stufen an, jeweils dort, wo die Stufe entschieden wird: Schema und Prüfschleife bei Stufe 1, die Methode bei Stufe 2, Stilregeln und Layout-Konvention bei Stufe 3, der Quellen-Abgleich bei Stufe 4 und die Frage an den Menschen bei Stufe 5. Ansetzen heisst nicht erreichen — die Stufen 3 und 5 sind in diesem Versuch noch offen. Aber es zeigt, wo die Arbeit liegt: nicht am Sprachmodell, sondern am Rahmen.
Das Video zur Folge erscheint in Kürze auf dem Kanal, der ausführliche Artikel folgt hier. Die Dateien oben sind vollständig.
