Es gibt eine verführerische Vorstellung davon, wann man einem KI-Werkzeug vertrauen kann: dann, wenn es keine Fehler mehr macht. Erst wenn die Maschine zuverlässig richtig liegt, so das Argument, gibt man ihr die Verantwortung. Das klingt vernünftig, ist aber der falsche Massstab. Ein KI-System, das BPMN-Modelle erzeugt oder Prozesse umbaut, wird — wie jeder Mensch auch — gelegentlich danebenliegen: eine Verzweigung falsch verstehen, einen Sonderfall übersehen, eine plausible, aber sachlich falsche Struktur vorschlagen. Die entscheidende Frage ist deshalb nicht, ob das passiert, sondern was dann geschieht. Und die Antwort darauf ist keine Frage der Modellgüte, sondern der Konstruktion des Werkzeugs.
Die These dieses Artikels: Vertrauen entsteht nicht durch Fehlerfreiheit, sondern durch Kontrolle. Und Kontrolle lässt sich nicht anordnen, sie muss erzwungen werden — durch die Architektur des Werkzeugs, nicht durch gut gemeinte Empfehlungen an seine Nutzer. Zwei ganz unterschiedliche Quellen führen zu genau diesem Schluss: die Automationsforschung der letzten Jahrzehnte und die jüngste europäische Regulierung.
Der blinde Fleck heisst Automation Bias
Man könnte meinen, das grösste Risiko beim Einsatz von KI sei, dass sie zu schlecht ist. Die Forschung zur Mensch-Automatik-Interaktion zeigt seit langem das Gegenteil: Ein grosses Risiko liegt darin, dass Menschen der Automatik zu sehr vertrauen.
Raja Parasuraman und Victor Riley haben dieses Feld in ihrer viel zitierten Arbeit Humans and Automation: Use, Misuse, Disuse, Abuse (Human Factors, 1997) systematisiert. Sie beschreiben unter anderem zwei Phänomene, die für unser Thema zentral sind. Das eine ist Complacency — eine übermässige Nachlässigkeit, die sich einstellt, wenn eine Automatik über längere Zeit zuverlässig funktioniert: Der Mensch überwacht sie immer weniger aufmerksam. Das andere ist der Automation Bias — die Neigung, einem maschinellen Vorschlag zu folgen, gerade weil er von der Maschine kommt, und dabei die eigene, widersprechende Information zu unterdrücken.
Beide wirken tückisch zusammen. Je besser ein System im Normalfall arbeitet, desto stärker sinkt die kritische Wachsamkeit — und desto grösser wird der Schaden im Ausnahmefall, in dem die Maschine falsch liegt und niemand mehr genau hinschaut. Das ist keine Charakterschwäche einzelner Anwender, sondern ein robustes, wiederholt beobachtetes Muster menschlichen Verhaltens im Umgang mit Automatik. Wer ein KI-Werkzeug baut, muss davon ausgehen, dass seine Nutzer genau so reagieren werden.
Für die Prozessmodellierung heisst das: Ein Werkzeug, das der KI erlaubt, ihre Vorschläge direkt und unauffällig in das massgebliche Modell zu schreiben, arbeitet dem Automation Bias in die Hände. Der bequemste Pfad — einfach übernehmen, was die Maschine erzeugt hat — wird zum Standardpfad. Und der Standardpfad ist der, den müde Menschen unter Zeitdruck nehmen.
Die Regulierung zieht nach: menschliche Aufsicht als Pflicht
Was die Forschung als empirisches Muster beschreibt, hat der Gesetzgeber inzwischen in eine Anforderung übersetzt. Die Verordnung (EU) 2024/1689, gemeinhin als KI-Verordnung oder AI Act bekannt, verlangt für Hochrisiko-KI-Systeme ausdrücklich menschliche Aufsicht. Artikel 14 trägt genau diesen Titel und schreibt vor, dass solche Systeme so gestaltet sein müssen, dass sie während ihres Einsatzes von natürlichen Personen wirksam beaufsichtigt werden können.
Bemerkenswert ist die Stossrichtung: Der Gesetzgeber begnügt sich nicht damit, dass ein Mensch irgendwo im Prozess anwesend ist. Die Aufsicht muss wirksam sein — die beaufsichtigende Person muss die Fähigkeiten der Automatik richtig einschätzen, ihre Ausgaben hinterfragen und im Zweifel eingreifen oder den Vorgang stoppen können. Und der Verordnungstext benennt ausdrücklich die Gefahr, der vorgebeugt werden soll: das automatische oder übermässige Vertrauen in die von einem KI-System gelieferten Ergebnisse — jene „automation bias“, die Parasuraman und Riley knapp drei Jahrzehnte zuvor beschrieben haben. Forschung und Recht treffen sich hier auf denselben Befund.
Nun ist nicht jedes Modellierungswerkzeug ein Hochrisiko-System im Sinne der Verordnung. Aber das Prinzip, das der Gesetzgeber für die kritischen Fälle zur Pflicht macht, ist als Konstruktionshaltung überall dort sinnvoll, wo eine KI Artefakte erzeugt, aus denen später bindende Konsequenzen folgen — und ein Prozessmodell, aus dem Code, Tests und Betrieb abgeleitet werden, ist ein solches Artefakt. Die Regulierung formuliert damit einen Anspruch, den gute Werkzeuge ohnehin erfüllen sollten.
Aus zwei Befunden ein Konstruktionsprinzip
Legt man beides nebeneinander — den empirischen Automation Bias und die regulatorische Pflicht zur wirksamen Aufsicht —, ergibt sich ein klares Konstruktionsprinzip, das über eine blosse Empfehlung hinausgeht:
Die KI muss vorschlagen. Der Mensch muss entscheiden. Und das Werkzeug muss diese Trennung erzwingen, nicht bloss empfehlen.
Der letzte Halbsatz ist der eigentliche Punkt. Eine Empfehlung — „bitte prüfen Sie die Vorschläge sorgfältig“ — läuft genau gegen jene menschliche Neigung an, die die Forschung beschreibt. Sie appelliert an Wachsamkeit in einem Moment, in dem Wachsamkeit systematisch nachlässt. Erzwingen heisst dagegen: Der bequeme Pfad und der sichere Pfad müssen derselbe sein. Die Übernahme eines KI-Vorschlags in die massgebliche Wahrheit darf nicht der Weg des geringsten Widerstands sein, sondern muss eine bewusste, sichtbare, benannte Handlung sein — eine, die man nicht versehentlich tut.
Technisch übersetzt sich das in eine einfache, aber folgenreiche Trennung: Es braucht zwei getrennte Orte. Einen Arbeitsbereich, in den die KI frei schreiben darf — einen Skizzenblock, auf dem Entwürfe entstehen, verworfen und überarbeitet werden. Und eine kanonische Wahrheit — das offizielle Modell, aus dem alle Folgephasen lesen —, in die die KI nie unmittelbar schreibt. Der Übergang vom einen zum anderen ist der Moment der menschlichen Entscheidung.
Wie MESTRO die Trennung baut
Genau diese Trennung ist bei MESTRO nicht eine Betriebsempfehlung, sondern in die Architektur eingebaut. MESTRO ist ein KI-nativer Orchestrator für den gesamten BPM-Lebenszyklus, und die KI ist darin allgegenwärtig — sie erzeugt Standard-BPMN und -CMMN, schlägt Strukturen vor, baut Prozesse auf Zuruf um. Aber sie tut das immer nur an einem Ort: dem Work-Pad, dem Arbeitsbereich.
Das Work-Pad ist der Skizzenblock. Hier darf die KI schreiben, verwerfen, neu ansetzen — ohne Risiko, denn nichts davon ist verbindlich. Daneben steht das kanonische Diagramm: die offizielle Wahrheit des Prozesses, jenes Modell, aus dem Umsetzung, Tests und die nachfolgenden Lebenszyklus-Phasen lesen. Dieses kanonische Diagramm wird nie still überschrieben. Es gibt keinen Codepfad, auf dem ein KI-Vorschlag unbemerkt zur offiziellen Wahrheit wird.
Der Übergang vom Work-Pad zum kanonischen Diagramm heisst Promoten, und er ist immer eine bewusste, menschliche Handlung — kein Automatismus, kein Nebeneffekt, kein stiller Speichervorgang. Der Mensch sieht den Entwurf, vergleicht ihn mit der bisherigen Wahrheit und übernimmt ihn erst durch eine ausdrückliche Aktion. Davor steht eine Review- und Freigabestufe: Offene Punkte blockieren die Freigabe. Man kann einen Prozess nicht durchwinken, solange ungeklärte Fragen an ihm hängen.
Schematisch sieht der Fluss so aus:
(Schematische Skizze. Der Seitenpfad „verworfen“ ist gleichberechtigt: Ein Entwurf, der die Prüfung nicht besteht, erreicht die kanonische Wahrheit nie — er verschwindet folgenlos im Work-Pad.)
Man beachte, wogegen diese Architektur konkret schützt. Der Automation Bias wirkt, indem er den Übernahme-Pfad zum bequemsten macht. MESTRO dreht das um: Der bequeme Pfad endet im Work-Pad, folgenlos. Um Schaden anzurichten, müsste ein Vorschlag die bewusste Promote-Handlung und die Freigabe passieren — also genau jenen Moment der Entscheidung, den die KI-Verordnung „wirksame Aufsicht“ nennt. Und weil das kanonische Diagramm nie still überschrieben wird, kann die Complacency, die sich über viele reibungslose Interaktionen einschleicht, nicht dazu führen, dass eine Änderung unbemerkt in die offizielle Wahrheit sickert. Das Werkzeug erzwingt, was ein blosser Appell an die Wachsamkeit nicht durchhalten würde.
Wichtig ist die Rollenverteilung dahinter. Die KI wird hier nicht entmachtet — sie bleibt ein starker, allgegenwärtiger Vorschlagsgeber, der die stumpfe Arbeit übernimmt: konformes BPMN und CMMN erzeugen, Varianten durchspielen, Struktur anbieten. Was beim Menschen bleibt, ist die Entscheidung. Die KI ist damit ein Verstärker der Urteilskraft, kein Autopilot. Das ist ein bewusster Unterschied: Ein Autopilot ersetzt den Piloten und lädt ihn zum Wegschauen ein; ein Verstärker vergrössert, was der Mensch ohnehin gut kann, und lässt ihm die Kontrolle über das, worauf es ankommt.
Wer den Fluss von der ersten fachlichen Idee bis zum lesbaren Modell im Ganzen nachvollziehen will, findet die vorgelagerten Bausteine in den Artikeln „Die KI, die BPMN spricht“ (wie die KI überhaupt zu konformen Modellen kommt) und „Schöne Diagramme sind kein Luxus“ (warum die Lesbarkeit dieser Modelle die Voraussetzung für jede sinnvolle Prüfung ist). Kontrolle setzt schliesslich voraus, dass der prüfende Mensch das Vorgeschlagene überhaupt versteht.
Fazit
Die Frage „Kann man dieser KI vertrauen?“ ist falsch gestellt, wenn sie auf Fehlerfreiheit zielt. Kein System — und kein Mensch — ist fehlerfrei. Die tragfähige Frage lautet: Behält der Mensch die Kontrolle, gerade dann, wenn das System sich irrt? Die Automationsforschung zeigt, dass wir Menschen dazu neigen, diese Kontrolle unter der Hand abzugeben, je reibungsloser die Maschine läuft. Die europäische KI-Verordnung macht daraus für die kritischen Fälle eine Pflicht zur wirksamen Aufsicht. Beides führt zum selben Konstruktionsprinzip: Die KI schlägt vor, der Mensch entscheidet — und das Werkzeug muss diese Grenze erzwingen.
Die Trennung von Arbeitsbereich und kanonischer Wahrheit, das bewusste Promoten und die blockierende Freigabe sind kein bürokratischer Ballast, der die KI ausbremst. Sie sind das Gegenteil: die Bedingung dafür, dass man die KI überhaupt frei arbeiten lassen kann. Wer weiss, dass kein Vorschlag ungeprüft zur Wahrheit wird, kann die Maschine mutig vorschlagen lassen. Vertrauen entsteht nicht, wenn die KI unfehlbar wird. Es entsteht, wenn der Mensch die letzte Entscheidung nicht aus der Hand geben kann, selbst wenn er es — müde, unter Zeitdruck — wollte.
Quellen & Weiterlesen
- R. Parasuraman, V. Riley: Humans and Automation: Use, Misuse, Disuse, Abuse. Human Factors 39(2), 1997, S. 230–253.
- Verordnung (EU) 2024/1689 (KI-Verordnung / AI Act), insb. Art. 14 „Menschliche Aufsicht“. https://eur-lex.europa.eu/eli/reg/2024/1689/oj
- M. Dumas, M. La Rosa, J. Mendling, H. A. Reijers: Fundamentals of Business Process Management, 2. Auflage, Springer, 2018.
- B. Silver: BPMN Method and Style, 2. Auflage, Cody-Cassidy Press, 2011. https://methodandstyle.com/
- B. Silver / S. Fischli: BPMN Methode & Stil, Zweite Auflage — deutschsprachige Ausgabe mit Handbuch zur Prozessautomatisierung, Cody-Cassidy Press. Zur deutschen Ausgabe
