Governance
Freigabe ist kein Formular
Kontrolle über autonome Systeme funktioniert dann, wenn jede Handlung eigene Regeln und Grenzen hat. Entscheidend ist, was ein Fehler bei dieser Handlung kosten würde, statt das gesamte System hinter einer einzigen Freigabe zu blockieren.
Governance ist in Atlas keine Schranke um das System herum. Jede einzelne Handlung, die das System ausführen kann, hat ihre eigenen Regeln und Grenzen. Diese Grenzen ergeben sich aus drei Fragen zur Handlung selbst: Lässt sie sich rückgängig machen? Was kostet sie, wenn sie falsch ist? Und wie weit reicht sie?
Diese drei Antworten entscheiden, ob eine Handlung selbstständig läuft, nach der Freigabe einer benannten Person läuft oder nie ohne einen Menschen läuft. Berechtigungen, Freigaben und das Protokoll gehören zum Fundament, auf dem jeder Einsatz von Atlas steht, und kein Einsatz kann sie abschalten.
Eine Schranke um das System versagt in beide Richtungen
Der übliche Weg, Automatisierung zu steuern, ist ein Schalter. Entweder bittet das System um Freigabe, bevor es handelt, oder nicht. Das ist leicht zu erklären und leicht zu prüfen, und es versagt auf zwei vorhersehbare Arten.
Stellt man den Schalter auf „alles freigeben“, erzeugt das System eine Warteschlange. Nach wenigen Wochen geben die Menschen, die sie abarbeiten, Dutzende Routinehandlungen am Tag frei und lesen sie nicht mehr. Ein Klick, der eine Rechnungskorrektur freigibt, sieht genauso aus wie ein Klick, der eine vertragliche Aussage an einen Kunden freigibt. Wenn zum ersten Mal etwas Ernstes durchgeht, zeigt das Protokoll, dass ein Mensch es freigegeben hat, und niemand im Raum glaubt, dass dieser Mensch wirklich hingesehen hat.
Das ist schlimmer als gar keine Freigabe. Eine Freigabe, die niemand liest, ist keine Kontrolle. Sie ist der Nachweis einer Kontrolle, die nicht stattgefunden hat, und sie schiebt die Verantwortung auf den einen Menschen, der den Fehler am wenigsten hätte bemerken können.
Stellt man den Schalter anders herum, handelt das System frei bei allem, auch bei der Handvoll Handlungen, die niemand je delegiert hätte, wenn man einzeln gefragt worden wäre. Die meisten Organisationen merken das am Tag danach, legen den Schalter zurück, und dann nutzt niemand mehr das System.
Beide Fehlschläge haben dieselbe Ursache. Eine einzige Einstellung soll Handlungen steuern, die nichts gemeinsam haben, außer dass dasselbe System sie ausführt.
Drei Eigenschaften einer Handlung entscheiden, wie weit sie allein geht
Lässt sie sich rückgängig machen
Ein Feld in einem internen Datensatz zu korrigieren lässt sich in Sekunden umkehren. Eine Nachricht an einen Kunden lässt sich nicht zurückholen. Eine ausgelöste Zahlung lässt sich nicht ohne Kosten zurückrufen. Die Umkehrbarkeit steht an erster Stelle, weil sie entscheidet, ob ein Fehler eine Unannehmlichkeit ist oder ein Ereignis.
Was kostet es, wenn sie falsch ist
Manche Fehler kosten ein paar Minuten Aufmerksamkeit. Manche kosten eine Kundenbeziehung. Manche kosten Geld, und manche schaffen ein rechtliches Risiko. Die Kosten des Fehlers, nicht seine Wahrscheinlichkeit, bestimmen die Obergrenze dafür, wie viel Autonomie eine Handlung haben darf, denn ein seltener teurer Fehler ist genau die Art, die ein Konfidenzwert unterschätzt.
Wie weit reicht sie
Eine Handlung, die einen internen Datensatz berührt, bleibt im Unternehmen. Eine Handlung, die einen Kunden, einen Lieferanten, eine Bank oder eine Behörde erreicht, verlässt es. Was einmal draußen ist, steht für das Unternehmen, ob das jemand so gemeint hat oder nicht.
Legt man die drei zusammen, zeichnen sich die Klassen fast von selbst.
Einen Datensatz in einem angebundenen System lesen und Arbeit vorbereiten: ein Dokumententwurf, eine Nachricht, eine Analyse, eine vorgeschlagene Entscheidung. Umkehrbar, günstig, wenn falsch, und noch im Unternehmen. Das läuft, und es wird protokolliert.
In ein System zurückschreiben, dem eine Tatsache gehört, und alles, was an einen Kunden, einen Lieferanten oder eine Behörde geht. Schwerer umzukehren, und einmal draußen, steht es für das Unternehmen. Das wartet auf eine benannte Person.
Löschen, Zahlen, alles ohne Weg zurück und jeder Versuch des Systems, seine eigenen Zugriffe zu erweitern. Daneben steht eine feste Liste, die keine Regel eines Kunden delegieren kann: Preiszusagen, Rabatte, vertragliche Aussagen, Beschwerden, Datenschutzanfragen, alles, in dem ein Anwalt vorkommt. Das läuft nie allein, unabhängig davon, wie hoch die Sicherheit ist und wie die Konfiguration aussieht.
Der Wert dieses Rasters liegt nicht darin, dass es kompliziert ist. Er liegt darin, dass es lesbar ist. Jeder im Unternehmen kann eine Handlungsklasse nehmen, drei Fragen dazu beantworten und vorhersagen, was das System tun wird. Wo jede Grenze standardmäßig liegt, ist aufgeschrieben und sichtbar; wo sie in einem bestimmten Einsatz liegt, entscheidet das jeweilige Unternehmen.
Eine Freigabe ist ein Nachweis, kein Klick
Eine Freigabe wird in Atlas als Nachweis einer Entscheidung gespeichert und nicht als die Tatsache, dass ein Knopf gedrückt wurde.
Sie hält fest, was ausgeführt wurde, in wessen Auftrag, auf welcher Grundlage und was es verändert hat, und sie hält die Begründung fest, auf der die Entscheidung beruhte, nicht nur das Ergebnis. So lässt sich im Nachhinein eine Frage beantworten, und es ist die einzige, die zählt, wenn etwas schiefgegangen ist: War diese Handlung in dem Moment, in dem sie geschah, erlaubt, nach allem, was in diesem Moment bekannt war?
Darunter liegen zwei Regeln. Eine Prüfung, die sich nicht abschließen lässt, ist eine Ablehnung, niemals eine Erlaubnis: Wo sich die Befugnis hinter einer Handlung nicht feststellen lässt, weil ein Verzeichnis nicht erreichbar ist oder eine Regel sich nicht auswerten lässt, hält die Handlung an, statt fortzufahren. Wenn die Governance-Ebene versagt, dann so, dass nichts geschieht. Das ist ein bewusster Tausch von Verfügbarkeit gegen Kontrolle.
Und das Protokoll ist vollständig und nicht selektiv, es erfasst also auch die Entscheidungen, die eine Handlung erlaubt haben, und nicht nur die, die sie gestoppt haben. Die meisten dieser Einträge wird nie jemand lesen. Die, die gelesen werden, liest man im ungünstigsten Moment, und wer sie liest, braucht sie vollständig.
Kontrolle, die sich nicht erweitern lässt, ist keine Vorsicht, sondern eine Decke.
Autonomie wächst je Klasse, nicht je System
Weil die Kontrolle an jeder Handlungsklasse sitzt, kann die Autonomie auf dieselbe Weise wachsen.
Ein System wird nicht auf einen Schlag vertrauenswürdig. Beim Weiterleiten von Anfragen wird es das lange, bevor es beim Entwerfen von Antworten vertrauenswürdig wird, und beim Entwerfen lange, bevor es beim Versenden vertrauenswürdig wird. Jede Klasse kann sich für sich bewegen, wenn das Protokoll zeigt, dass das System diese Art von Entscheidung richtig trifft und dass sich seine Begründung prüfen lässt.
Was sich bewegt, ist, wo die Freigabe sitzt, nicht ob es eine gibt. Die Freigabe kann vom Einzelfall an den Rand einer Klasse wandern, sodass läuft, was innerhalb der Klasse liegt, und Ausnahmen eskaliert werden. Alles, was das Unternehmen verlässt, wird entworfen und geprüft, mit einem Menschen im Ablauf, als Regel und nicht als Ausnahme. Wie dieses Wachsen für ein Produkt eingestellt wird, je Absicht statt global, beschreibt ein eigener Beitrag über Signal.
Wie weit das geht, entscheidet das Unternehmen. Atlas sorgt dafür, dass es immer sieht, wo die Linie gerade verläuft, und sie immer zurücknehmen kann.
Der Einwand, den man ernst nehmen sollte
Das ist mehr Arbeit als ein Schalter. Jemand muss die Handlungsklassen durchgehen, die ein System ausführen kann, und zu jeder drei Fragen beantworten, und ein kleines Unternehmen mit einer Handvoll Prozesse könnte mit Recht finden, dass ein einziger Freigabeschritt für den Anfang genügt.
Das ist berechtigt, und für einen schmalen ersten Einsatz mag es sogar stimmen. Die ehrliche Antwort: Die Einordnung ist weniger zusätzliche Arbeit als Arbeit, die ohnehin immer stillschweigend getan wurde, von wem auch immer an diesem Tag Dinge freigegeben hat. Sie einmal aufzuschreiben ist günstiger, als sie nach jedem Vorfall neu zu entdecken, und nur so überlebt die Antwort, wenn der Mensch, der sie kannte, das Unternehmen verlässt.
Warum Kontrolle nicht die Bremse ist
Einem System, das über einen Schalter gesteuert wird, kann man immer nur so weit vertrauen wie seiner gefährlichsten Handlung. Jede andere Fähigkeit bleibt auf dieser Stufe gedeckelt, dauerhaft, denn es gibt keinen Weg, die Autonomie für die sicheren Handlungen zu erweitern, ohne sie auch für die unsicheren zu erweitern.
Ein System, das je Klasse gesteuert wird, hat keine solche Decke. Jede Art von Arbeit kann übergeben werden, wenn sie es sich verdient hat, und der Beleg dafür liegt im Protokoll und nicht in jemandes Eindruck. So gebaute Kontrolle begrenzt nicht, wie viel ein Unternehmen seinen Systemen übergeben kann. Sie ist es, die erlaubt, mehr zu übergeben.
Mehr dazu
Der Mechanismus, für den dieser Beitrag argumentiert, so wie er tatsächlich gebaut ist: wo jede Handlungsklasse standardmäßig liegt, was ein Mensch vor der Freigabe sieht und was das Protokoll danach festhält.