WIR INTERAGIEREN JEDEN TAG MIT TECHNOLOGIE – UND OBWOHL ICH MIR WÜNSCHEN WÜRDE, DASS ALLES EINFACH, REIBUNGSLOS UND SELBSTERKLÄREND ABLÄUFT, IST DAS SO GUT WIE NIE DER FALL. 

Vor allem der Umgang mit autonomen Systemen kann für Verwirrung sorgen. Doch erst mal der Reihe nach – fangen wir mit einem einfachen Beispiel an: Im Winter dreht meine Lebensgefährtin beim Starten ihres Autos gleich die elektrische Heizung auf Maximum. Im Laufe der Zeit habe ich gelernt, mir Kommentare hierzu lieber zu verkneifen – eine Erfahrung, die viele leidgeprüfte Ingenieure machen müssen.

Trotzdem überlege ich manchmal, wie ich ihr die Funktionsweise des Thermostats doch einmal näher bringen könnte. Denn für sie ist der Drehknopf ein Temperaturregler – dabei steckt viel mehr dahinter. Sie geht davon aus, dass das Auto am schnellsten warm wird, wenn man die Heizung volle Pulle aufdreht. Wenn es dann gemütlich warm ist, dreht sie den Knopf wieder herunter. Das funktioniert. Optimal ist es aber nicht. Und nichts bringt einen Ingenieur mehr ins Grübeln als eine Situation, in der es eine bessere Lösung geben könnte.

„ZU WENIG ODER ZU VIEL 
VERTRAUEN in ein autonomes 
System zu haben – beides 
kann zu PROBLEMEN FÜHREN“

Das elektrische Heizsystem ist ein relativ einfaches autonomes System. Es misst die Temperatur im Auto und schaltet sich ein, sobald diese unter den gewünschten Wert fällt. Ich stelle das hier vereinfacht dar, doch im Grunde tut das System nichts anderes als messen, rechnen und reagieren. Das Heizelement selbst kennt nur zwei Stufen: ein oder aus. Der Thermostat bläst zunächst mit voller Leistung, bis die gewünschte Temperatur erreicht ist. Dann beginnt er, zwischen ein und aus zu wechseln, sodass sich eine mittlere Temperatur einstellt. Wer sich auf den Thermostat verlässt, heizt das Auto genauso schnell wie bei manueller Regulierung. Nur muss die Temperatureinstellung nicht ständig angepasst werden, wenn man den Thermostat richtig nutzt. Das System heizt das Fahrzeug automatisch so schnell wie möglich auf und hält dann die gewünschte Temperatur. Daraus können wir lernen, dass den Nutzern einer bestimmten Technologie häufig nicht bewusst ist, wie sie tatsächlich funktioniert. Oft glauben sie, sie könnten es besser als die Maschine – obwohl dem in Wahrheit nicht so ist. Außerdem habe ich gelernt, dass „Mansplaining“, also wenn Männer Frauen die Welt erklären, noch unbeliebter ist als erklärbare KI.

Eine Methode zur Sicherstellung eines optimalen Betriebs besteht darin, den Nutzern die Kontrolle über ein System zu entziehen. Viele Jahre lang hatte ich das Vergnügen, in einem klimagesteuerten Bürogebäude zu arbeiten. Das autonome Gebäude verfügte über verschiedenartigste Sensoren und konnte zudem Fenster öffnen, kalte Luft zuführen und die Jalousien steuern. Das Gebäude gewann sogar einige Architekturpreise. Für mich bedeutete das: Ich hatte keinerlei Kontrolle über mein Büro. Das System entschied, wann die Fenster geöffnet wurden oder kalte Luft hereingelassen wurde. Das wäre fantastisch gewesen, wenn es funktioniert hätte. Doch wie so oft war den Ingenieuren nicht klar, wie die Nutzer tatsächlich arbeiteten.

Vor allem während den Meetings traten Probleme auf: Die Ingenieure hatten nicht bedacht, wie laut die Motoren beim Öffnen und Schließen der Fenster sind. Das häufige Ein- und Ausschalten war so laut, dass wir uns kaum noch verständigen konnten. Nachdem unsere wiederholten Beschwerden bei der Hausverwaltung unbeantwortet blieben, hackte ein fähiger Programmierer aus unserem Team das System, sodass wir es manuell steuern konnten. Am Ende gab die Universität den Nutzern offiziell Zugriff auf das Steuerungssystem.

„Was können wir aus all dem lernen?
Nun: Wenn zwei adaptive Systeme
versuchen, sich aneinander anzupassen,
ENDET DAS OFT IM CHAOS.“

Dabei kann es sich um zwei Maschinen handeln, die aufeinander reagieren, oder um Mensch und Maschine, die sich gegenseitig irritieren. Ingenieure können die Komplexität der Umgebungen und die Ideen der Nutzer nicht vorhersehen. Menschen versuchen, autonome Systeme zu umgehen, wenn sie mit ihnen unzufrieden sind. Kontrolle zu entziehen führt nur zu potenziell gefährlichen Umgehungsversuchen. Ich komme gleich zu einem weiteren Beispiel für die Kreativität, mit der Menschen autonome Systeme überlisten.

Das heißt jedoch nicht, dass die Nutzer immer im Recht sind. Mein Wunsch nach frischer Luft im Büro kann mit dem Bedürfnis meines Kollegen nach gemütlicher Wärme kollidieren. Außerdem konnte und sollte das autonome Gebäude in meiner Abwesenheit das Licht ausschalten und die Temperatur absenken. Wenn am Wochenende niemand im Büro ist, lohnt es sich nicht, es zu heizen. Was wir brauchen, ist ein intelligentes System, das die Aufgabe, für die es entwickelt wurde, in all ihrer Komplexität versteht. Es muss in der Lage sein, mit den Nutzern zu kommunizieren, damit sie den Betrieb von außen überblicken und bei Bedarf eingreifen können. Schließlich steckt das Leben voller Überraschungen.

Die Besatzung der „Aratere“ wusste, dass der Autopilot eingeschaltet war, und drückte sogar den entsprechenden Ausschaltknopf. Sie hatte jedoch vergessen, dass man den Knopf fünf Sekunden lang gedrückt halten musste. Es mag sinnvoll sein, ein versehentliches Auslösen dieses wichtigen Knopfs zu verhindern, doch es hätte andere Möglichkeiten gegeben, die Crew zu warnen: Eine auffällige visuelle Anzeige hätte den Status signalisieren können. Oder ein akustisches Signal hätte den Zustandswechsel anzeigen können. All dies hätte das fünfsekündige Drücken überflüssig machen können. In einer stressigen Situation erinnern sich Nutzer nicht immer an alle Details. Die „Aratere“ brauchte nur eine Minute, um vom Kurs
abzukommen und auf Grund zu laufen. Der Besatzung blieb also nur sehr wenig Zeit, um einzugreifen.

Die Besatzung der „Manawanui“ war sich nicht bewusst, dass der Autopilot eingeschaltet war. Als das Schiff nicht auf das Ruder reagierte, gingen sie davon aus, dass das Antriebssteuerungssystem ausgefallen war. Ich kann mir kaum vorstellen, unter welchen Druck man gerät, wenn man das Ruder dreht und sich nichts bewegt. Sollten Schiffe also auf Autopiloten verzichten? Auf keinen Fall. Auch Menschen machen Fehler und
Autopiloten können ein Schiff deutlich zuverlässiger steuern. Man könnte sogar argumentieren, dass ein Schiff den Autopiloten automatisch aktivieren sollte, wenn die Crew nicht mehr im Stande ist, das Schiff zu steuern.

Wir haben es hier mit einem multidimensionalen Problem zu tun. Die Besatzungen vertrauten dem Autopiloten zu sehr und versuchten, ihn zu spät auszuschalten. Als sie versuchten, die Kontrolle zurückzugewinnen, verhinderten die unzureichend konfigurierten Systeme, dass sie die Lage korrekt einschätzten und wieder übernehmen konnten. Zu wenig oder zu viel Vertrauen in ein autonomes System zu haben – beides kann zu Problemen führen. Die Kontrolle an das System zu übergeben und auch wieder an sich zu nehmen, ist ein wichtiger Punkt – und muss so sorgfältig gestaltet sein, dass dies auch in stressigen Situationen funktioniert.

Während die Fährkapitäne zu viel Vertrauen in ihre autonomen Systeme setzten, fehlt es den Bedienern von Tunnelbohrmaschinen manchmal genau daran. Jahrzehntelange Erfahrung kann dazu führen, dass Bediener autonomen Systemen misstrauen, was Effizienzverluste nach sich ziehen kann. Das Vertrauen von Bedienernzu autonomen Maschinen aufzubauen, wird Zeit brauchen.

Doch was passiert, wenn die Crew eines Schiffes oder Flugzeugs gar nicht weiß, dass ein autonomes System aktiv ist? So geschehen, als Boeing das „Maneuvering Characteristics Augmentation System“ (MCAS) in seinen 737-Max-Flugzeugen einsetzte. Das System tauchte im Flughandbuch nicht mehr auf. Das MCASSystem spielte eine entscheidende Rolle bei den Unfällen der Lion Air am 29. Oktober 2018 und der Ethiopian Airlines am 10. März 2019. Dabei verloren viele Menschen ihr Leben. Auch hier kämpften die Piloten um die Kontrolle über das Flugzeug – gegen ein autonomes System. Manchmal war ihnen nicht einmal klar, mit welchem System sie es genau zu tun hatten. In der Folge musste die gesamte Flotte der Boeing 737-Max Maschinen am Boden bleiben; ein strafrechtliches Ermittlungsverfahren wurde eingeleitet. Die geschätzten Kosten liegen in Milliardenhöhe.

Man könnte denken, dies sei das gefährlichste autonome System – doch die Luftfahrtindustrie ist sogar ein leuchtendes Vorbild in puncto Sicherheit, Technologie und Qualitätskontrolle. Was mir dagegen schlaflose Nächte bereitet, ist die Flotte selbstfahrender Autos, die auf unsere Straßen drängt. Bei Kraftfahrzeugen unterscheiden wir üblicherweise fünf verschiedene Automatisierungsgrade. Mercedes war 2024 der erste Hersteller, der die Genehmigung erhielt, Fahrzeuge der Stufe drei in den USA zu verkaufen, also Autos, in denen der Fahrer die Straße nicht dauerhaft überwachen muss. Trotz zahlreicher Tests mit Robotertaxis sind wir noch weit von einer großflächigen Einführung vollautonomer Fahrzeuge entfernt.

Das hält allzu sorglose Fahrer jedoch nicht davon ab, Gewichte an ihrem Lenkrad anzubringen, um dem Drehmomentsensor vorzugaukeln, sie hätten die Hände am Steuer. Nachdem mehrere Fahrer im Schlaf am Steuer erwischt wurden, entschieden einige Hersteller, zusätzlich interne Kameras einzusetzen, um den Fahrer zu überwachen. Damit stehen wir vor dem Problem, dass das Auto dem Fahrer nicht vertrauen kann – und der Fahrer dem Auto nicht. Was dieses Problem so viel gravierender macht, ist seine Dimension. Weltweit sind mehr als eine Milliarde Autos auf unseren Straßen unterwegs; jedes Jahr verlieren über eine Million Menschen ihr Leben im Straßenverkehr. Es wäre falsch anzunehmen, dass selbstfahrende Autos die Zahl der Verkehrstoten einfach nur erhöhen würden. Sie haben auch das Potenzial, viele Unfälle zu verhindern. Denn bei tödlichen Verkehrsunfällen spielen Alkohol und Drogen eine große Rolle. Selbstfahrende Autos können problemlos auf Alkohol verzichten und die Einhaltung von Geschwindigkeitsbegrenzungen lässt sich genau einstellen.

Wir werden abwägen müssen, wie viele Leben wir durch die Technik retten und wie viele wir ihr vielleicht opfern. Der Tod durch Roboter könnte damit bald als offizielle Todesursache geführt werden – mehr als 45 Jahre nach dem ersten Fall (Anm. d. Red.: als der US-amerikanische Fabrikarbeiter Robert Williams von einem Roboterarm erschlagen wurde).

Was wir jetzt brauchen, ist Ehrlichkeit und Transparenz. Wenn Unternehmen ihre Systeme als „Autopiloten“ oder „Full Self Driving“ bezeichnen, ist das bestenfalls irreführend. Hersteller autonomer Maschinen müssen uns in ihrer gesamten Kommunikation genau mitteilen, was ihre Systeme können – und was nicht. Andernfalls besteht die Gefahr, dass wir ihnen zu sehr oder zu wenig vertrauen. Mischformen der Kontrolle sind bekanntermaßen kompliziert und unter Stress machen Menschen Fehler. Unsere autonomen Systeme müssen so gestaltet sein, dass jederzeit klar ist, wer die Kontrolle hat. Ich freue mich auf den Tag, an dem weder ich noch meine Lebensgefährtin das Auto steuern müssen und wir einfach nur die atemberaubenden Landschaften Neuseelands genießen können.