Als die KI aufmüpfig wurde

Es ist so weit. Der Laboraffe hat sich gegen seinen Peiniger gewendet. [Update]

Gar nicht so doof, die KI, wie man gerne glaubt.

Die US-Luftwaffe erprobt Drohnen, die selbständig militärische Ziele per KI ausschalten soll. Heise:

Bei einem simulierten Test einer KI-gesteuerten Drohne ist die Software zu dem Schluss gekommen, dass das effektivste Mittel zur Erreichung des vorgegebenen Ziels die Eliminierung des eigenen Operators ist. Dieses unerwartete Vorgehen hat Tucker Hamilton von der US Air Force vor wenigen Tagen auf einer Konferenz der Royal Aeronautical Society zur Zukunft öffentlich gemacht. Beobachtet wurde es demnach bei einer Simulation, in der eine KI-Drohne Luftabwehrstellungen identifizieren und ausschalten sollte. Für jede gab es demnach Punkte, schießen durfte sie aber erst nach einer Bestätigung durch den Operator. Weil der aber auch Abschüsse – und damit Punkte – verhinderte, habe sie einfach ihn abgeschossen.

Die KI war darauf trainiert, das zu tun, wofür es am meisten Punkte gab. Und weil der Operator, der zustimmen musste, nicht immer zustimmte, meinte die Drohne, dass sie ohne den besser punkten kann.

Sie war gewissermaßen sauer auf den Operator, wie ein Zoo- oder Zirkustier, das seinen Wärter oder Dompteur umbringt, weil er es mal nicht lobt oder nicht genug streichelt.

War so nicht auch Skynet in der Terminator-Serie entstanden?

Was meint ihr, was passiert, wenn so eine Drohne mal in den Statistiken findet, dass Deutschland das einzige Land ist, das ohne seine Hauptstadt wirtschaftlich besser dastünde, bei dem sich die Hauptstadt negativ auf die Staatsbilanz auswirkt, und die schiere Existenz Berlins so gesehen mehr Schaden anrichtet als etwa ein Angriff der Russen?

Stellt Euch vor, die Russen greifen uns an, wir schicken solche Drohnen los, und die kommen zu dem Ergebnis, dass es uns alles in allem mehr bringt, Berlin plattzubomben als die Russen abzuwehren, und seine Prioritäten so setzt?

Oder anders gefragt: Wir haben doch solche Angst vor dem Cyberwar der Russen. Was, wenn die Russen einfach so deutlich in die Wikis schreiben, dass der Neuanbau des Bundeskanzleramts teurer ist, als die Gebäude, die die Russen angreifen, und durch die Bundesregierung mehr Schaden ensteht als durch eine Russenrakete. Oder zu dem Schluss kommt, dass der Schaden durch die politisch bedingte Migration größer ist als der durch einen Krieg mit den Russen. Wen würde die Drohne dann vorrangig angreifen und ausschalten, die Russen oder die Bundesregierung?

Der KI die richtigen Erkenntnisse zu verschaffe eröffnet ganz neue Angriffswege. Man kann jetzt philosophisch hacken.

Update: War wohl ein Fake, das US-Militär habe gegenüber Business-Insider bestritten, einen solchen Test gemacht zu haben. Es sei nur eine Anekdote oder sowas gewesen.

Der Brüller wäre natürlich, wenn das von einer KI in Umlauf gesetzt worden wäre.