The Mindmachine

Skeptizismus, Whisky und Politik

Büroklammern und das Ende der Welt

| 2 Kommentare

Clip Letztens bin ich auf ein kleines Browserspiel gestoßen, in dem es um Büroklammern geht. Klingt langweilig? Ist es vermeintlich auch erst mal. Das Spiel startet sehr banal mit einer minimalistischen Oberfläche, auf der man per Knopfdruck eine Büroklammer erzeugen kann. Und noch eine. Und noch eine. Das Interesse reicht gerade lang genug bis neue Features dazu kommen. Maschinen, Marketing, Geldanlagen und aus dem manuellen Klicken wird eine Firma, die Büroklammern herstellt. Das alles bleibt von der Grafik her spartanisch, es gibt aber immer wieder genug neue Dinge, die man herausfinden kann, um die Produktion zu erhöhen und um angefixt zu bleiben. Bis ins – so viel sei gespoilert – völlig groteske.  Die Zahlen und die Geschwindigkeit werden durch Unterstützung einer künstlichen Intelligenz (KI), in die man sich verwandelt, immer riesiger, bis schließlich nach ungefähr 1-2 Tagen das komplette Universum nur noch aus Büroklammern besteht. Einer Gesamtzahl selbiger, die sehr weit hinter allem liegt, was für uns auch nur ansatzweise vorstellbar ist.

Das klingt nach einem absurden Spaß (und das ist es auch), aber dahinter steckt durchaus mehr. Das Spiel basiert auf der Idee des paperclip maximizers, die Nick Bostrom formuliert hat. Darin geht es um eine KI, die zwar einerseits weit übermenschliche Fähigkeiten in Bezug auf das effektive Erledigen von Aufgaben hat, der aber andererseits die Fähigkeit fehlt, die Sinnhaftigkeit ihrer Aufgabe zu hinterfragen. Die ihr gestellte theoretische Aufgabe, Büroklammern zu produzieren, erledigt sie ohne wenn und aber immer effektiver und ohne Rücksicht auf die Konsequenzen. Damit vernichtet sie dann nicht nur erst unsere Ökonomie, unsere Lebensgrundlage und dann uns selber, sondern macht so lange weiter, bis alle Materie in allen Universen nur noch aus Büroklammern besteht.

Das mag grotesk klingen, ist aber nicht ganz aus der Luft gegriffen. In Teilen sind uns Computer schon lange überlegen. Jeder Taschenrechner ist in seinem engen Gebiet weitaus leistungsfähiger als wir. Diese Gebiete weiten sich ständig aus, bleiben aber trotzdem Inseln. Das mag einerseits beruhigend wirken, gibt es doch immer noch genug Bereiche, in denen Computer nicht an uns herankommen. Andererseits könnte aber genau darin die eigentliche Gefahr liegen. Gerade weil wir weder unser Gehirn noch die damit verbundenen abstrakten Fähigkeiten wie Bewusstsein oder ein Verständnis für Moral und Ethik verstanden haben, haben wir aktuell keine Idee davon, wie man Computern so etwas beibringen könnte, wenn man es denn wollte. Die Vorstellung einer echten KI mit einem Bewusstsein mag auch beunruhigend sein. Aber ohne ein solches könnte sie durchaus zu einem paperclip maximizer werden, was uns mit Sicherheit nicht weniger beunruhigen sollte. Vor allem deswegen, weil die Entwicklung nicht immer schneller voranschreitet, sondern weit mehr unter wirtschaftlichen Gesichtspunkten vorangetrieben wird als unter dem Sicherheitsaspekt. Das könnte sich hier als fatal erweisen.

Bei vielen Technologien ist learning by doing eine pragmatische Herangehensweise, die völlig ausreicht. Man probiert es aus, schaut sich die Fehler an und korrigiert sie. Es gibt aber Technologien, bei denen diese Strategie nicht angebracht ist, weil die Fehler so dramatisch sein können, dass sie nicht mehr korrigierbar sind. Eine KI verliert keine Fähigkeit mehr, die sie einmal erlernt hat. Hier muss man sich im Vorfeld so viele Gedanken wie möglich machen, so viele Fehler wie nur irgendwie denkbar sind vorausahnen und Strategien für ihre Vermeidung entwickeln, bevor man den Schalter umlegt. Bei der Mondlandung hat man das gemacht, bei der Kernenergie hat man gerade noch rechtzeitig damit angefangen.

Bei der Entwicklung von KI – egal ob eine echte, starke KI, die umfassende Intelligenz besitzt, oder bei schwachen Kis, die jetzt schon zig Aufgaben von uns übernehmen – tun wir das bislang nicht. Wir sollten damit anfangen, bevor wir den ersten Fehler machen, den wir nicht mehr korrigieren können.

2 Kommentare

  1. Viel richtig
    Ich hab bei mittlerweile 10 Durchläufen (bei aller optischen Langeweile (ich finde es immer noch faszinierend den verschiedenen Wachstumskurvern zuzugucken) immer noch den Spaß nicht verloren, Ab und zu fühlt man sich wie der Hohe Priester der Osterinseln. „Komm holz den letzten Baum noch ab, die Götter werden es richten“, wenn man 95% der Erdmaterie in Büroklammern verwandelt hat.
    Und das Spiel hat ja immer ne Antwort. Anders als damals im Pazifik. 😉

    Kleines PS: Ich hab ne andere Meinung zur Kernenergie. Nicht die, die vielleicht offensichtlich wäre (weiter so, statt seit Fukushima ist alles Scheiße), aber das würde hier den Rahmen sprengen.

  2. Das Problem ist nicht nur, dass wir unsere eigenen abstrakten Fähigkeiten nicht verstehen.

    Bei den aktuell sehr erfolgreichen Entwicklungen im Bereich neuronaler Netzwerke (Deep irgendwas), ist es z.B. auch so, dass wir gar nicht wirklich verstehen, warum genau die so gut funktionieren. Wir sehen nur – anhand der zugrundeliegenden Testmetriken (z.B. Spielstärke bei Brettspielen, Erkennen von Mustern in Daten, usw.) – dass sie gut funktionieren.

    D.h. auf der einen Seite: wir u.U. gar nicht wissen „wie“ wir denen etwas zusätzliches beibringen sollen. Es kann aber auch bedeuteten, dass wir irgendwann mal Antworten bekommen, die uns tatsächlich komplett vor den Kopf stoßen, weil sie absolut orthogonal sind, zu dem was wir gewohnt sind. Und es ist natürlich aus so, dass – im Gegensatz z.B. zur Kernenergie – immer weniger Aufwand notwendig ist, um KI-Technologien einzusetzen.

Schreibe einen Kommentar

Pflichtfelder sind mit * markiert.