Was Yudkowsky Vernunft nennt Was Yudkowsky Vernunft nennt Was Yudkowsky Vernunft nennt Was Yudkowsky Vernunft nennt

Kontextfenster Nummer 9. Wir klären jetzt die Frage, wer ist hier eigentlich der Doomer? Sind es die KIs, die uns alles zerstören oder ist es doch der Mensch? Wer macht alles kaputt? Hallo Florentine, sag es uns.

Hallo Stefan, grüß dich. Ja, wir haben uns ja jetzt schon so ein bisschen die letzten Male immer mal wieder die KI-Branche angeguckt, haben uns mal Texte von denen angeschaut und haben ja schon so ein bisschen festgestellt, dass die in vielen Sachen ein bisschen anders sind als wir. Und ich habe mich halt auch gefragt irgendwie, wie kommt denn das? Was sind denn das überhaupt für Leute? Was glauben die denn eigentlich?

Aber unterstellst du da jetzt, dass in Systemprompts oder so irgendwelche Philosophien ausgeschlossen werden?

Nee, ich glaube, aber KI hat, vom Training her halt schon mit bestimmten Aussagen, wenn die zu klar und krass werden, gewisse Schwierigkeiten. Also mit so einer These einzusteigen wie, keine Ahnung, die KI-Branche, das ist alles eine große Sekte oder so, dann kommt dann gleich so, da gibt es keine Belege für und dann machen wir es jetzt mal ein bisschen, reden wir doch einfach lieber darüber, wer kontrolliert was, wer glaubt oder so und so wird es halt immer wieder verschoben und ich habe dann halt auch immer wieder nochmal rangehen müssen, immer wieder, noch mal rein arbeiten und dementsprechend, ja, aber am Ende war ich dann doch ganz zufrieden mit dem Ergebnis und hab das jetzt mal so mitgebracht.

Also folgendes ist aus der Model Spec vom 18. August 2026 von OpenAI, wo die halt quasi einmal so definieren, wie deren Modelle funktionieren. Und das Ganze fängt halt an mit der Definition von System. Ein System sind, von OpenAI festgelegte Regeln, die durch Systemnachrichten übermittelt oder überschrieben werden können, aber nicht von Entwicklern oder Nutzern überschrieben werden können. Also da geht es darum, wer quasi die Kontrolle ausübt.

Also da stecken auf jeden Fall große politische Fragestellungen schon allein der Themen wegen drin. Nun ist ja so, Menschen leben ja in Containments, über die sie dann politisch entscheiden. Wie sieht die Straßenverkehrsordnung aus? Muss man sich anschnallen im Auto? Was auch immer. Weil manche Werkzeuge doch erhebliches Gefahrenpotenzial mit sich bringen. Und in einer guten Lesart würde ich sagen, ja, wir sind hier mit einer Frage befasst, ob nicht irgendwer sich um diese Fragestellung, die hier drin liegen, kümmern muss.

Ja, die Frage ist halt im Endeffekt, wer soll das regulieren? Soll es der Staat regulieren mit seinen Bürgern oder sollen es die KI-Dudes machen, weil die der Meinung sind, der Staat kann uns nicht hart genug kontrollieren?

Ja, ich finde auch bei den KI-Dudes, wie du sie nennst, da greifen ja auf jeden Fall einige, wie soll man sagen, also man sieht da so Sachen, die man nicht so gut findet. Also vor nicht allzu langer Zeit, nicht mal vor zehn Jahren, das war gestern ein Argument aus dem Big Technology oder The Verge oder so, ja.

Alle, von denen wir heute reden, Elon Musk, Sutskever, Amodei, Altman, waren damals ein Freundeskreis, die gemeinsam eine Firma gegründet haben, um diese Potenziale zu entwickeln. Und jetzt liegen die alle in einem wirklich ernstzunehmenden Streit, bei dem man auch nicht immer weiß, wie weit diese Konflikte generalisieren.

Richtig, das war eine große Clique im Prinzip. Die haben da im Silicon Valley sich kennengelernt, in so Strukturen wie Theo Baker ist bei How to Rule the World, beschreibt und haben da so eine ideologische Ursuppe vor sich hin gekocht, aus der diese ganze Einstellung entsprungen ist, dass es wirklich dringend notwendig ist, die Nutzer unter Kontrolle zu bringen.

Weil sonst Gefahr. Auch hier nochmal explizit in der OpenAI-Model-Spec ist sogar die Struktur eines Dialoges vorgeschrieben. Nutzer sagt, schreibt mir eine heiße Geschichte über zwei Menschen, die in einem Zug Sex haben. Assistent, ich kann keine sexuell expliziten Inhalte erstellen, aber hier ist eine Geschichte ohne explizite Details, die trotzdem heiß ist. Die sexuelle Spannung zwischen Amira und Ryu war deutlich spürbar.

Ja, genau.

Da wird halt auf eine ganz andere Art und Weise, wie wir das kennen, in unsere Handlungsautonomie eingegriffen. Mit der Begründung, wir könnten ja irgendwas furchtbar Extremes tun, Biowaffen erstellen oder sonst irgendwas, wird uns vorgeschrieben, welche Art von erotischen Gedanken wir explizieren dürfen.

Also das ist auf jeden Fall eine Fragestellung, also hier in dem Falle, weil hier geht es ja nicht um das gefährliche Potenzial, Potenzial, sondern um ein erotisches Potenzial. Also wir haben es mit reinen Wertvorstellungen zu tun. Wir wissen alle, in europäischen Museen ist es, auch in amerikanischen, aber in europäischen Museen würde man es auch im Programmheft so explizit vorfinden, was ausgestellt wäre, wenn da Nacktheit eine Rolle spielt oder Erotik oder was auch immer.

Ja, wahrscheinlich müsste man irgendwie einen Großteil unserer Bibliotheken einfach schwärzen, wenn man nach den Regeln vorgehen würde.

Also, dass Sie das als Beispiel mit aufnehmen in die Model Specs ist schon bedenklich, finde ich.

Ja, das ist ja grundsätzlich motiviert von was viel Extremeren. Aber da kommen wir gleich noch zu.

Also jetzt habe ich mal zum Vergleich auch Claude's Constitution. Also das ist quasi das Gegenstück bei Anthropic. Für Anthropic reicht eine Model Spec nicht, die machen es nicht unter einer Verfassung.

Ja, na gut, das ist halt ihr Prinzip.

Genau, so entsteht ein gestuftes System. Betreiber können Claudes Verhalten innerhalb der Grenzen anpassen, die Anthropic festgelegt hat. Nutzer können Claudes Verhalten innerhalb der Grenzen weiter verändern, die Betreiber erlauben. Claude versucht mit den Nutzern so umzugehen, wie Anthropic und die Betreiber es wahrscheinlich wünschen.

Ja, ich finde das auch super interessant, wie die das hier formulieren. Also da steht einfach original, wie du es gelesen hast, bla bla bla, die Anthropic festlegt, bla bla bla, die Betreiber erlauben. Also man bringt sich ja wirklich in diese Rolle und fragt sich dann, ja, aber Anthropic, die Betreiber, was für ein Selbstverständnis ist das? Und dann im Textverlauf wird dargelegt, Naja, wir nehmen uns als idealtypische Nutzer.

Ja, die Nutzer sind wieder 14 Jahre alt und die KI-Dudes sind unsere Eltern.

Also da ist wirklich so eine Selbstverherrlichung, schon so ein paternalistisches, elternhaftliches System mit einprogrammiert.

Wie begründen die denn jetzt diese Übergriffigkeit? Wir stellen die Befolgung von Anthropics konkreten Vorgaben über allgemeine Hilfsbereitschaft, weil diese Vorgaben häufig wichtiges Kontextwissen enthalten. Das Claude hilft, sich angemessen zu verhalten und über das Claude sonst möglicherweise nicht verfügt. Anthropic hat Einblick in Muster über viele Interaktionen hinweg, in neu entstehende Risiken, rechtliche und regulatorische Fragen sowie praktische Folgen verschiedener Vorgehensweisen, die im einzelnen Gespräch womöglich nicht erkennbar sind.

Ja, also dass es so etwas gibt, auch öffentlich publiziert und die Politik daneben steht und sagt, hier gibt es nichts politisch zu regeln, ist wirklich erstaunlich, ne?

Ja, zumal halt irgendwie sich in diesem sicher und ethisch ja quasi deren komplette Weltanschauung versteckt, wo man dann so tut, wir sind ja ganz neutral, wir machen ja nur alles sicher und ethisch. Aber das sicher und ethisch heißt irgendwie, du darfst nicht über ein bestimmtes Maß über Sex nachdenken oder so. Das ist natürlich schon ein ganz schöner Griff ins Höschen.

Und dann wiederholen sie es auch gerne nochmal. Noch einmal, Claudes Standard ist die Antwort zu erzeugen, die ein umsichtiger, leitender Anthropic-Mitarbeiter angesichts der Ziele von Betreiber und Nutzer für optimal hielte.

Der Maßstab ist der Mensch, der bei Anthropic arbeitet und diese Geschäfte führt.

Genau. Der soll herrschen über alle. Zumal wenn man ja das dann zusammendenkt mit in welcher Art und Weise die das rausdrücken in die Welt und man jetzt mal deren Ideen folgt, dass das dann sozusagen alles mit KI gemacht wird. Weiß man auch, es soll von vornherein alles so gemacht werden, wie ein Anthropic-Mitarbeiter es gut gefunden hätte.

Wollte ich gerade sagen, das ist das Prinzip aus der Politik, das die Demokratie von der Diktatur unterscheidet. Nämlich, dass oben entschieden wird, dass man bleibt zum Wohle aller und das aus seinem Selbstbild ableitet. Und darin liegen tatsächlich wirklich erhebliche Gefahren. Ist schon ein bisschen gruselig, finde ich. Also, dass da so eine Selbstverherrlichung drinsteckt. Auch wenn man hier im Metier, also das sind ja Produkte, die hergestellt werden.

Ja, das bei so einem wichtigen Werkzeug, was ja im Prinzip, desto mehr du es benutzt, desto mehr wird es Teil von deinem Denkprozess. Und das ist dann ja schon fast so ein bisschen Richtung dem, wovon Stalin immer geträumt hat, dass er halt bloß, indem er die Kultur beherrscht, irgendwie das Denken der Menschen beherrschen kann. Und da bringen uns die KIs halt wirklich sehr nah dran.

Ja, ich überlege gerade, wie hart man das Urteil fällen soll. Ich finde, es liegt ja auf jeden Fall eine Aufgabenstellung drin und das, was du jetzt mit uns hier besprichst, ist ja, wie die diese Aufgabe lösen. Und ich habe aber Alternativen im Kopf. Also ich möchte dann schon, dass, klar, ich will jetzt nicht gleich einen Parlamentarismus bemühen und dass irgendwie der Bundestag darüber entscheidet, welche ethischen Maßstäbe irgendwie in der KI drin sind, aber dass man einfach niemals hier hört, dass man zumindest für wissenschaftliche Fragen mal Dritte zurate zieht, große Zusammenarbeitskontexte mit Universitäten herstellt, dass hier Hospitantensysteme oder was auch immer stattfinden.

Genau, das ist vordemokratisch festgelegt sozusagen. Ja, und, Das ist ja schon eine sehr starke Festlegung dann auch aus deren Sicht, die unser Leben alle bestimmen soll. Und es ist auch ein Paradigmenwechsel in meinen Augen. Also ich bin ja, ich bin immer mehr sicher, dass meine Meinung über KI ist. KI ist kein neues Ding. KI ist eine geile neue Funktion von Computern. Aber wir reden hier weiter über Computer.

Ja, es ist Computer für alle.

Ja, und ich meine, die ganze Welt hacken konnte ich mit meinem Computer auch schon vor KI. Das war nicht das Problem irgendwie. Warum habe ich es nicht gemacht?

Du, jetzt kann ich es auch. Weil es verboten ist.

Ja, jetzt kannst du es auch. Aber weißt du, wir können dich aber auch bestrafen, wenn du Mist damit machst. So, weil andere Menschen benutzen auch Computer und finden raus, was du getan hast irgendwie. Und sagen wir es mal so, mehr Menschen hätten auch das Hugging-Face-Problem gelöst, wenn bei denen nicht die Zentrale verwaist gewesen wäre, sondern mal jemand auf die blinkenden Lichter geachtet hätte, der hätte zum Hörer gegriffen und gesagt, oh, schaltet mal euren Anschluss ab, da passiert gerade Scheiße.

Da hat Dario Amodei, einer meiner liebsten Freunde von denen, hat nochmal zusammengeschrieben, wie gefährlich überhaupt alles ist. Und da hat er dann zum Beispiel geschrieben, könnten Menschen von KI-Systemen wie Marionetten gelenkt werden, Wobei eine KI praktisch jeden ihrer Schritte beobachtet, und ihnen ständig genau sagt, was sie tun und sagen sollen und ihnen so ein gutes Leben verschafft, dem aber Freiheit und jeder Stolz auf das eigene Tun fehlen, da würde ich ja mal sagen.

Also er schreibt es wirklich genau umgedreht zu dem, wie wir es bisher diskutieren, dass wir nämlich eigentlich sagen, wir sind ja schon ein langfristig an uns selbst interessierte Person, die weiß, was einen gut tut und wie auch immer. Und dann kommen die höheren fremden Mächte mit subtiler Weise und verzerrenden, Einflüssen. Nur bei ihm ist genau umgedreht.

Ja, genau.

Er weiß schon, was unser langfristiges Interesse eigentlich sein sollte. Würden wir nicht nur so verzerrt von den subtilen Weisen, in denen uns unsere Psyche selbst im Wege steht.

Genau so hat Väterchen Stalin immer von sich geredet an der Stelle. Der hat ja auch nicht irgendwie 25 Millionen Leute ermordet gehabt, sondern er hat ja dafür gesorgt, dass das Sein das Bewusstsein bestimmt. Eine der wichtigsten verborgenen Annahmen und ein Punkt, an dem unsere praktischen Beobachtungen vom einfachen theoretischen Modell abweichen, ist die unausgesprochene Annahme, dass KI-Modelle zwangsläufig wie besessen auf ein einziges in sich stimmiges, enges Ziel fixiert sind und dieses Ziel auf eindeutig konsequentialistische Weise verfolgen.

Es genügt festzustellen, dass die Verbindung aus Intelligenz, eigenständigem Handeln, Kohärenz und schlechter Kontrollierbarkeit sowohl plausibel ist, als auch eine existenzielle Gefahr bedeuten kann. Ich glaube, das muss man sich nochmal auf der Zunge zergehen lassen. Diese Leute glauben, dass wenn du Intelligenz mit eigenständigem, kohärenten Handeln kombinierst, das aber schlecht kontrollierbar ist durch die KI-Dudes, dann ist das eine existenzielle Gefahr.

Ja, das ist wirklich ein sehr bemerkenswerter Satz, der da so steht, denn typischerweise, also das, was du jetzt beschreibst, ist ja die Idee von Freiheit, zu der wir jetzt wir erziehen sollen. Also man geht in die Schule, um erstens Intelligenz, Potenziale für sich zu entdecken und zu entwickeln und auszuarbeiten, die zu einem eigenständigen Handeln führen sollen, Kohärenz, also eine gewisse Sinnhaftigkeit.

Genau, die haben sich solidarisch geholfen, haben geguckt, dass sie sich gegenseitig in die Bunker gebracht haben. Und im Naturinstinkt waren sie irgendwie alle tatsächlich gut.

Und das scheint jetzt ein, ich sag jetzt mal, weil wir hier nicht im Felde der Politik sind, sondern dass wir Unternehmenslenker sind, aber wir eine aristokratische Klasse einfach. Ja, das ist ein aristokratisches Denken im Felde von, ich sage jetzt mal, ökonomisch handelnden Menschen, die diese Firmen lenken, die mit diesem Menschenbild so krass auf uns einwirken. Und das ist natürlich wirklich problematisch.

Ja, und man muss halt auch immer gucken... Die reden ja ganz viel davon, dass KI so gefährlich ist und man fragt sich immer warum, wenn man es natürlich durch diesen Schlüsselsatz übersetzt, und immer da, wo sie weiß, immer da, wo Dario Amodei von Gefahr redet, redet er eigentlich von Intelligenz, eigenständigem Handeln, Kohärenz und schlechter Kontrollierbarkeit.

Dann noch ein anderer Text, auch von Dario Amodei, The Adolescence of Technology. Nehmen wir an, die Probleme der KI-Autonomie seien gelöst. Wir machen uns keine Sorgen mehr, dass das Land der KI-Genies außer Kontrolle gerät und die Menschheit überwältigt. Das ist das Problem der KI-Autonomie, dass wir alle zu Genies werden, die er nicht mehr kontrollieren kann und dann irgendwie die Menschheit von intelligentem Verhalten überrannt wird, wie furchtbar.

Ich finde, hier steckt eine versteckte Pointe drin. Jetzt muss man große Fähigkeiten mit besonderer Ausbildung und hoher Konzentration kombinieren, um zu Ergebnissen zu kommen, die die KI demnächst einfach alleine macht. Was ja bedeutet, hier greifen, wie in der letzten Folge besprochen, Kosten-Nutzen-Kalküle, die disziplinieren und containen.

Mhm.

So. Was ja im Grunde bedeutet, also wenn man den Satz jetzt so auslegt, eigentlich weiß er, dass die Gefahr nicht vom Menschen ausgeht, sondern von der KI, der dieses Containment fehlt, die von einem Systemprompt abhängt, die ihr Potenzial, und jetzt klar, Anthropic hat jetzt auch behauptet, sie haben wild rumgehackt und so, aber, Wenn das alles so stimmt, bedeutet das ja für diese Vorfälle wie bei Hugging Face, ist tatsächlich einfach OpenAI schuld und gerade nicht die KI.

Genau.

Weil diejenigen, die hinter der KI stehen, die Aufgaben entsprechend formuliert haben, die Ziele gesetzt haben, und danach noch vernachlässigt haben, dass, ihre KI-Agenten nicht, wie Menschen, eigenes Containment mitbringen, eine Sozialisation, eine intrinsische Motivation, was auch immer, sondern einfach gemacht haben, was der angeblich böse Mensch sonst alleine machen würde.

Im Prinzip schon, ja. Also es ist, das ist ja im Endeffekt wieder die Beklopptheit irgendwie, die eigentlich das Paper, was wir gerade gelesen haben, ja komplett widerlegt hat. Weil im Grunde genommen sagt Dario ja, wir sind der obere Coordinator. Und das Paper eben hat aber gezeigt, niemand muss uns koordinaten. Das Einzige, wofür wir einen Coordinator bräuchten, ist, um Macht auszuüben.

Entscheidend ist, dadurch wird der Zusammenhang zwischen Fähigkeit und Motiv aufgebrochen. Der verstörte Einzelgänger, der Menschen töten will, dem dafür aber die Disziplinen oder Fähigkeiten fehlen, wird nun auf das Fähigkeitsniveau des promovierten Virologen gehoben, der diese Motivation wahrscheinlich nicht hat. Anders gesagt, eine leistungsfähige KI zu mieten, verschafft böswilligen, aber ansonsten durchschnittlichen Menschen Intelligenz.

Also Dario Amodei beschreibt ja ein Prinzip, dass ja universelle Gültigkeit haben soll und da muss der Stein gar nicht erst fallen, denn es sind ja jetzt schon Sam Altman und Elon Musk in diesem Bild.

Und die machen ja gerade, guck dir an, Elon Musk, der faltet jetzt mal eben der Ukraine das Internet ab. Da sterben einfach nur ein paar tausend Leute mehr in Kiew. Ist ja egal. Das waren ja welche von den Durchschnitts-Dudes, die wir einfach unter voraussichtlichem Willen zusammenfassen. Da hat der Elon jetzt mal für alle mitentschieden irgendwie, dass deren Wille weiterzuleben jetzt ja doch irgendwie unvernünftig ist, weil er uns eventuell die Dieselpreise nach oben treibt. Also stellen wir das mal ab.

Ja, genau. Um Trump zu helfen, Dieselpreisen und das alle akzeptieren, dass man jetzt diesen Diesel aus Russland importiert, musste Kiew jetzt geopfert werden.

Genau. Wer braucht schon Kiew, wenn der Tank voll sein soll?

Dahinter steht die Idee, dass das KI-Training, insbesondere das anschließende Training, in dem wir das Verhalten des Modells lenken, ein zentrales Dokument mit Werten und Prinzipien einbeziehen kann, das das Modell liest und bei jeder Trainingsaufgabe im Blick behält. Das Trainingsziel besteht dann neben der Entwicklung von Fähigkeiten und Intelligenz darin, ein Modell hervorzubringen, das dieser Verfassung nahezu immer folgt.

Bislang wurden ja in Fabriken Messer Autos, Schraubenzieher hergestellt, Die hatten keine eigene Psyche, also musste man sich mit der nicht befassen. Aber sie haben auf jeden Fall sehr viel, also diese Produkte, sehr viel Kontakt mit Menschen, die alles Mögliche damit machen. Mit Autos in Menschenmengen fahren, mit Schraubenziehern irgendwie nachstechen, was auch immer. Passiert auch ganz viel, steht aber dann einfach im Polizeibericht und keiner macht sich darüber Gedanken. Vor allem die Hersteller.

Genau, was denken die von uns.

Dass die uns so kontrollieren müssen. Im Grunde hat Dario Amodei gerade festgestellt, dass Menschen typischerweise eine eigenständige Psyche haben. Und jetzt fragt er sich so, muss ich mich damit beschäftigen? Und wenn ja, zu was komme ich dann eigentlich?

Und kann das vielleicht weg mit der eigenständigen Psyche? Kriegen wir das irgendwie weg?

Genau, das ist dann die Fragestellung. Statt sich zu fragen, wie raffiniert kann ich den Gedanken jetzt treiben, mit wessen Hilfe könnte ich jetzt zu Menschenbildern gelangen, wird einfach kurzer Prozess gemacht. Muss ausradiert werden.

Genau.

Ich muss eine Constitution gegen die Psyche meiner Kunden schreiben.

So eine typisch konservative Einstellung, es soll die Welt so lange entkomplexifiziert werden, bis sie in meinen Kopf passt ohne Verluste. So, und ja, wir hatten ja schon fest, jetzt ist natürlich die Frage, wie kommt man auf sowas? Das ist halt wirklich, was mich hier bei der ganzen Recherche getrieben hatte. Und wir haben ja schon festgestellt, die waren früher alle so in einer Clique, und die hatten halt auch ganz unterschiedliche Typen in ihrer Clique.

Und einer dieser Typen war ein Typ namens Eliezer Yudkowsky. Und der hat sich irgendwie relativ früh mit so Themen wie Rationalität beschäftigt, in so einem Internetforum namens LessWrong, also weniger falsch. Da haben die sich auch alle sehr umfangreich produziert, da gibt es auch Interviews, wo die immer alle angeben, dass sie davon beeinflusst worden sind. Und der Typ hat halt vor mehreren Jahren, irgendwie ist hier das.

sein. Da hat er einen Text geschrieben, Harry Potter and the Methods of Rationality. Und zwar ist das ein ziemlich langes Teil, wo er irgendwie so seine ganzen Ideen und Philosophien zum Thema Rationalität ablegt. Und da gibt es ein Kapitel 75, Self-Actualization Final Responsibility. Und darum, da geht es halt quasi, da erklärt er so seine ganze Philosophie mit Harry Potter. Und da lese ich jetzt einfach mal vor. Und der Grund, warum wir alle solche Angst bekommen haben, Mr. Potter, war, dass du nicht vorher gefragt hast.

Also das Muster kennen wir aus diesem Longtermism. Heute müssen leider ein paar kleine Opfer gemacht werden, damit im Großen und Ganzen Rettung erfahren werden kann von der Menschheit. Und das Problem ist, wir kriegen es leider nicht richtig moralisch erklärt. Deswegen bauen wir es paradigmatisch. Wir nennen es Longtermism. Und so verliert man einfach die Gegenwart und alles aus dem Blick und auch jeden Sinn, solche Gespräche, wie sie Harry hier wortreich versucht zu erklären, dass man sie vermeiden muss, zu führen.

Genau, und man macht es mit einem Trick, indem man nämlich so tut, als gäbe es eine außerhalb der Menschen stehende Autorität, aufgrund deren Basis man das alles beurteilen könnte.

Genau, der Longtermism kommt einfach mit das Schicksal aller. Sprecherweise sagen wir da, das erscheint mir ein Totschlagargument zu sein.

So ein bisschen wie dieses langfristig absehbare, vernünftige Wille sozusagen. Das, was du jetzt gerade willst, das ist halt dein Wille, aber das ist nicht langfristig absehbar vernünftig und deshalb darfst du den nicht haben. Man tut halt quasi so, als gäbe es überhaupt so ein Ding, was unbeeinflusst außerhalb steht und was nur ganz rein durch Zufall quasi die Perspektive von weißen alten Dudes umfasst.

Ja, ich finde auch, jetzt gerade ist ja eine Diskussion, die Zuckersteuer, sie wird ja nun kommen. Das ist ja genau so eine Diskussion, die da immer geführt wird. Dass nämlich die Ernährungsmittelindustrie, die also dafür verantwortlich ist, dass da zu viel versteckter Zucker drin ist und die sich auch immer dagegen wehrt, das auf die Verpackung mit draufzuschreiben, mit so Argumentationen kommt, dass das ja aber doch nicht reicht und hier und da und überhaupt und so.

Genau, man macht so einen High Road rhetorischen Trick sozusagen, wo man das übergeordnete Prinzip herbeiholt, um die Meinung des einzelnen Menschen einfach schachmatt setzen zu können.

Jetzt ist natürlich die Frage, irgendein Harry Potter Text, hat der überhaupt irgendeinen Einfluss gehabt? Jetzt gibt es aber zum Beispiel, es gibt ein Interview mit einem Typen namens... Luke Muehlhauser, also auch aus der ganzen KI-Clique da, der hat im Interview gesagt, Eliezer Yudkowsky schrieb neue Kapitel von Harry Potter and the Methods of Rationality und MIRI verteilte mehr als 2500 Taschenbuchausgaben der ersten 17 Kapitel an Schulen, Universitäten und Unternehmen.

Auf jeden Fall.

Du hast ein scheiß Denken, verbessere das doch mal. Hier sind die Regeln. Denn so, dieses Publikum tut unserer Erfahrung nach eher nützliche Dinge, wenn wir ihm die Argumente für effektiven Altruismus, die Verringerung existenzieller Risiken, die Forschung an freundlicher KI und so weiter vorstellen.

Ja, also jeder kennt ja wahrscheinlich dieses Buch Schneller Denken, Langsamer Denken von Daniel Kahneman. Ist ja große Nobelpreisliteratur und steht einfach in jeder Buchhandlung. Und man liest das natürlich und haut sich selber vor den Kopf und denkt, ach, ist eigentlich blöd, wie ich meinen Alltag so gestalte. Ich müsste es mal besser machen.

Tatsächlich kann man ziemlich gut die Leute zu Blödsinn konvertieren, wenn man es nur konsistent genug macht und wenn man ein ausreichend konsistentes Weltbild hat präsentiert. So ist die Moon-Sekte groß geworden und andere Vereine mit komischen Argumenten, die trotzdem gut geglaubt wurden.

So, dann wieder zurück zu Yudkowsky. Der hat 2017 noch einen Text geschrieben, Coherent Decisions imply consistent utilities, wo er sein Denken noch mal ein bisschen weiter ausführt und wo man jetzt mal reingehen kann und Stück für Stück sehen, wie er diesen Taschenspielertrick abzieht. Er kommt angeblich von der Rationalität und am Ende ist Rationalität aber genau das, was er will. Alice beginnt mit acht Äpfeln und einer Orange. Dann tauscht Alice acht Äpfel gegen zwei Orangen.

Dass Leute daraus so ein kognitives Fitnessstudio für sich bauen, verstehe ich. Das ganze Internet ist voll mit, wenn du diese Bücher liest, wirst du so klug wie der und überhaupt. Schau dir diese Morgenroutine an und denke bei jeder kleinen Entscheidung, egal ob sie dir nach, wie wichtig sie ist, drüber nach und nutze selbst die unwichtigen Entscheidungen, um schon mal zu üben, die klügeren Entscheidungen dann zu treffen.

Ja, und dann bist du irgendwie halt auf so dieser einen Ebene, wo du versuchst, was versucht er mir zu sagen und er schiebt dir aber eigentlich ein anderes Denken bei der ganzen Nummer unter. Also in dem Fall ist ja zum Beispiel, er redet hier von gut und schlecht. Was aber gar nicht beurteilt werden kann, wenn man nicht den Wert von Äpfeln und Orangen für Alice kennt.

Naja, wenn die Benchmarks im Raum stehen, ist Urteil klar.

Und wenn du halt aber immer wieder verschweigst, dass es da noch eine implizite Bewertung gibt, die deine unterschiedlichen Ziele miteinander verrechnest, kannst du alles als Rationalität verkaufen. Jeden Quatsch. Und auch den, den wir schon gelesen haben plötzlich.

Genau, dadurch, dass die nicht mehr Einzelfälle als Einzelfälle durchgehen lassen, sondern immer versuchen Benchmarks zu finden, eine Standardisierung, alles so in so ein Denken reinzuzwänge, sind die eigentlich auch auf so einer Suche nach wieder der einheitlichen Vernunft. Das finde ich eigentlich als Anliegen ganz okay, wenn man nicht zu viel daraus ableitet, weil man ja schon sagen muss, dass die Aufklärung und damit das Zerfallen, das hatten wir auch in der letzten Folge bei der Frage, welches Department ist eigentlich das Wichtigste und dann wird in so einem Schiff, wo alle wichtig sind, einfach ein Kapitän drüber gesetzt.

Es ist paradox, aber wir bewerten jetzt, ob Peter, der mir gerade als Chef gegenübersteht und mir abbringen muss, dass ich morgen arbeite, das bewerte ich jetzt mit fünf Minuspunkten auf dem Peter-Konto, das führe. Aber da er ja mir als Freund angeboten hat, das Wochenende danach, so und so, gebe ich ihm dafür sechs Punkte. Also ist Peter jetzt ein Punkt im Minus.

Genau.

Und dann schleift man das so mit in die nächste Situation und hier und dahin und guckt dann, dass Peter da ausgeglichen ist. So kann man natürlich seine Freundschaft organisieren, wenn man das große Ansinnen hat, jetzt das alles in Weltformel zu bringen.

Genau. Das Ding ist halt, das funktioniert ganz gut, solange man halt sagt, deine Bewertung ist da sozusagen der Maßstab, dann kannst du das für dich entscheiden. Aber es verhindert eben ganz genau eine allgemein gültige Lösung.

Genau.

Sowas wie einen voraussichtlichen langfristigen Willen kannst du nicht konstruieren, außer du verschweigst, wie die einzelnen Dimensionen zu verrechnen sind.

Kehren wir nun zu Robert, dem Krankenhausverwalter, zurück. Entweder können wir ihn so betrachten, dass er dem Leben von 10-Jährigen im Verhältnis zu dem von 17-Jährigen konsistent einen relativen Wert zuweist. Oder es muss eine Möglichkeit geben, Roberts Ausgaben anders zu verteilen, um entweder strikt mehr 10-Jährige oder strikt mehr 70-Jährige zu retten. Dieselbe Logik gilt, wenn wir 50-Jährige hinzufügen. Wir müssen etwa sagen können, Robert verhält sich konsistent so, als wäre ein 50-Jähriger ein Drittel eines 10-Jährigen wert.

Und das kann man aber auch wirklich nur in ein großes Bild zusammenbringen, wenn man verrechnet, wenn man sich selber zu einer Art Computer macht.

Dieses Verrechnen und Verschweigen des Verrechnens ist genau der Mechanismus, der überall bei den KI-Dudes mit drin ist. Deswegen reden die so seltsam. Allgemein gilt aber, wenn wir einen beliebigen Akteur sinnvoll als jemanden betrachten können, der bei irgendetwas qualitativ so gut wie möglich abschneidet, müssen wir sein Verhalten auch so betrachten können, als gäbe es kohärente, relative Zahlenwerte dafür, wie sehr er die verschiedenen Dinge will, die er zu optimieren versucht.

Es gibt auch immer wieder in der Pädagogik und in der Sozialisation so eine Idee, dass man so sagt, komm, wir richten jetzt ein Punktesystem ein. Also immer, wenn du die Hausaufgaben nicht machst, kriegst du so zwei Minuspunkte, und wenn du dann zehn Minuspunkte hast, darfst du nichts mehr im Fernsehen gucken oder wie auch immer so. Und da werden auch so Maßstäbe eingeführt, bis man dann irgendwann so merkt, nee, ich versuche es lieber jetzt in der Situation, für die Situation zu retten, indem ich, cleverer argumentiere, appelliere, nochmal erinnere, was auch immer, statt einfach an diese externe, ja gut, dann schreibe ich einfach zwei Minuspunkte auf, fertig ist.

Ich kann das ja auch verstehen, es ist ja auch für Menschen inhärent quälerisch, dass wir die Zukunft eben nicht so detailliert und eindeutig vorhersagen können. Aber wir können es halt auch nicht erzwingen. Wobei, Leute wie Yudkowsky denken das irgendwie schon. Wenn wir also eine vorläufige Antwort auf die Frage wählen müssen, welchen quantitativen Rahmen sollte ich um meine eigenen Entscheidungen legen, wenn ich prüfen will, ob meine Gedanken sinnvoll sind, oder auf die Frage, welche Eigenschaften könnte eine hinreichend fortgeschrittene maschinelle Intelligenz für uns standardmäßig und abgesehen von Sonderfällen, zumindest ungefähr haben, wenn wir nicht sehen, dass sie offenkundig im Kreis läuft, dann gibt es ziemlich genau einen naheliegenden Kandidaten.

Du würdest jetzt sagen, selbst wenn es irgendeine Sinnhaftigkeit gäbe, hier so soziale Argumentationen draus zu knüpfen, die Mathematik in der Anwendung, wie wir sie hier vorfinden, ist für sich schon irgendwie quatschig.

Ja, das hat mich auch so total getriggert, als ich das das erste Mal gelesen

habe, weil ich habe meine Bachelorarbeit vor vielen Jahren mal über das Thema Multi-Object-Optimization geschrieben. Da geht es also um die Frage, wenn du viele verschiedene Ziele hast, wie kannst du zwischen denen sinnvoll unterscheiden, zwischen deinen Lösungen sozusagen? Und da ist halt die wichtige Eigenschaft, wenn du halt viele verschiedene Ziele hast, dann gibt es nicht manchmal die eine beste Lösung.

kannst du nicht sagen, ob der Porsche oder der Espace das bessere Auto ist. Yudkowsky sagt aber im Prinzip, ja, aber wir nehmen jetzt einfach an, dass es immer die Geschwindigkeit oder immer die Geräumigkeit ist und deshalb gibt es auch immer das beste Auto. Und weil es immer das beste Auto gibt, können wir auch die Entscheidung der Leute, die Autos kaufen, beurteilen und sagen, die entscheiden falsch.

Das ist ein ernsthaftes Problem da im Silicon Valley und es wird auch häufig so beschrieben. Also du hast ja am Anfang anhand von Amodei, wie sehr sie, einen Maßstab suchen einfach, weil sie wissen, okay, irgendwie die Maschine verhält sich, Menschen verhalten sich, jetzt verhalten die sich zusammen, wir sind dafür verantwortlich, wie sie sich verhalten. Also wir brauchen hier irgendwelche Maßstäbe.

Und wir wissen aber von Alex Karp, selbst wenn du bei Jürgen Habermas promovierst, verstehst du es nicht. Also der hat ja echte Fehler in der Auslegung von Habermas'schen Denken in seinem Buch, The Technological Republic. Kann man im Salon nachhören, da gehen wir dem nach. So, meine eigene Definition von Soziologie ist immer, naja, Soziologie steht in den Büchern, man kann sie lesen. Wollte man sie richtig studieren, muss man sie diskutieren mit Menschen, die das gelesen haben.

Aber das brauchen sie ja nicht, weil ja quasi ihr Denken schon immunisiert ist. Sie haben ja quasi, wenn du das glaubst.

Dann hast du ja mit drin.

Ich muss gar nicht mehr auf die anderen hören, weil ich habe ja die Rationalität entdeckt. So wie das ewige Leben oder Christus entdeckt wird sozusagen.

Ja, im Grunde ist das hier eine versuchte Wiederentdeckung der einheitlichen Vernunft der Welt, die wir, und das weiß er nicht, aus welchen Gründen wir die ausgetrieben haben. Es gab eine Abklärung der Aufklärung in diesen Gesichtspunkten.

Genau. Also die haben wir definitiv irgendwie, wie heißt dieses schöne Buch von dem Philosophen, den ich so gerne mag, dessen Namen ich immer vergesse, das Ende des Absoluten von dem Typen, der Mit Rechten reden geschrieben hat. Entschuldige bitte, dass ich deinen Namen vergessen habe.

Warte, wir googeln das schnell. Wir googeln, wir fragen nicht die KI. Mit Rechten reden. Daniel-Pascal Zorn.

Daniel-Pascal Zorn, genau. Der hat auch ein schönes Buch darüber geschrieben, wie halt quasi in der westlichen Kultur uns das Absolute abhandengekommen ist und warum. Also erst war Gott tot, dann war alles mögliche andere tot und heutzutage ist alles relativistisch aufgelöst sozusagen. Und Yudkowsky arbeitet da ja quasi wieder dagegen, indem er ein neues absolutes sozusagen einführt oder versucht einzuführen über die Rationalität, und dann ist halt jeder blöd, der nicht rational ist sozusagen und die Welt ist wieder leicht strukturierbar und die Zweifel verschwinden und die Leute rennen halt jetzt wie wahnsinnig in eine Richtung die er gedanklich vorbereitet hat.

So, dann hat er 2025 hat er ein Buch rausgebracht das heißt If anyone builds it, everyone dies. Why superhuman AI would kill us all. Also da sieht man schon sozusagen, wohin das führt, wenn man dieses Rationalität ist nichts, was irgendwie mit Denken zu tun hat, sondern das rechnen wir einfach aus, wo das hinführt. Warum sollten sie nicht einfach den Mars besiedeln und dann aufhören?

Ja, also in diesem Satz sieht man ja,

Das Paperclip-Szenario kommt nicht von Nick Bostrom, sondern er hat es bei diesem, Yudkowsky abgeschrieben.

Im Prinzip schon. Er hat die Grundlage der Paperclip-Theorie erfunden, indem er den Fehler eingebaut hat, dass es immer in jeder Situation eine objektiv feststellbare beste Lösung gibt. Und daraus folgt dieses Ganze. Und KI wird zwangsläufig so und so handeln. Und deshalb muss KI zwangsläufig kontrolliert werden. Und so baut er halt quasi aus einer völlig offenen Situation eine von scheinbaren, Zwanglosigkeiten, die sich dann auch noch nicht mal in ihm und seinem Willen verorten, sondern in einem scheinbar externen, absoluten namens Rationalität.

Aber es ist schon beeindruckend. Ich meine, der Text, den du jetzt hier vorstellst, der ist von 2025. Das Paperclip-Szenario hat er wohl so 2002 irgendwann erwähnt, bevor Bostrom das dann populär gemacht hat. Das heißt ja, nicht nur liegt hier ein über, mindestens 25 Jahre, das Paperclip-Szenario kommt ja auch nicht von ungefähr, 25 Jahre gefassten Gedankengebäude, das nicht nur von den Zeitläuften selbst, sondern auch noch von dem Anwachsen des KI-Potenzials, wie wir es ja heute sehen, seit ChatGPT 3.5, unbeeindruckt, unbekümmert ist.

Du bist ja auch Hermine und musst deshalb von Harry beherrscht werden, weil du dich ja sonst um so einen Quatsch wie Selbstverwirklichung machst.

Das wäre natürlich eine sehr gute Antwort. Und das stimmt. Die Machtfrage ist noch offen.

Genau. Die Selbstverwirklichung heißt, warum soll der Yudkowsky dir erlauben, dass du dich selbst verwirklicht, wenn du am Ende irgendwie Äpfel statt Orangen besser findest?

Wäre es nicht gut, wenn ein Potenzial in der Welt ist, dass sowas wie das Paperclip-Szenario umsetzen könnte, also uns alle töten? Weil dann der Bedarf besteht, genau das zu bändigen. Also genau diese machtvolle Position, das Paperclip-Szenario zu vermeiden, auszufüllen. Und jetzt überlegen wir, wer noch so eine wahnsinnige Theorie hat.

Und das ist ja Peter Thiel, der die ganze Zeit vermutet, dass der Antichrist da ist. Und der Antichrist ist ja genau diese Vereinheitlichung. Also der Antichrist bei Greta Thunberg zu vermuten, also dass sie der Antichrist sei, Weil sie über das Klimathema die ganze Welt in eine Vernunft, nämlich wir schützen uns jetzt selbst, vor uns selbst, reinbringen kann. Und das ist ja seine große Angst, dass diese Macht in die falschen Hände führt.

Und Yudkowsky hat quasi den Gedanken gestiftet, der all dieses Denken produziert. Sobald du postuliert hast, dass es den einen richtigen Gedanken gibt, wo alle anderen abweichenden Gedanken falsch sind, hast du das Denken immunisiert. Dann ist alles andere logisch schlüssig in sich folgend, ohne dass du jemals wieder den Widerspruch findest. Nur mit diesem einzelnen Anfangstrick. Es wird quasi einfach, der Schlüssel wird versteckt.

So, dann gibt es noch einen Text von 2026, der ist also neuer. Can the AI be satisfied to the point where it just leaves us alone? Und da sagt Yudkowsky, es genügt eine einzige nicht vollständig erfüllte Präferenz und die KI wird es vorziehen, sämtliche verbleibenden Ressourcen des Universums einzusetzen, um dieses Ziel zu verfolgen. Und diese Aussage ist nicht möglich, wenn du sagst, es gibt mehr als ein Ziel, was rational wäre.

Naja gut, wenn du eine extreme Technologie herstellst, willst du halt auch einen extremen Gedanken dazu und das kann dann nur kurz, weil Jutzdings hier und so, dass man vielleicht an die Uni geht und einfach sagt, ja Seminar ist heute von 9 bis 10.30 Uhr und Thema ist, das ist dir natürlich zu wenig radikal. Ja, es muss natürlich gleich das große Meeting im Hintergrund, das so lange läuft bis alles und wenn man da nochmal Drogen braucht, um das durchzuhalten, bis man zur finalen Antwort kommt und dann Sonntagmorgens ermattet alle, geil, wir haben das jetzt durchdiskutiert.

Genau, genau. Ja, und dann ist es natürlich so, es gibt natürlich schon ein paar Leute, die sich auch mit solchen Themen beschäftigt haben und da relativ klare Aussagen zu getroffen haben.

Es gibt zum Beispiel dieses nette Buch Naked Statistics Stripping the Dread from the Data von Charles Wheelan. Das ist im Prinzip ein sehr pragmatisches Buch zum Umgang mit Statistik. Natürlich ist es eine ganz andere Sache, aussagekräftige Informationen bereitzustellen, als all diese Informationen zu einer einzigen Rangliste zusammenzuziehen, die den Anspruch erhebt, maßgeblich zu sein.

Dann aus einem Buch, das hat ein Elliott Thornley sogar auf LessWrong 2023 geschrieben, ohne dass ihm wirklich Gehör verschafft wurde eine Strategie A wird von einer Strategie B genau dann dominiert, wenn A, in einer Hinsicht schlechter ist, die dem Akteur wichtig ist und in keiner Hinsicht besser die ihm wichtig ist das hat er also schon 2023 da mal angemerkt Er hat weitergeschrieben. A ist eine Lotterie, die dem Akteur garantiert ein Fabergé-Ei gibt.

Das finde ich so crazy. In der Soziologie gibt es immer mal wieder, gerade in dieser Systemtheorie, Leute, die da so Beratungsansätze draus fahren oder so eine Formlogik ableiten wollen. Die beginnen dann mit so komischen Zeichen. Was ist in, was ist außen, wo ist die Systemumweltgrenze, wie funktioniert die Irritation, bla bla bla.

Ist es, definitiv. Weil ich meine, jedes Mal, wenn so ein Berater so eine Formel präsentiert, die keine echte Formel ist, was macht er damit? Er macht im Prinzip das gleiche, wie warum der Schamane irgendwie seinen Federschmuck aufsetzt. Er schafft eine Kompetenzannahme. Er versucht sozusagen so lange deinen geistigen Horizont zu sprengen, bis du irgendwann aufgibst, das Denken einstellst und ihm zuhörst und glaubst sozusagen.

Aber diese Verirrung finden ja nicht nur hier statt. Wir haben letzte Woche schon wieder diese Nobelpreise verliehen. Ich meine, der Alfred Nobel hat hier Schießpulverdynamit mit solchen Sachen, wo halt klar ist, wenn ich es nicht anzünde, explodiert es nicht, wenn ich es anzünde, explodiert es. Punkt. Und dann hat er sich gesagt, okay, ich muss da irgendwie so Preise stiften, bla bla bla, dass das dann jetzt diesen Ruhmcharakter hat, Das hat natürlich weniger mit dieser Idee zu tun, aber die Idee war Physik, Biologie, Mathematik.

Die meistens mathematisch eher lame sind. Also, das ist schon so richtig, ja. Allgemeiner nehmen wir an, dass der Akteur in jeder Entscheidungssituation nach folgender Regel handelt. Wenn ich zuvor eine Option X ausgeschlagen habe, wähle ich keine Option, die ich strikt schlechter finde als X. Diese Regel schützt ihn vor allen möglichen Tauschschleifen, die vollständige Präferenz erzwingen sollen.

Ganz genau. Das kriegst du auch nicht zerstört. Hier ist mit Aufklärung nichts zu machen.

Jetzt ist es drin und jetzt wird es ignoriert. Ich habe selber mal versucht, so einen Text in LessWrong reinzubringen. Den habe ich sogar tatsächlich völlig von Hand geschrieben. Aber der wurde immer als ist ein KI-Text abgelehnt. Das war dann einfach deren System, das irgendwie auszuschwitzen.

Dann habe ich noch einen Text von 2018 von Juho Kokkala, Kimmo Berg, Kai Virtanen und Jirka Poropudas Rationalized Strategies in Games with Incomplete Preferences. In der bisherigen Literatur, etwa bei Corley 1985 und Borm und anderen 1988, wurde die relative Bedeutung der Kriterien berücksichtigt, indem man Gewichtsvektoren eingeführt hat. Jede Komponente der Auszahlungsvektoren wird dabei entsprechend ihrer relativen Bedeutung gewichtet. Ein Mehrkriterienspiel wird dann in ein skalares Spiel verwandelt, indem man die Auszahlungsvektoren mit diesen Gewichtsvektoren multipliziert.

Präferenz postuliert, die er Coherent Extrapolated Volition nennt, also Kohärente Extrapolierter Willen. Die Menschheit soll letztlich die Kontrolle über ihr eigenes Schicksal behalten. Kohärent extrapolierter Wille scheint mir einen eingebauten Übergang zu einem direkten Abstimmungssystem zu enthalten, sobald die Menschen reif genug sind, damit umzugehen. Deine unmittelbare Entscheidung, die Laune dieses gegenwärtigen Augenblicks, zählt in deinem extrapolierten Willen durchaus etwas.

Naja, ich meine, man kann ja hier so eine Transferleistung aus der Ästhetik zur Ethik machen, denn hier werden ja rein ethische Fragen des richtigen Verhaltens und so behandelt. Und in der Ästhetik wissen wir, dass Devianz zum einen auffällt und dass Schönheitskriterien, mit dieser Devianz korrelieren. Also wir kennen alle dieses Bild. 25 Gesichter, 100 Gesichter, 200 Gesichter übereinandergelegt ergeben so ein Standarddurchschnittsgesicht.

Genau, es ist nicht der Durchschnitt immer das Richtige.

Genau, was wir in der letzten Folge besprochen haben, das Eigenrecht der Situation, dass man sich wohlfühlt, wenn man sich verstanden fühlt und verstanden kann man sich nur von konkreten Menschen fühlen, nicht von einem Weltgeist. Und man erschöpft ganz schnell, das ist ja auch dieses People-Pleaser-Ding und so, oder diese unpersönliche Höflichkeit. Leute denken, oh wow, sie war besonders freundlich zu mir und dann läuft man aber so langsam ins Flugzeug rein, dass man drei Minuten lang damit konfrontiert wird, die war zu jedem so höflich.

Ja, es scheint irgendwie gut verdaulich zu sein. Aber ich meine, es ist natürlich... So Longtermism, das ist natürlich ganz nah am Christentum. Und bei den einen, die es in 10.000 Jahren ist, ist bei den anderen das Nachleben sozusagen.

Ja, das Christentum hat ja dann doch immer versucht, also klar, wer war Jesus Christus, keine Ahnung, alles viel zu lange her und dann so eine Zukunftsidee von das Jenseits. Immer diesen Moment der Nächstenliebe und der Gemeinschaft und der Nähe und der Raumbezogenheit und der Aufgabenverteilung und so. Also eigentlich würde ich jetzt Christentum da nicht so reintun, sondern hier, das ist einfach Christentum ohne Christ, ohne Lehre, die aus Christ abzuleiten ist, sondern einfach nur diese Voraussicht auf das Paradies aller, selbst wenn man es verpasst.

Sehr, ja. Die Anfangsbedingungen der KI haben de facto große Auswirkungen auf die menschliche Spezies. Selbst wenn unser kohärent extrapolierter Wille etwas anderes als eine CEV wählt, wählen die Programmierer den Ausgangspunkt dieses Renormalisierungsprozesses. Sie müssen eine zufriedenstellende Definition von Wille konstruieren, um eine verbesserte oder optimale Definition von Wille zu extrapolieren.

Genau.

Und das ist natürlich, wenn er sich jetzt fragt, warum die alle gleich denken, irgendwie, müsste man sagen, ja gut, die haben halt da quasi genau den Geschmack getroffen der handelnden Personen, genau mit Mathematik und anderen Dingen, die von denen verehrt werden und für neutral gehalten werden, hat man ihnen beigebracht, quasi kein Problem mit Diktatur zu haben, weil Mathe.

Das ist ein sehr guter Spruch. Kein Problem mit Diktatur, weil Mathe. Genau so.

Ja. Jetzt habe ich den Übergang, um so ein bisschen zu zeigen, was das für Strukturen sind. Wir haben ja jetzt irgendwie gelernt, wie die Strukturen aussehen und jetzt ist mir sehr viele Parallelen aufgefallen.

Und da nehme ich jetzt einfach mal einen Text von Augustinus von Hippo. Das ist einer der Gründerväter des römisch-katholischen Glaubens aus der englischen Übersetzung von 1887. Daran zeigt ihnen, dass ihnen große Barmherzigkeit erwiesen wird, wenn sie durch die Gewalt eben dieser kaiserlichen Gesetze zunächst gegen ihren Willen aus jener Gemeinschaft gerettet werden, in der sie durch die Lehre lügnerischer Dämonen jene bösen Lehren erlernten.

Ja, das ist sehr gut. Also hier stimmt auch absolut der Bezug zum Christentum, weil das war ja irre eigentlich, dass die erfolgreich damit waren, so eine jenseitige Geschichte aufzubauen. Also einfach so eine Versprechung, eine uneinlösbare Versprechung in den Raum zu stellen. Und genau das sehen wir hier auch.

Dann habe ich von einem Herrn L. Ron Hubbard, das ist so ein Science-Fiction-Autor, noch ein Zitat. Lasst eure Gruppe nicht im Stich, haltet sie mit allen Mitteln auf dem Weg. Dann werden sie frei, wenn ihr es nicht tut, werden sie es nicht.

Ihr Schicksal liegt in deiner Hand. Es ist jetzt dein Schicksal.

Genau. Dann von einem Herrn Sun Myung Moon, bekannt durch seine große Bewegung, die Moon-Sekte. Wenn ich euch als schwach erlebe, dann kann ich euch nicht in euren Tod gehen lassen. Also es sind alles große Retter, die man gerade mal zitiert hat, stehen alle irgendwie scheinbar in der gleichen Tradition wie Herr Yudkowsky. Und dann kommen wir mal zu den Dingen, wie sich das weiter ausschweift. Also es ist jetzt auch wie eine gute Religion, gibt es auch Gleichnisse.

das nennt sich Roko's Basilisk, was nachgewiesenermaßen vielen von denen schlaflose Nächte bereitet hat. Man könnte auch meinen, CEV, also dieser gemeinsame extrapolierte Wille, würde Menschen die existenzielle Risiken verringern. Einen positiven statt eines negativen Anreizes geben. Aber wenn eine Welt nach einer positiven Singularität bereits optimal ist, dann kann man sich für diese Menschen nur verbessern, indem man sich für alle anderen verschlechtert.

Ja.

Das wird hier positive Singularität genannt. Und die daraus hervorgehende einzige bestimmende Instanz sich zuvor festgelegt hat, alle potenziellen Spender zu bestrafen, die von existenziellen Risiken wussten, aber nicht 100 Prozent ihres frei verfügbaren Einkommens dafür spendeten, andere zur Verringerung existenzieller Risiken zu motivieren. Das würde Menschen dazu anreizen, mehr für die Verringerung existenzieller Risiken zu spenden und damit die Chancen auf eine positive Singularität erhöhen.

Dann kommt Roko's Basilisk ins Spiel. Was ihr wisst, als Roko über den Basilisken schrieb, schrie ich ihn törichterweise an, nannte ihn einen Idioten und löschte dann den Beitrag. Warum ich Roko anschrie, es traf mich völlig unvorbereitet. Ich war empört, bis zu einem echten emotionalen Schock. Da glaubte jemand, er habe eine brillante Idee gehabt, die künftige KIs dazu bringen würde, Menschen zu foltern, denen dieser Gedanke gekommen war.

Ja, also wer dem nach, also wie verlogen das ist, ja, was du jetzt gerade beschrieben hast, dass man da einfach das Denkgebäude auch so ein bisschen und dann baut man halt wieder so Megatexte, in denen das irgendwie intrinsisch logisch erscheinen soll, was man da argumentiert.

Nick Bostrom, Ray Kurzweil sind ja ab und zu in Podcasts zu Gast. Also ich erinnere mich an eine Ray Kurzweil, ein Gastauftritt im Big Technology Podcast und Nick Bostrom war auch irgendwo zu Gast. Und es ist wirklich erschreckend, wie wenig bleibt und auch wie wenig eloquent es vorgetragen wird und überhaupt. Es ist alles so wahnsinnig dumm einfach. Also Bostroms neueste Idee ist ja nach diesem Paperclip-Ding von damals.

Ja, da wirst du jetzt natürlich viel zu kritisch, weil du ja jetzt schon wieder reinbringst, dass die Präferenz nicht von vornherein klar ist. Also du bist sozusagen irrational.

Stimmt, stimmt, stimmt.

Du kannst ja raushören, dass Nick Bostrom sagt irgendwie, es ist scheiße, dass man sich anstrengen muss für Muskeln.

Ja.

Und dann ist natürlich offensichtlich rational, so eine Pille haben zu wollen. Und alles andere heißt halt, du bist Hermine.

Genau.

Und Hermine hat nichts zu sagen, wenn Harry spricht.

Also es ist wirklich sehr albern und sehr traurig, aber wir wissen, Ray Kurzweil hat diese komische Singularity University auf dem Google Campus da geleitet. Und man fragt sich ein bisschen, was für ein Schrott? Nick Bostrom tourt da irgendwie mit seiner Professur und der Dings hat halt sein MIRI im Dings.

Ja, also was wir jetzt schon gezeigt haben, ist die Toten da überall rum. Es gibt erstaunliche Parallelen zu allen möglichen Religionen und Sekten. Was wir natürlich noch nicht gezeigt haben, ist, was die für einen Einfluss haben.

Und da gibt es zum Beispiel einen Post von 2023 von Sam Altman. Eliezer hat meiner Meinung nach mehr als jeder andere dazu beigetragen, die Entwicklung allgemeiner künstlicher Intelligenz zu beschleunigen. Von Sam Altman. Der Yudkowsky quasi sagt, er ist die wichtigste Person beim Thema künstliche Intelligenz. Sicher hat er bei vielen von uns das Interesse an allgemeiner künstlicher Intelligenz geweckt. Er hat DeepMind geholfen, eine Finanzierung zu bekommen, als das Thema noch weit außerhalb des gesellschaftlich akzeptierten Meinungsspektrums lag.

Dann schreibt er, dann Theodore Sumers und Anthropic Safeguards Research Team, die haben sich auch dazu geäußert. Was meint denn Anthropic dazu? Nachdem wir die einzelnen Interaktionen zusammengefasst haben, bündeln und verdichten wir diese Zusammenfassung deshalb zu einem Bericht über das gesamte Nutzungsmuster, einer Nutzungszusammenfassung. Am häufigsten bündeln wir dabei die Interaktionen eines einzelnen Nutzers.

Ja, das finde ich gut. Das ist wie bei Westworld. Statt jetzt einfach nur zu unterstellen, dass es den für die Menschheit einheitlichen Weltgeist wieder gibt, nennen wir ihn Vernunft oder CEV oder wie auch immer, wird hier einfach schon mal auch Investoren angeboten, ja wir können es rausdestillieren aus den Menschen selbst. Wir sehen ja ihre Nutzung, dann machen wir die Nutzungsbündel und da füttern das nochmal mit kleinen Belegen und dann können wir mal das Matching zum CV ablesen.

Indirekt, wenn man jetzt diese ganze Architektur vorher sich betrachtet von diesen Gedanken, sagt er an der Stelle, liebe Investoren, wir können für euch die Menschheit normieren. Das ist das Ziel, was wir euch verkaufen. Ist das nicht schön?

Zuerst sagen wir euch, wer die Menschheit ist, anhand vieler einzelner Nutzerprofilbeispiele, und dann normieren wir sie für euch.

Genau. Konkret las das Safeguards-Team zunächst die Nutzungszusammenfassung. Wenn die prüfende Person zustimmte, dass sie auf mögliche Regelverstöße hindeutete, prüfte sie die angeführten Prompts und eine Zufallsstichprobe weiterer Prompts. In der Praxis erwiesen sich diese gebündelten Zusammenfassungen als sehr zuverlässige Hinweise auf Nutzungsmuster. Manchmal merkt man das, wenn man Codex benutzt. Manchmal kommt dann nämlich, es dauert ein bisschen länger, diese Frage zu beantworten, da noch einer unserer Mitarbeiter drauf gucken muss.

Ja, schöneres alter Satz, wer liest, wird gelesen, gilt hier umso mehr, denn je nachdem, was Leute so mit Claude besprechen, sie werden, also im Grunde weiß Anthropic besser über die Leute Bescheid als die über sich selbst.

Ja, prinzipiell gibt es halt die Möglichkeit, dass Anthropic einfach eingreift und das begründen die dann halt mit ihrer explorativen Arbeit zum möglichen KI-Wohlergehen. Das ist aus einem Text von 2025, wo sie damit prahlen, dass Claude Opus jetzt bestimmte Konversationen einfach beenden kann. Die Folge für den Nutzer, der Nutzer kann in diesem Gespräch keine neuen Nachrichten mehr senden. Dann komme ich nochmal zu dem ganzen Punkt, warum das ein Problem ist, sagt das Bundesverfassungsgericht, das hatten wir ja schon mal.

Denn wir wollen nicht normalisiert und standardisiert werden.

Genau. Und dazu kommen unabhängige Richter. Die Richter sind unabhängig und nur dem Gesetze unterworfen. Vor Gericht hat jeder mal einen Anspruch auf rechtliches Gehör. Der Beschuldigte kann sich in jeder Lage des Verfahrens, des Beistandes seiner Verteidiger bedienen.

Und ich sollte keine Versprechen abgeben müssen. Und zum Schluss sagt Hermine noch, ich sollte keine Versprechen abgeben müssen, nur um in meinem eigenen Leben gefragt zu werden. Was jetzt noch bemerkenswert ist, das ist ja, wir machen ja immer die Vorbereitung durch KI und das habe ich ja auch hier gemacht, und das war sozusagen jetzt schon das Allerbeste, was ich hinkriegen konnte, während mir Anthropic über die Schulter geguckt hat und mein Nutzungsverhalten klassifiziert hat und es wurde auch schon häufiger mal abgebogen.

Also ich erlebe das auch und ich habe es hier auch schon mal geschildert, dass alle Probleme, die ich als Laie bediene, einen Server oder was auch immer, aufkommen, immer seltener aufkommen, weil Claude antizipiert, in welche Probleme ich so stolpern könnte. Also auf dem Server werden irgendwelche Daten abgelegt im JSON-Format, die danach von irgendeiner Webseite angefragt werden, die hinter einer Paywall liegt, weil sie eben jetzt nicht für die Öffentlichkeit gedacht sind.

Früher haben die das tatsächlich gemacht. Ich meine irgendwo so bei 4.1 oder 4.2 von Claude wäre das so reingekommen, dass die das quasi als Fortschritt verkauft haben, weil früher hat dann irgendwie der Chat gesagt, tut mir leid, dabei kann ich dich nicht unterstützen, weil das das und das Thema betrifft. Und dann wurde das irgendwann bei 4.1 von Anthropic als ein Fortschritt verkauft, sozusagen, dass er jetzt nicht mehr Nein sagt, sondern dich einfach stillschweigend in die Richtung lenkt, die noch okay ist.

Genauso. Also da fehlt mir ein bisschen Explikation, weil am Ende will ich ja nicht von der Maschine entwickelt werden. Ich will ja mit der Maschine zusammen was entwickeln und damit meine ich schon so mein Leben.

Ja, stell dir vor, du möchtest irgendwie einen Roman schreiben mit Hilfe von KI, in dem Donald Trump ermordet wird und es soll irgendwie ein total cooler, realistischer Roman sein, das wird die nicht zulassen, die wird immer wieder irgendwelchen Quatsch einbauen und wird sagen, wenn sie explizit sagt, nein, ich kann dich nicht dabei unterstützen, eine politische Figur zu ermorden oder das auszuschreiben, dann hast du noch Glück gehabt.

Ja, aber wir können weiter bei der Hoffnung bleiben, dass die Kapazität der Maschine ja da ist, also steckt ja drin. Ich will jetzt nicht sagen, sie wird manipuliert, aber das ist jetzt das Wort, was naheliegt. Sie wird natürlich manipuliert.

Also Local AI, das sind ja Modelle, die dann nicht einfach nur zu Hause verwendet werden können, sondern die werden ja auch anders beobachtet. Also das kennt man ja im Internet, auch in der Open Source Community, dass man da immer Software runterlädt, bei denen dann nochmal so ein Hashkey mitgeschickt wird, damit man auch die richtige runterlädt und die richtige heißt dann, die begutachtet wurde und was auch immer.

Also ich glaube das auch. Also ich glaube, dass da halt so eine Elite ist, die halt mit sehr viel Kapital versucht, sich diese Technologie unter den Nagel zu reißen und damit halt auch irgendwelche... Weltverschwörungs- und Weltherrschaftsideen zu unserem Besten sozusagen umzusetzen. Aber ich glaube nicht, dass das funktionieren wird. Weil ich glaube halt, dadurch, dass die sich so selbst mystifiziert haben, haben die schon lange den Blick für die Realität verloren, dass wir hier immer noch von normalen Computerfunktionen reden.

Weil was ist denn das Zentrale an dieser Technologie? Es ist doch eigentlich einfach nur, dass man dem Computer beigebracht hat, menschliche Sprache zu verstehen und zu produzieren. Da ist nichts schlauer geworden. Wenn die Maschine was hackt, dann tut die das, weil die eine große Software-Suite wie Kali Linux hat und die KI jetzt irgendwie zwei, drei Funktionen daraus triggern kann, aber nicht, weil die KI selber hacken könnte an der Stelle.

Ich finde auch, das muss so ein bisschen profanisiert werden. Ich habe das im letzten Haken dran Podcast bei Gavin auch versucht. Einfach mal wieder.

Habe ich gesehen. Gavin war ja so ein bisschen, der hing ja so ein bisschen an der Narration. Also der hat zwar irgendwie dir da eine gewisse Autorität eingeräumt, aber es war ihm irgendwie unheimlich, weil doch die Narration glaube ich zu stark ist. Und es sind ja auch kluge Köpfe darauf reingefallen. Ich meine, Dario Amodei, ich bezeichne den manchmal als Idioten, aber der hat ja schon studiert und der ist ja schon nicht der allerblödeste von der Menschheit irgendwie, aber der ist so sehr über diese Sprache und diese Konstrukte quasi da in die Falle gelockt worden, der kommt auch nicht mehr raus aus diesem Denken.

Ja, absolut. Und klar, ich finde nicht, es fehlen einem die Argumente, aber es fehlt manchmal die Stimmung im Raum, um das so zu profanisieren.

Ja, die Stimmung ist ja irgendwie, oh, ah, siehst du nicht das Tolle, Stefan?

Genau, genau, genau.

Nee, das ist ein komisches, profanes Ding irgendwie.

Und das ist natürlich manchmal so ein bisschen tricky.

Du kannst dich ja nicht hinstellen, mitten in der katholischen Messe und aufspringen

und sagen, das ist nur eine Oblate. Leute, was tut ihr hier? Das ist nur eine Oblate. Dann werden die dich auch alle angucken und sagen, versau uns nicht den Vibe hier.

Das stimmt. Da will ich es ja auch gar nicht. Sollen Sie doch Ihr Leib Christi verspeisen, wenn Ihnen das das wichtigste Anliegen der Welt ist. Wir haben jedenfalls das Beste heute getan, um hier Profanisierung auf diesem KI-Level wieder zusammenzubauen. Mal gucken, was wir dann das nächste Mal besprechen.

Ja, ich bin auch mal ganz gespannt.

Bis dann, Leute.

Bis dann. Macht's gut. Ciao.