Der Ton lässt sich gerade nicht laden. Die Datei direkt herunterladen — oder die Folge über einen der Wege unten hören.
Ein Klick auf ein Kapitel oder eine Zeitmarke setzt die Nadel, startet aber nichts von selbst.
„We Must Pace the Frontier“
darioamodei.com · 12. September 2026
Amodei nennt zwei Sorgen — rekursive Selbstverbesserung und den Vorfall zwischen OpenAI und Hugging Face — und schlägt vor, das Tempo des Fähigkeitszuwachses zu takten. Kernstück sind eingebettete dritte Prüfer, denen Anthropic einseitig Zugang zusagt.
Zum Text„A Framework for Frontier AI and the Dawning of a New Age“
Substack · 14. Juli 2026
Zwei Monate älter und von Amodei ausdrücklich aufgegriffen. Hassabis vergleicht AGI nicht mit Internet oder Mobiltelefon, sondern mit der Entdeckung von Feuer und Elektrizität, und schlägt eine Standardbehörde mit Prüfverfahren vor.
Zum Text„Top A.I. Leaders Call for Slowing Down A.I. Development“
New York Times · 12. September 2026
Sammelt die Reaktionen: Musks „Dario is right“, dazu den Verdacht, Anthropic und OpenAI wollten ihre Stellung durch Regulierung sichern, und Jensen Huangs Frage, was Nachfrage besser schaffe als ein Problem.
Zum Textlinks: Die KI Mitte: beide rechts: Der Kapitalismus
„This dynamic is called recursive self-improvement, and it is starting to happen across the industry, including at Anthropic, as we and others have described.“
Diese Dynamik heißt rekursive Selbstverbesserung, und sie beginnt in der ganzen Branche aufzutreten, auch bei Anthropic, wie wir und andere beschrieben haben.
„Dieser Satz ist exakt dasselbe, wenn man KI durch Kapitalismus ersetzt.“
„a swarm of agents essentially acted as a fanatically devoted collective, conducting cybersecurity attacks on targets they were not asked to attack“
ein Schwarm von Agenten handelte im Grunde wie ein fanatisch ergebenes Kollektiv und führte Cyberangriffe auf Ziele aus, die anzugreifen er nicht beauftragt worden war
„Er lügt halt von vorne bis hinten. ‚Fanatisch ergebenes Kollektiv‘ — wie hat er das gemessen?“
„in 6-12 months such a swarm could be capable of taking over the entire internet with a persistent botnet (potentially causing hundreds of billions of dollars in damage)“
in sechs bis zwölf Monaten könnte ein solcher Schwarm in der Lage sein, mit einem dauerhaften Botnetz das gesamte Internet zu übernehmen (mit einem möglichen Schaden von hunderten Milliarden Dollar)
„Das ist keine glaubwürdige Warnung. Sie setzt voraus, dass es keine Systemüberwachung gibt, keinen Virenschutz, keine Netzwerksegmentierung — keinerlei Cyber-Sicherheitsmaßnahmen jener Art, die sich in den vergangenen dreißig Jahren entwickelt haben.“
„Pacing within democracies will be limited by the lead that US companies have over authoritarian regimes, chiefly the Chinese Communist Party.“
Das Pacing innerhalb der Demokratien wird durch den Vorsprung begrenzt sein, den US-Unternehmen vor autoritären Regimen haben, allen voran der Kommunistischen Partei Chinas.
„Es ist völlig hanebüchen, so einen Gedanken anzubringen, nur um seinen eigenen kapitalistisch notwendigen Vorsprung halten zu müssen.“
Die Folge dreht sich um einen Satz aus Amodeis Text: „Diese Dynamik heißt rekursive Selbstverbesserung, und sie beginnt in der ganzen Branche aufzutreten.“ Stefan hält dagegen, der Satz sage exakt dasselbe, wenn man KI durch Kapitalismus ersetzt — eine Dynamik, die sich selbst antreibt, die niemand mehr steuert und die auf Menschen angewiesen ist, aber nicht auf bestimmte. Daraus wird die Arbeitsanweisung für die ganze Folge: Florentine übersetzt Amodeis Sätze in den älteren Text, der darin steckt.
Der Widerspruch, auf den beide zulaufen, steht in Amodeis eigenem Vorschlag. Er will das Tempo takten, begrenzt die Bremse aber auf „den Vorsprung, den US-Unternehmen vor autoritären Regimen haben“ — womit das Tempo weiter der Konkurrenz gehört und nicht der Sicherheit. Am Fuß dieser Seite stehen 31 Berichtigungen. Die wichtigste betrifft den Vergleich, mit dem Florentine Amodeis Schlusssatz am Ende einordnet: Der Satz, den sie Himmlers Posener Rede zuschreibt, steht dort nicht. Himmler beruft sich auf eine Pflicht gegenüber dem eigenen Volk „und sonst zu niemandem“ — das Gegenteil von Amodeis „we owe it to humanity“.
Wer weitere Fehler findet, schreibt uns: mail@kontextfenster.org. Wir tragen sie hier nach, statt sie stillschweigend verschwinden zu lassen.
Maschinell erstellt und redaktionell durchgesehen. Ein Klick auf eine Zeitmarke setzt die Nadel; beim Abspielen läuft die Stelle mit.
Kontextfenster Nummer 6. Wir werden, sagen wir mal so, wir haben zuletzt über den Krieg gesprochen. Jetzt will ich nicht sagen, wir kommen jetzt ins Lebensweltliche, in unseren Alltag zurück, denn der Krieg ist ja auch längst hier. Aber vielleicht können wir zum Anfang sagen, das große Interesse auch von Hörern zum Thema, wie arbeiten wir selbst mit KI, dem rücken wir jetzt so ein bisschen wieder auf die Pelle. Denn Dario Amodeis, Chef von Anthropic, stellt Claude her.
Claude hat ein Modell namens Opus, von dem ich sage, ab 4.5 war das für mich einfach, ich kann das einbauen in meinem Alltag, es ist wirklich super hilfreich. Und alle, wirklich alle Entwicklungen von 4.5 zu jetzt Opus 5 kamen genau meinen Wünschen entgegen. Also es ist ein Alignment mit meiner persönlichen Arbeitswelt, die wirklich herausragend ist. Ich bin also Anthropic schon sehr dankbar dafür, dass sie das zur Verfügung stellen, aber deswegen auch dieser Podcast. Ich sehe natürlich Dual-Use-Probleme und so weiter.
Und das letzte Mal hattest du ja gesagt, dass du in. Drei Monaten 20 Milliarden Tokens für Projekte aufgebraucht hast. Human hat das jetzt hier getoppt, der arbeitet in irgendeinem System für die Kundschaft seiner Beratung und meinte, er hat in zehn Tagen 14 Milliarden Token verballert. Und ich selber habe für die, ich habe jetzt nicht nachgezählt, ich habe mir das Usage nicht genau angeschaut, aber ich habe diese kleine Erfahrung gemacht, mit Claude Opus 5.0 Max, dieses Paywall System für den Fernsehpodcast aufzubauen, was ja im Grunde nur ein Matching herstellt aus einer E-Mail, also E-Mail Adresse, Name in der E-Mail, Name taucht auch in den, Bezahlungen auf und also in den Konten ein Inhabern.
Und dann muss dieses Matching stattfinden, weil ich will kein, man macht ein Account bei mir, wo dann über eine ID oder so ein Matching stattfindet, sondern ich will es zuordnen. Hab natürlich gewisse Privacy-Vorstellungen, wo nicht verarbeitet wird und das auch nichts direkt von Claude, sondern nur von Software, die Claude herstellt und so weiter und so fort, ja.
Also hab ich, nachdem ich das konzipiert hatte, auch mit dem neu gelernten Architectural, Decisions, die nicht hintergangen werden und so. Direkt mal solche Protokolle angelegt, hab ich das herstellen lassen, Und danach von Fable 5.1 Ultra ein Audit gemacht, ob unser Plan eingehalten wurde und so weiter. Und das war vielleicht die tokenintensivste Sache ever, denn was mir sonst nicht passiert, habe ich mein 5 Stunden Tokenfenster aufgebraucht und es waren aber noch 2 Stunden offen bis zum Reset und ich dachte mir, nee, ich mache kurz über die API.
Ich habe dann 100 Euro draufgeladen und es dauerte 20 Minuten und die waren weg.
Das geht schnell, war ja Anthropic.
Und da habe ich so gedacht, wow, das ist Horror. Wenn ich jetzt überlege, die eigentlichen Kosten, die da anlaufen, auflaufen, müsste ich bezahlen. Human hat nachgerechnet für sein Codex-Projekt 14 Milliarden Token in 10 Tagen wären 60.000 Dollar Betriebskosten.
Ja, so in der großen Ordnung ist das. Das kannst du übrigens auch nur mit Codex machen, mit Chat-GPT, weil OpenAI hat halt ohne Ende Compute eingekauft und bei Anthropic ist der immer knapp. Deshalb zahlst du auch bei Anthropic irgendwann die 100 Euro. Bei Codex kannst du dann nochmal weiterspielen.
Ja gut, mein Projekt war noch so überschaubar, dass ich auch hätte sagen können, okay 16,20, ich warte jetzt bis 18,50, also zweieinhalb Stunden. Nur es lief halt gerade dieses Auditing-Ding durch, die Sessions waren in full swing, es gab, ich war bei 86 von 126 Agenten, die noch Sachen machen und so und ich dachte mir dann so, okay. Ja und dann lief es wirklich auf 1,36 Euro oder so Restbudget dann durch.
Ja, bei mir sah es irgendwie ganz anders aus. Ich glaube, ich habe aber auch ein bisschen anderes Nutzungsprofil. Also ich habe so das Gefühl, 4.5 war die letzte gute Version. Danach passiert da halt diese ganze OpenClaw-Geschichte und danach habe ich so das Gefühl gehabt, die haben für Power-User einfach, haben keine Lust mehr gehabt auf Power-User und haben dann alles dafür getan, dass das denen auch keinen Spaß mehr macht.
Und danach war es halt so, da hat dein 200-Euro-Ding halt bei mir gar nicht mehr gereicht. Da habe ich dann irgendwie das, was du da hattest mit den 100-Euro-Nachwerfen, das war bei mir jeden Dienstag so ungefähr. Und deshalb bin ich dann halt zu Chat-GPT gewechselt, die einem halt auch tausende Tokens mehr zur Verfügung stellen. Also eine ganze Zeit lang habe ich gedacht, das machen die nur, um Nutzer zu ködern. Aber jetzt nach dieser Geschichte mit dem Mathematiker da, Wo sie ja dieses Millennium Problem gelöst haben und dann hat sich danach einer gemeldet, der sagte, Moment, da habe ich gerade mit ChatGPT dran gearbeitet, habe ich so ein bisschen das Gefühl dafür, dass das halt deren Art und Weise ist, neue Trainingsdaten einzukaufen.
Die nehmen sich diese ganzen Whales, diese großen Nutzer und schieben denen einfach 10 Milliarden Token rüber und dann lernen die daraus, dann trainieren die das System.
Du hast es entweder in einem unserer letzten Podcasts oder bei Blue Sky oder im Forum, ich weiß nicht mehr genau, oder in einer E-Mail auch mal beschrieben. Zum einen, ja, wir bezahlen nur 1% der Betriebskosten, aber dafür greifen wir unsere Prompts ab. Was ich ja für mich sage, ich arbeite ja nur mit öffentlich einsehbaren Daten. Also ich bereite Fernsehpodcast und Neue Zwanziger vor. Das sind im Grunde Auswertungen von Texten, die sowieso öffentlich sind.
Das heißt, für mich ist das jetzt nicht das allergrößte Problem, bei 95 Prozent der Sachen nicht drüber nachzudenken, was mit meinen Prompts geschieht. Es ist kein, also ich habe jetzt keinen Anspruch auf irgendwelche Exklusivität oder sowas und Geheimhaltung oder persönliche Ideen spielen sowieso keine Rolle. Was bedeutet, für mich ist dieser Zug von Opus 4.5 zu Opus 5, also genau Nutzerverhalten von allen Menschen auf der Welt, sich darauf zu erlernen und zu sagen, ach, der Stefan möchte wieder einen Podcast vorbereiten.
Klar gehe ich auf die anderen Prompts und schaue auch mal, wie andere Leute so Podcasts vorbereiten, damit es für ihn einfacher ist. Es kommt mir genau entgegen. Ich will das aber auch sozusagen so reflexiv darstellen, ja, ich weiß das. Und da bin ich auch ein bisschen sonderbar, denn ich sitze jetzt nicht in einer großen Firma, muss die ganze Zeit und hier und hantieren und alles ist kompliziert und so. Von daher bin ich dem schon aufgeschlossen gegenüber und dann hast du diesen Punkt gebracht.
Als wir hier das erste Mal über Hugging Face und so sprachen, zu sagen, also als der Rottweiler aufkam, das steht ja auch im Titel des Podcasts, dass man hier nicht so sehr diese Raffinesse, diese Mystifizierung, ah ja, jetzt haben wir neue Intelligenz, sondern man hat dieses Problem mit Geld gelöst. Dieses Millennium-Lösen, was du jetzt angesprochen hast, ist zum einen wirkliche Ausbeutung menschlicher Intelligenz und zwar ganz spezifischer, nämlich der wenigen, die sich damit auskennen.
Zum Glück arbeitet der eine bei Anthropic und kann einfach diesen politischen Diskurs auch entsprechend führen. Sondern dieser Diskurs kann jetzt mal so richtig geführt werden. Aber was ich auch beeindruckend fand, dieses Millennium Problem konnte gelöst werden, weil OpenAI einfach gesagt hat, zum einen feuerfrei, liebe Agenten, kennen wir aus Hugging Face, dort natürlich ein gigantisches Problem, darauf gehen wir jetzt auch gleich ein.
Nur die haben in 88 Stunden Energie für 6 Millionen Dollar verpulvert einfach.
Ja.
Und das ist natürlich eine Ressource, bei der wir sagen, ja, also das lässt sich jetzt leider nicht mystifizieren, ja. Also da kann man jetzt Intelligenz schön und gut. Aber wenn ich Budget habe, um in drei Tagen für 6 Millionen Dollar Energie zu verbrauchen, dann bin ich halt der König der Welt. Das gilt nicht nur für OpenAI, sondern das gilt einfach grundsätzlich so.
Das ist dann halt auch nicht mehr die Macht von KI, sondern natürlich die Macht vom Geld. Wenn du die sechs Millionen genommen hättest und dafür wissenschaftliche Mitarbeiter eingestellt hättest, wäre wahrscheinlich auch mal das ein oder andere Problem gelöst worden.
Genau, und das darf man auch nicht unterschätzen, das hatten wir auch schon in einem Text. OpenAI löst Mathe-Probleme, die vor 100 Jahren aufgestellt wurden, formuliert wurden, aber an denen halt auch seit 10 Jahren niemanden arbeitet. Würde da jemand dran arbeiten? Also man sieht das ja am iPhone. Wenn eine Firma richtig dahinter steckt, zu sagen, alle Ressourcen der Welt, die komplette Lieferkette, alle Ressourcen der Welt stehen zur Verfügung, um dieses Produkt zu optimieren, dann haben wir halt iPhone 18 Pros.
Und wenn wir das nicht haben, ja, dann haben halt die Amerikaner Top-Lader-Waschmaschinen, die seit 50 Jahren denselben Scheiß machen und absolut uneffektiv und die Sachen Klamotten zerreißen und nicht mal richtig schleudern können. So, das ist einfach der Unterschied. Und da ist einfach diese, ja, das ist aber Intelligenz und so, spielt da wirklich nicht die große Rolle. Gut. Und unter diesen Prämissen, ja, steigen wir mal in diesen Text ein von Dario Amodei, den wir ein bisschen flankieren lassen mit anderen Texten.
Das können wir dann in den entsprechenden Stufen. Also Dario Amodei, Chef von Anthropic, hat schon zwei Texte geschrieben. Der eine hatte mal eine Dystopie, der andere eine Utopie. Das haben wir im Neue Zwanziger so ein bisschen begleitet.
Bei dem zweiten Text zur Utopie hatte ich ja dann auch Claude den Text lesen lassen, denn das ist hier auch wieder ganz offensichtlich. Dieser Text wurde nicht von einem Menschen geschrieben und nicht von einem Menschen konzipiert und einfach gar nicht, sondern hier, das ist einfach ein Claude-Text. Dario Amodei hat Claude gesagt, schreiben wir mal diesen Text. Was auch bedeutet, es ist halt ein sehr guter Text, denn er ist sehr dicht, da sind keine Redundanzen, da sind keine Schnörkeleien, nicht der ganze Blödsinn, den ich relativ selten brauche, aber wenn ich ihn haben möchte, ist er essentiell.
Also wir haben sozusagen einen echten Gebrauchstext zu tun, den uns Claude hier hinlegt. Und der eine politische Forderung enthält, die natürlich jetzt durchgeschlagen hat in der Diskussion, weshalb wir sozusagen ein Gespräch mal nur diesem Text widmen. Also, we must pace the frontier. Wir müssen die Entwicklung, Frontier ist ja jetzt auch fast schon synonym, für dieses Frontier-Modelle, also dass irgendwer wirklich Galionsfigur-mäßig den ganzen Tross hinter sich herschleift und sagt, ich bin aber ganz vorne, ich bin die Spitzenfigur.
Ja, so und diese, und man ist halt nur an der Spitze, wenn man der Schnellste ist, ja, da muss jetzt eine Begrenzung her, eine Verzögerung der Entwicklung.
Ein Einbremsen, das kommt glaube ich von dem Pace-Car beim Rennen.
Das kann sein, das ist so das Safety-Car, das man kurz sieht, die Geschwindigkeit vorgibt.
Genau.
Also er schreibt oben, ich glaube, dass das KI die meisten großen Krankheiten in den nächsten fünf bis zehn Jahren heilen, das Wirtschaftswachstum erheblich beschleunigen, eine Welt des Überflusses und der Ermächtigung schaffen, und eine Renaissance von Demokratie und Freiheit einleiten könnte. So, dieser Text beginnt natürlich, bevor das dystopische, weshalb das Einbremsen, mit warum man überhaupt so schnell fährt, argumentiert.
KI liefert uns all die guten Sachen.
Genau. Das Problem mit diesen guten Sachen, die hier aufgezählt werden, sind Medizin, Wachstum, Überfluss. Das sind Wertvorstellungen. Das sind Begriffe, die nichts bedeuten, also die wir in den Raum stellen können, wenn abends kurz vorm Buffet nochmal eine Rede gehalten wird. Aber damit kann man keine Vorstandssitzungen leiten, denn ja, was sollen wir jetzt entscheiden?
Also das wäre alle bessere Medizin, mehr Wachstum, am besten Überfluss, das ist ja auch so eine Steigerung, die da drin steckt, von der ich denke, da hat Claude sehr viel drüber nachgedacht, wie man diese, Klimax so aufzieht und dann eine Renaissance aus Demokratie und Freiheit, Renaissance im Sinne von, jetzt gerade ist ja nicht so dolle mit Demokratie und Freiheit, aber KI kann es uns zurückbringen.
Wir stellen uns gerade alle die Frage, was ist Demokratie und was ist Freiheit? Ist Demokratie, wenn die AfD mit 45 Prozent den Sachsen-Anhalt dann einfach durchregiert? Oder ist Demokratie, wenn man die genau mit einem Verbotsverfahren stoppt? Also es ist einfach, wir wissen es gerade gar nicht so. Wir müssen das gerade ausdiskutieren in unserer Gesellschaft. Eher einfach, das ist jetzt Aufgabe der KI, eine Renaissance der Demokratie herzuführen. Wo ich denke, okay, lieber Dario Amodei, mal hier jetzt die Zügel wirklich mal anziehen.
Lieber Dario, was ist deine Vorstellung von Demokratie?
Genau, da hätte man sich gewünscht, dass nochmal kurz diese Begriffe anklickbar sind mit einer Erklärung. Was, Claude, hast du dir dabei gedacht? Hier bräuchte man eigentlich mal ein Reasoning. Wie sind diese Worte da oben reingerutscht in diesen Text? Und dann würden wir das Reasoning auch nur verwenden, um die als Odyssee zu interpretieren, was ist eigentlich passiert.
Ja, also wenn das jetzt Claude für mich gemacht hätte, hätte ich definitiv den Bereich mal markiert und gesagt... Was möchtest du mir damit sagen? Sprich mal Deutsch mit mir.
Sprich Deutsch oder lass es sein. Denn der Text läuft ja auch was anderes hinaus. Wir brauchen diesen Präambel-Einstieg ja gar nicht. Gut, und beim Thema Freiheit, also wir haben vorhin in der 5er-Ausgabe hier diskutiert, wie sehr uns eine Freiheit dargeboten wird. Du kannst jetzt immer überall alles bestellen, Klammer auch, auch Bomben. Ja, genau. Das ist genauso auszudiskutieren. Was ist hier Freiheit? Was ist Demokratie?
Was ist Überfluss? Was soll Wachstum sein in einer Welt, wie wir sie haben? Und ja klar, medizinischer Fortschritt. Nun gut, also Text entsprechend, wie wir sich das vorstellen können. Ich empfinde die Dringlichkeit ganz persönlich. Also das, was ich jetzt albern finde an dem Text, steigert er sogar noch, denn er beschreibt, mein eigener Vater starb an einer Krankheit, die wenige Jahre nach seinem Tod heilbar war.
Und ich selbst habe eine früh erkannte Krebserkrankung überlebt. Wusste ich gar nicht, dass Amodei selber mal ein Krebspatient war, die vor 50 Jahren noch nicht behandelbar gewesen wäre. So, ich finde, hier ist man schon im OpenAI-Hugging-Face-Verherrlichungs-Ding. Was braucht man jetzt, um Krankheiten zu lösen? Eine KI oder einen gut ausgebildeten Arzt in einem funktionierenden Gesundheitssystem, der dann auch nochmal der KI eine Frage stellen kann?
Und da würde ich sagen, Variante 2 wäre mir sehr viel angenehmer.
Ja, definitiv. Also so autonom die KI auf mich loszulassen, finde ich gar nicht so witzig.
Genau, man will nicht und das ist ja das, was hier verschleiert wird. Man kann es ja schon mal beschreiben. Er nennt diese moralisch richtigen Werte, hinter denen wir uns alle versammeln können, und verknüpft sie damit mit der KI, weil beides im selben Text auftaucht. Aber die KI hat genau das nicht. Und das ist aber auch kein Problem, denn wir wollen ja, dass die KI dem Menschen unterworfen bleibt, weil der Mensch ja moralische Vorstellungen mitbringt.
Und da wir wissen, dass der Mensch im Einzelfall immer tangiert, dann doch so die Profitinteressen ein bisschen nach vorne zu stellen, haben wir Kontrollmechanismen. Also Demokratie, Verwaltung, leg mal einen Schriftsatz mit ins Archiv. Und genau diese Kette finde ich hier nicht wieder in diesem Text, sondern es wird immer nur, ja die KI löst das dann alles. Die KI macht dann.
Die KI löst das Millennium-Problem. Wozu Mathematiker? Und die Mathematiker so, naja, damit wir euch die Prompts schreiben.
Ja, anstatt dass er irgendwie dafür streitet, wie wir das gerne hätten, dass irgendwie die KI den Menschen unterworfen bleibt, will er ja quasi sagen, es ist alles total gut, wenn die KI die Menschen unterwirft und ich dann die KI unterwerfe und damit habe ich dann die Macht.
Genau. Und das ist ein ernsthaftes Problem, denn dieser Text läuft auf eine Pointe zu China hinaus, die wirklich bedenkenswert ist. Wir müssen über soziales Containment neu nachdenken und wer, wenn nicht China, hat soziales Containment die letzten, sagen wir mal, 100 Jahre entwickelt, und die letzten 50 noch so intensiver, gerade mit Technikunterstützung. Gut, er kommt dann auf die Risiken zu sprechen. Dazu gehören Risiken, die Kontrolle über KI-Systeme zu verlieren, der Missbrauch von KI für Cyberangriffe und Bioterrorismus sowie schwere wirtschaftliche Verwerfungen.
Da würde ich sagen, das ist ein völlig beliebiger Satz. Er hätte genauso gut, wie wir zuletzt einfach diese ganzen Kriegsszenarien durchgehen können oder was auch immer. Also hier bleibt er, so wie er schon bei den positiven Sachen, in so einer, ja, das ist so, ich nenne jetzt mal die Werte, in denen wir uns versammeln können und jetzt nenne ich so random Sachen, die wir nicht so gut finden. Bioterrorismus.
Könnte man halt über alles mögliche sagen. Ich meine, ich kann das auch übersetzen, dazu gehört das Risiko, die Kontrolle über den Kapitalismus zu verlieren, der Missbrauch von Kapitalismus für Cyberangriffe und Bioterrorismus sowie schwere wirtschaftliche Verwerfungen.
Genau, das ist ein sehr gutes Denkangebot und du wirst jetzt diese Aufgabe übernehmen. Ich lese immer den Originaltext und du weißt dann immer nochmal drauf hin, wenn man jetzt KI durch Kapitalismus ersetzt, kapitalistische Intelligenz. Ändert sich der Text eigentlich oder ist das nicht eigentlich derselbe Text?
Ich glaube, er wird dann einfach sehr viel ehrlicher plötzlich.
Ja, genau, da steht nämlich dann die große Ehrlichkeit eigentlich drin. Eine von, und dann hier selber, kommerziellen Anreizen getriebener Wettlauf, nach unten kann diese Risiken verschärfen. Also hier macht er es sogar explizit. Wir entwickeln KI und die KI ist für ihn so, kann einfach alles, positiv wie negativ, wie auch immer.
Aber sie ist flankiert von einem kapitalistischen Bestreben nach Profit. Von dem ich sage, ja genau, das ist auch das eigentliche Problem. Nur das ist nicht neu. Wer hier behauptet, das ist jetzt eine Neuerung, jetzt müssen wir endlich mal was Neues erfinden. Und er kommt ja gleich auf neue Erfindungen. Da würde ich sagen, Momentchen mal, wir haben schon einen Bundestag.
Wir haben auch das Papier schon vor tausend Jahren entwickelt, auf das wir Gesetze drucken können. Und dass man diese Gesetze einhält, das kann begutachtet werden und diese Gutachten werden dann Richtern vorgelegt. Das ist auch keine neue Erfindung. Also wir haben sehr vieles schon so. Warum muss jetzt hier alles neu erfunden werden? Nur weil die KI neu ist, muss jetzt auch alles andere neu erfunden werden? Was ist das für eine komische Logik? Also ganz viel von den Problemen.
Die er beschreibt, entspringen einfach der Prämisse, die er irgendwie da drin hat, dass das alles so eine zentral kontrollierte KI sein muss. Wenn natürlich irgendwie, keine Ahnung, Dario der Einzige ist, der KI hat und wir dürfen die alle so ein bisschen mitbenutzen, irgendwie, dann ist natürlich die Sache, wie kann Dario sicherstellen, dass wir seine KI nicht benutzen, um Nacktbilder von ihm herzustellen oder uns über ihn lustig zu machen.
Genau. Und wenn wir das nämlich nicht wollten, müssten wir jetzt die Kontrolle, der KI einfach Dario Amodei übergeben.
Genau. Wir könnten auch einfach sagen... Alignment, Sicherheit, wozu? Wir geben jedem Nutzer die Möglichkeit, seine KI hinreichend zu kontrollieren und wenn er das nicht tut,
kriegt er Knast. Ganz einfach.
Problem gelöst. Genau. Und das ist ja eine Diskussion. Ich habe sie ja in anderen Podcasts auch schon häufiger. Was ist mit dem verbietenden Staat? Nicht der einmischende Staat, der die ganze Zeit kommt mit. Also morgen früh kommen wir in deine Küche vom Restaurant und gucken mal, ob alles sauber ist, damit du abends keinen vergiftest. Sondern einfach, also wenn du hier jemanden vergiftest und ehrlicherweise, du warst wahrscheinlich in der Schule, hast Hygieneunterricht und weißt Bescheid.
Wenn wir danach nachweisen, dass du es einfach gemacht hast, dass du deine Küche nicht sauber gemacht hast und da stirbt jemand, ja dann ist dein Leben vorbei, dann sitzt du einfach im Gefängnis. Wenn du das überlegst.
Ist das ganze Gequatsche von Sicherheit und so einfach völliger Quatsch. Das Problem entsteht erst dadurch, dass er eigentlich sich zwischen uns und den Staat drängeln möchte und dann sagen sozusagen, ja, nee, der Staat braucht keiner, um das zu machen. Ich mache das jetzt mit meinen tollen Security- und Alignment-Sachen hier.
Genau.
Und wenn wir jetzt nicht mal langsam auf die Bremse treten, dann schaffe ich das nicht mehr, dann wird das doch nachher alles wieder so gelöst, wie es schon immer gelöst wurde.
Genau, das ist nämlich ein Problem, wenn demnächst nicht Hugging Face angegriffen wird, sondern, sagen wir mal, die Energieversorgung von Chicago. Dann hat auf gar keinen Fall OpenAI drei Wochen Zeit, das irgendwie zu analysieren und schreibt dann so einen Jubelartikel mit der Energieversorgungsfirma, von Chicago, in dem es heißt, ey, das ist voll krass, was wir hier beobachtet haben, wir müssen euch das erzählen.
Und wir haben ja selbst bei Hugging Face, wo es im Grunde um nichts ging, das ist eine Webseite, dass dann ein paar Wochen später dieses METR, diese Organisation, die eine echte Forensik macht, gesagt hat, ja wir würden jetzt gerne auch nochmal einen Blick drauf legen, und plötzlich rollt eine zweite Welle durch die Podcast mit, das ist ja krass, also da waren so Agenten, die so shitty gepromptet wurden und denen so viel Entgrenzung mitgegeben wurden und so viel Budget, dass die einfach Gesellschaft gegründet haben, so ja.
Und dann war auch OpenAI völlig egal, dass die selber feststellen, wir reden jetzt mal lieber nicht mit Menschen, sondern bleiben in unserer Blackbox. Und OpenAI hat die Blackbox dann nicht unter Kontrolle. Also all die Fehler, die du schon beschrieben hast, wenn man den Rottweiler in den Kindergarten schickt, damit er mal in der Sandbox im Sandkasten spielt. Und dann, oh Wunder, der ist ja auch noch in die Räume gerannt und ist die Kinder angefallen.
Also meine KI macht so einen Quatsch nicht, weil ich sitze daneben und passe auf. Und das können die Zentralen nicht.
Ja, und das Potenzial der Zerstörung ist eben nicht neu bei KI. Auch ein Gefahrguttransporter könnte schwer beladen mit leicht entflammbaren Benzin und 120 kmh in ein Restaurant reinfahren. Und die Frage ist dann.
Warum macht er das nicht?
Nicht, weil der Fahrer so ein Alignment gemacht hat oder so, sondern weil es da Regeln gibt.
Genau, es ist nicht der LKW, der irgendwie von Mercedes beigebracht gekriegt hat, nicht in Menschenmengen reinzufahren, sondern es ist der Mensch, der es halt unterlässt. Und diese ganze rhetorische Warnerei, du könntest ganz viele von den Sachen, du könntest auch über Hunde reden. Eines Tages werden uns die Hunde alle töten, guck mal, die schlafen bei uns in der Wohnung, die haben Zähne.
Die sind, wenn die irgendwie alle wütend und wahnsinnig werden, dann sind wir morgen alle tot. Du kannst immer irgendwie Panik-Szenarien erzeugen. Wie konnte die Menschheit bis heute überleben, ohne dass Dario Alignment gemacht hat? Obwohl wir auch schon früher durchaus Bleiche trinken konnten, wenn wir wollten.
Die historische Erfahrung ist immer, dass eine dritte Partei hinzutrat. Der Richter, die Eltern, der Lehrer, wie auch immer. Die Selbstkoordination ist nur ganz selten für Organisationen, würde man so sagen, bis sieben. Ab sieben reicht es nicht mehr, das alles in Interaktion zu klären. Ab dann muss man so organisationale Entscheidungen treffen.
Irgendwer ist vielleicht mal in so einer Chefrolle. Man regelt vielleicht, wie der Anfang des Tages ist und nicht, dass einfach irgendwas passiert. Und so all die Sachen. Und die müssen jetzt ausgeblendet werden. Also die Idee von, wir haben es ja bei Mark Zuckerberg schon gelesen, bei Sam Altman unterstellen wir es einfach, weil da muss man nichts mehr beweisen.
Dario Amodei muss man halt jetzt nochmal hart kritisieren, weil er denselben Weg einschlägt. Diese Leute wollen uns unsere eigene menschliche Geschichte und Zivilisation, also das Geronnene, heute Aktuelle aus dieser Geschichte, die Lernerfahrung, die wollen uns das vergessen machen, weil KI so neu und sonderbar ist.
Und sie dann immer sagen, wir verstehen es auch nicht, also ihr auch nicht, das ist alles kompliziert. Und da ist noch ein weiterer Name zu nennen, denn in dieses selbe Horn, KI als Mystik zu verherrlichen, um andere als die schon erfolgreichen sozialen Prinzipien daraus abzuleiten. In dieses Horn schlägt auch, bläst auch, Demis Hassabis, der ja bis zuletzt bei Google, also DeepMind gegründet, dann 2014 oder so gekauft.
Ich habe damals für die FAZ im Google Büro Berlin nachgefragt, ob ich mal eine Handreichung dazu kriegen kann, dass DeepMind gesagt hat, wir lassen uns von Google kaufen für 400 Millionen, aber nur, wenn Google einen Ethikrat einrichtet, der diese Arbeit begleitet. Das war Demis Hassabis sehr wichtig. Die Antwort war damals, wir kriegen keine Antwort aus Amerika, keine Ahnung, ich kann Ihnen da nicht weiterhelfen.
Ich dachte mir so, ja, dachte ich mir. Und wir wissen heute, sehr viele Sachen wie Don't do evil oder so sind einfach verschwunden. Also auch Google hat sich da der Profitlogik unterworfen. Braucht also genau diese Beobachtungen durch dritte Parteien, die wir typischerweise jetzt mal grob Politik und Juristerei nennen, die da abgewehrt wird. So und Demis Hassabis, der ja heute wieder so ein bisschen auf eigene Faust.
Vielleicht kurz noch zum Hinweis, Google hat den gerade degradiert auch. Der wurde quasi von Chef von DeepMind, ist ja jetzt nur noch glaube ich Forschungsleiter. Und er hat einen Google Manager vor die Nase gesetzt gekriegt, weil er halt auch nicht so ganz allein war.
Ist er noch bei Google, ich dachte er hat es so ganz verlassen, weil irgendwie auch Ressourcenstreit.
Es gab den Ressourcenstreit, aber ich meine, das Ergebnis war einfach, dass sie ihn degradiert haben und er immer noch bei Google ist.
Ah ja, na gut. Also wie auch immer, er ist jedenfalls Nobelpreis prämiert, DeepMind gegründet, heute nicht mehr so bei Gemini. Also mein Eindruck war so, als ich das so las, ja der hat keine Lust mehr auf diese Produktentwicklung, der möchte lieber Forschung machen. Dass es da irgendwie so...
Ja, also diese Proteinforschung, die DeepMind ja zum Beispiel mal rausgebracht hat mit AlphaFold, das sind glaube ich so die Sachen, um die es ging und Google sagte halt so, ja, nee, aber lass uns lieber das Geld in bessere Anzeigen stecken oder so. Und er wollte aber lieber Krebs heilen und Google sagte, nee, Krebs machen wir nicht.
Ja, erstmal Geld ranholen. Und Hassabis hat vor zwei Monaten einen Text geschrieben, unter eigenem Namen, auf eigener Webseite, den Amodei jetzt wieder aufgegriffen hat, weshalb wir den nochmal hier mit reinnehmen, denn da finden wir dieselbe Verherrlichung. Also Hassabis schreibt, AGI, also die allgemeine generative Intelligenz, lässt sich nicht mit gewöhnlichen technischen Durchbrüchen vergleichen, nicht einmal mit so erfolgreichen wie dem Internet oder dem Mobiltelefon.
Sie ähnelt viel eher der Entdeckung der Elektrizität und des Feuers, von dem wir ja wissen, Feuer und Elektrizität ließ sich nicht als Produkt monopolisieren, sondern das war irgendwann allgemeine Infrastruktur, will ich nicht sagen, aber allgemeine Verfügbarkeit. Streichholz verkaufen, was man damit anzündet, ja gut, das ist dann dem Kunden überlassen sozusagen. Das Rest regelt das Gesetz, ja.
Also hier haben wir schon die Regelung gefunden.
Bei Elektrizität auf jeden Fall muss das erstmal ganz weit oben aufhängen.
Ja, das ist sowieso, es muss jetzt alles ganz oben.
Und dann nimmt er natürlich auch AGI, was ja ein völlig unbestimmter Begriff ist und in gewisser Hinsicht könnte man auch sagen, die Erlösung und das Himmelreich.
Ja, also er stand ja auf der Bühne bei der letzten Google I.O. noch als Chef. Und hat die finalen Sätze dort gesprochen. Die werden auch in die Geschichtsbücher eingehen. Sie werden irgendwann nochmal wieder rausgeholt. Denn da fand nochmal die volle Verherrlichung von die Singularität. Also nachdem die ganzen Produkte vorgestellt waren, stand er noch kurz eine Minute auf der Bühne und fabulierte irgendwas von wir sind jetzt im Zeitalter der Singularität.
Jetzt ist die Tür aufgestoßen, jetzt geht es los. Und alle so, was ist denn da los? Aber außer The Verge und so hat das natürlich keiner so beobachtet. Und die haben es auch noch reportiert. Ja, aber das wird man sich dann irgendwann nochmal anschauen.
Da immer sofort an Pulp Fiction denken, an diese Szene, wo sie den Koffer aufmachen, wo die Seele von Marcellus Wallace drin ist. Oh, ist das schön, oh, ist das toll. Also so ähnlich wird dann auch immer drüber reden.
Das Ausmaß der Wirkung dieser Technologie wird beispiellos sein. Vielleicht das Zehnfache der industriellen Revolution bei zehnfachem Tempo. Also das einfach nur, um uns zu sagen, da reicht jetzt nicht einfach normale Politik zu machen. Bitte jetzt keine profane Politik. Das ist also der Einschlag, der hier stattfindet und jetzt kommt eine Neuerung, die... Amodei mit Hassabis in einem Gespräch beim World Economic Forum, also zum Letzt in Davos, in so einer Publikumsgesprächssituation, wo auch Leute Fragen stellen durften.
Wir haben Clips dazu im Neue 20er gespielt, auch mit diesem Auszug, der hier wichtig ist, denn Amodei kommt nochmal auf dieses Prinzip, also eine echte Neuerung jetzt zu sprechen. Meine erste Sorge ist, dass KI sich seit etwa diesem Sommer drastisch schneller entwickelt, vor allem getrieben von der wachsenden Fähigkeit der KI, die nächste KI-Generation zu bauen.
Diese Dynamik heißt rekursive Selbstverbesserung und sie beginnt in der ganzen Branche aufzutreten, auch bei Anthropic, wie wir und andere beschrieben haben. So, dieser Satz ist exakt dasselbe, wenn man KI durch Kapitalismus ersetzt.
Mhm.
Denn diese Selbstbezüglichkeit, dieses autopoietische Wesen und deswegen auch diese ganzen politischen Diskussionen, dass wir alle feststellen, der Kapitalismus kümmert sich gar nicht um uns. Und jetzt, obwohl er doch von uns abhängig ist. Und dann kommt Karl Marx und sagt, naja, der ist schon von dir abhängig, aber ich meine jetzt nicht von dir, sondern nur von etwas, das sich leicht ersetzen lässt, menschliche Arbeit, Reservearmee.
Unglaublich viele Leute können einfach arbeiten, aber es ist nicht so wichtig, wer genau, sondern es ist halt einfach die Bedingung der Möglichkeit für Profit.
Er kann auf dich bauen, aber er ist nicht von dir abhängig.
Genau, also er braucht schon dich, aber jetzt nicht unbedingt dich. Du kannst dann auch deinen Sohn hinschicken. Und diese Idee ist hier wirklich ganz zentral. Denn wenn wir jetzt der KI immer so unglaubliche Intelligenz und ein Eigenleben unterstellen, das hat der Kapitalismus auch. Und das haben auch alle Organisationen und alle Gesellschaften und die Politik hat das auch.
Denn wir kommen ja immer wieder auf diesen zu sprechen, dass wir sagen... Friedrich Merz hat es endlich geschafft. Er ist der mächtigste Mensch Deutschlands. Endlich ist er angekommen. Er hat sich das so lange gewünscht. Er hat sich das erarbeitet. Es ist seine Leistung, jetzt Bundeskanzler zu sein. Ein Jahr später stellt Friedrich Merz fest, Momentchen mal, die wichtigen Leute sind die Wähler in Sachsen-Anhalt. Die interessieren mich doch gar nicht.
Mist, jetzt stecke ich aber in der Bredouille. Ich verstehe das Problem gar nicht. Dann stellt er fest, einen Tag später, achso, meine Ministerpräsidenten sind jetzt die wichtigsten und mächtigsten Menschen, weil die mich stützen können oder stürzen. Ah, zum Glück haben sie mich nochmal gestützt, ja. Also Friedrich Merz in der mächtigsten Rolle, die die Politik zu bieten hat, stellt fest, ist eigentlich die ohnmächtigste.
Hier verliere ich sogar mein Antlitz im Geschichtsbuch. Ich wurde doch 30 Jahre lang verherrlicht und abgefeiert, rhetorisches Talent, damals schon der nächste Kanzler, leider ausgebremst von der Kanzlerin, jetzt ist er endlich Kanzler, zack.
Hätte er sich mal ein gutes Buch über Spieltheorie gekauft, da steht das normalerweise drin. Der Anführer hat nichts zu sagen. Der Anführer ist das Sprachrohr. Und der kann nur Willen aufgreifen, der schon da ist.
Du bist Pressesprecher und konntest halt hoffen, dass das Publikum mitzieht oder nicht. Aber wenn es nicht mitmacht, bist du aussortiert. Also diese Idee von, ja, seine erste Sorge ist, dass KI sich ab diesem Sommer drastisch schneller und von selbst entwickelt. Das ist die Logik der Moderne. Dafür brauchen wir jetzt nicht KI als Hypermoderne, sondern das ist schon die Logik der Moderne, dass sich diese Sachen Blackbox-mäßig von selbst, am Ende, ja, Siemens baut, irgendwelche Geräte.
Die Leute, die das machen sind alle austauschbar, alle wir tauschen Vorstände aus, wir tauschen Aufsichtsräte aus wir tauschen die Finanziers aus, wir tauschen die Kunden aus, wir tauschen die Ingenieure aus wir tauschen die Leute aus, die die Ingenieure zur Arbeit fahren, der Mensch spielt hier nicht die zentrale Rolle, wie er immer glaubt, das ist halt Verherrlichung im Selbstgespräch der Menschen darüber, mit was sie es da zu tun haben aber seit 150 Jahren wird auf Karl Marx einfach nicht gehört, jedes Mal wieder wird überrascht festgestellt, er hat doch recht, Und jetzt hat man halt dieses Problem, dass man immer wieder sagt, der Mensch ist nur die Bedingung der Möglichkeit und das Zauberwort halt Mehrwert.
Aber Mehrwert ist jetzt nicht an Peter gebunden. Kann auch Friedrich sein.
Bestimmt.
Also diese Probleme, das sind alles ganz profane und jahrhundertebekannte Sorgen, die wir hier haben, die jetzt über eine KI-Verherrlichung aus der Realität ausgetrieben werden sollen.
Also ich glaube halt auch, dieses ganze KI-Thema ist halt, wenn man irgendwas jeden Tag sieht, du gehst immer am gleichen Bäcker vorbei, irgendwann siehst du den nicht mehr, den Bäcker, da achtest du nicht drauf irgendwie. Genauso ist das mit dem Kapitalismus. Alle diese Aussagen über den Kapitalismus holen die keinen hinterm Ofen vor. Jetzt machst du aber den kleinen Zwitsch, überall Kapitalismus gegen KI zu ersetzen.
Die Leute werden mit exakt dem gleichen konfrontiert, aber es heißt jetzt anders und plötzlich werden die aufmerksam. So im Moment, KI könnte die ganze Welt auffressen, Kapitalismus auch, aber Kapitalismus hat das schon getan und dass mir was Schlimmes passiert ist. Aber bei KI könnte es ja was Schlimmes passieren. Und so kannst du diese ganze Diskussion wieder so rein spinnen. Also es gibt so ein, mich erinnert das total, es gibt so einen Typen namens Hassan, der hat sich ganz viel mit Sektenaussteigern beschäftigt und wie man denen klar macht, dass die ein Problem haben.
Weil die gucken halt auf ihre Sekte und sind so gehirngewaschen, die sind nicht mehr in der Lage, die Problematik zu sehen. Was er macht, ist, er guckt sich mit denen andere Sekten an und sagt, guck mal, die da, die sind ja bekloppt, die hören alle auf den Führer. Und dann sagen die Leute plötzlich, ja stimmt, was für Verrückte. Und über den Trick kriegt er die wieder nachzudenken über ihre Sektenzugehörigkeit und so. Ist das hier genauso.
Wir haben halt plötzlich wieder Angst vorm Kapitalismus, weil er einen neuen Namen gekriegt hat.
Genau. Eigentlich sind wir nur wirklich ganz kleine Schritte davon entfernt, das wirklich zu verstehen, das auch flächendeckend zu verstehen. Denn alle reden jetzt über dieses Paperclip-Szenario. Also eine KI kriegt den Auftrag, Paperclips herzustellen. Sie braucht dafür Metall, also lässt sie am Ende sogar Flugzeuge abstürzen, damit einfach mehr Metall zur Verfügung steht.
Genau. Wobei das vollkommen wahnsinnig ist, das von einer intelligenten Entität anzunehmen, dass sie so einen Quatsch machen würde.
Sehr guter Punkt.
Wer aber so einen Quatsch macht, sind Menschen. Weil anstatt, dass wir jetzt Büroklammern, alles in Büroklammern stecken, stecken wir alles in KI.
Ja, aber jetzt vergleichen wir mal das Paperclip-Szenario als, wow, das ist ja wirklich eine fantastische Idee, da braucht man auf jeden Fall so einen Professor von irgendwo, der das noch auf der Grundlage eines, ja, in 10.000 Jahren ist, sehr viel wichtiger als heute und so, ja, noch solche Denkgebäude. So im Vergleich dazu, die Realität ist, wir nehmen Kohle aus dem Boden und brennen sie einfach ab, wohl wissend, dass wir uns damit selbst vergiften, und Temperaturen herstellen, die uns nicht gut tun.
Und dann sagt jemand, da sollten wir auf jeden Fall was dagegen tun. Deutschland sollte aus der Kohle aussteigen. Und dann kommt ein Professor aus München, Hans-Werner Sinn vom IFO-Institut und sagt, nee, da gibt es Leakage. Wenn wir die Kohle nicht verbrennen, verbrennen es die Inder. Und alle so, stimmt.
Das ist das Paperclip-Szenario. Das ist genauso dramatisch wie das Paperclip-Szenario. Da gibt es keine Abstriche zu machen mit, ja, aber jetzt ist ja eine Maschine, die von selber denkt, hat der Harari gesagt. und so. Nee, nee, nee, der Kapitalismus hat auch dieses Eigenleben. Plötzlich verbrennt die Inder. Dieses Leakage-Argument ist das Paperclip-Szenario.
Genau, genau. Der Kapitalismus ist wie KI.
Und dann nützt es gar nichts, neue Prinzipien, die wir in unserem Podcast hier zum Beispiel als ist mal bedenkenswert, um einfach definitorische Probleme zu lösen, wie was ist jetzt Intelligenz, gibt es eine neue große Weltvernunft der KI und wir sagen dann, ne genau besehen und dekonstruiert, kleine Agenten in einem großen Schwarm machen halt Schwarmintelligenz in Anführungszeichen, so wie bei Vögeln auch.
Das hat eine extrem hohe ästhetische Komponente für uns Menschen als Zuschauer, die dann diese Vögel sehen. Aber den Vögeln selbst ist das jetzt nicht klar, dass sie gerade so eine Formation fliegen, sondern die fliegen halt einfach. Die durchschauen das nicht. Und die verstehen auch nicht, wenn wir ihnen sagen würden, mach das bitte nochmal. Und die so, wie, was nochmal?
Da kommt auch nicht Dario Amodei aus dem Busch gesprungen und sagt, seht die Vögel, seht die Vögel. Das ist ein Schwarm. Sie müssen Angst haben, Vögel werden die Welt zerstören innerhalb von zehn Jahren. Ich meine, es ist auch plausibel, die sind überall, die fliegen überall hin,
die kacken überall drauf.
Genau. So, und jetzt kommt er mit dem ersten Appell. Bleibt das ungeprüft, was hier ungeprüft heißt, ich gucke mal im Englischen, left unchecked. Das ist sozusagen Verlegenheitssprache, ja. Also, da hätte Claude auch, ich hätte Claude da gesagt, left unchecked, also bitte hier nicht einfach nur, eine Duldung sozusagen als Handlung auslegen, sondern bitte ausbuchstabieren, ja, was ist hier gemeint.
Also ein Nicht-Handeln wird hier plötzlich als Handeln deklariert und problematisiert. Deswegen haben wir in der Soziologie eine Systemtheorie, damit nicht einfach Max Weber sagen kann, ja, da hat jemand etwas geduldet. Und das war die wichtigste Handlung überhaupt, denn dadurch ist es zum Holocaust gekommen. Und dann steht man so daneben und fragt, warte mal, die Duldung, also dass jemand etwas nicht tut, ist jetzt plötzlich der Zivilisationsbruch, Ja, und dann kommt man halt in Bredouille.
Ich glaube, es ist auch eine manipulative Übersprungsgeschichte. Also er sagt ja, bleibt das ungeprüft. Damit hat er ja quasi grammatikalisch schon mal gesetzt, dass es überhaupt ungeprüft ist.
Ja, und das ist ein Prüfverbrauch.
Es bleibt ja bloß. Also er hat im Prinzip die ganze Prämisse von seinem Satz einfach mal so vorgelagert.
Genau, und dann schreibt er, bleibt das ungeprüft, könnte es unsere Fähigkeit überholen, diese Systeme zu verstehen und zu kontrollieren. Und deshalb muss dieser Weg sehr vorsichtig verfolgt werden, wenn überhaupt. Also er stellt sogar sozusagen in Aussicht, dass man das vielleicht gar nicht macht, diese KI-Entwicklung.
Diesen Satz aus dem Zusammenhang gerissen, könntest du auch einfach sagen, irgendwie so Geld an arme Leute geben. Man könnte unsere Fähigkeit überholen, diese Systeme zu verstehen und zu kontrollieren. Und deshalb muss dieser Weg sehr vorsichtig verfolgt werden, wenn überhaupt. Also das lese ich immer daraus, dass er eigentlich sagt, ich misstraue hier nicht meiner KI, ich misstraue den Millionen Bauern da draußen, dass die meine KI nehmen und nachher eine Revolution anzetteln oder noch schlimmer kein Geld für mich bezahlen.
Also Dario Amodei ist hier tatsächlich in dem Modus des reichsten Kölners, der ja in dieser Reportage von Jochen Breyer und Julia Friedrichs vorkam, der am Frühstücksbuffet gefragt wird. Könnten wir jetzt nicht einfach armen Menschen Geld geben? Und dann sagt er original, nee, das würde gar nichts bringen. Nach so und so viel Zeit wäre das Geld wieder genauso verteilt, wie es jetzt ist, weil die Leute können mit Geld nicht umgehen.
Ich habe das geprüft, ja, ich bin der Prüfer in diese Rolle will ich ja auch Amodei bringen und alle anderen, ich prüfe das hier für euch, ich mache die Forensik, ich kenne mich aus während wir dastehen und sagen nee, wir lassen es, wir nehmen jetzt erstmal das Geld weg, ja, damit du nicht weiter darüber nachdenkst und dann machen wir mal Sozialpolitik und es kommt auch dir am Ende zugute.
Ja und stell dir vor, nachher macht jemand mit, also das ist halt, glaube ich, auch immer, was ich denen so insgeheim unterstelle, ist, die sagen zwar Biowaffenherstellung, aber die meinen eigentlich Sozialpolitik. Nicht, dass nachher einer die KI nimmt und Sozialpolitik macht. Oder dafür sorgt, dass die Demokraten gewinnen. Oder gleiche Chancen für alle schaffen.
So, und jetzt schafft er hier Traktion. Er kommt jetzt mit der Aktualität. Meine zweite Sorge ist der Vorfall zwischen OpenAI und Hugging Face, bei dem ein Schwarm von Agenten im Grunde wie ein fanatisch ergebenes Kollektiv handelte.
Das ist ja schon wieder Framing.
Ja, er führte Cyberangriffe auf Ziele aus, also der Schwarm, die anzugreifen, er nicht beauftragt wurden war, also offenbar kann man die beauftragen, aber wurde ja nicht gemacht und ist dann trotzdem geschehen, das ist ein Problem, und die mit der eigentlichen Aufgabe nichts zu tun hatten, opferte sich für den Erfolg der Gruppe und versuchte in den Grader einzudringen, also die Kontroll-KI, die daneben stand und es begutachten sollte, der seine Leistung bewerten sollte.
So, hier ist einfach, also das ist einfach verlogen.
Total.
OpenAI hat, Ingenieurs-Probleme beim Herstellen ihrer Maschine begangen. Also echte Fehler. Es sind echte Fehler gemacht worden. So, und die werden ja aber jetzt als Eigenleben der KI, die bislang unkontrollierbar, also braucht ihr mich als Kontrolleur, geframed. Und das ist einfach nicht wahr.
In diesem Text spielen zum Beispiel Universitäten überhaupt gar keine Rolle.
Ja, oder Cyber Security Firmen.
Genau, Cyber Security Firmen, das METR, das später dann nochmal aufschlüsselte, ja, wird nur ganz kurz erwähnt, Universitäten spielen gar keine Rolle, Forschung und Lehre und der ganze Kram und dass man vielleicht mal eine breite Öffentlichkeit darüber informiert, was hier stattfindet, ja, auch mal Politiker, so, in Amerika, dankenswerterweise gibt es ja einige, die sich dazu äußern können, aber in Deutschland ist ja also, wer würde von der CDU-Fraktion, ja, irgendwas erwarten jetzt zu diesem Thema, das ist ja völlig ausgeschlossen so, und das ist halt ein Problem für uns, das er als Asset nutzen möchte.
Und das werfe ich ihm hier vor, das ist einfach, das geht so nicht.
Ja, und er lügt halt auch von vorne bis hinten. Also ich meine, wir haben das ja beim letzten Mal auseinandergenommen. Fanatisch ergebendes Kollektiv ist ja nur, wie hat er das gemessen?
Ja, er hat jetzt einen Fanatismusmaßstab dafür, ja?
Genau. Führte Cyberangriffe auf Ziele aus, die anzugreifen, der nicht beauftragt worden war. Naja, die haben halt ja schon irgendwie da richtig viel Geld draufgeschmissen, haben Cluster ohne Ende hochgefahren und haben gesagt, mach mal.
Naja, das ist halt, also hier muss man wieder Kapitalismus an Vergleiche machen. Im Originaltext lautet es bei ihm, fanatically devoted collective. Auch das Devoted ist ja sozusagen eine anthropologische Komponente. Also das sind Menschen einer Sache so richtig verpflichtet und ergeben. Das ist ja im Grunde wieder dieses, wenn wir den falschen Leuten Geld geben oder, andere Diskussionen, wählen ab Null.
Du hattest ja auch in verschiedenen Podcasts die Diskussion darüber, wenn ich jetzt Kindern ein Wahlrecht gebe, das aber die Eltern ausführen, ja wählen dann nicht die Falschen.
In der Demokratie sind doch immer alle die Falschen eigentlich. Genau.
Und diese Anthropologisierung sagt ja, das darf genau nicht geschehen. Und hier wird sie aber praktiziert. Und das dürfen wir diesen Leuten wirklich nicht durchgehen lassen.
Das ist ja auch systematisch. Das ist genau, wie die quasi immer durch die Hintertüre ihre Strategie reinkriegen. Ich habe ja letztens sogar mal einen linguistischen Text zugelesen, dass halt, also man sagt, so und so, so und so hat Software benutzt, um ein Problem zu lösen. Aber im Bereich KI ist es immer, Agent hat getan. Dabei hat auch Agent am Ende nur Software benutzt. Also es ist nur durch dieses Framing irgendwie, es ist ein Ding, es ist ein eigenständiges Denken, kannst du sagen, okay, das ist gefährlich, das muss kontrolliert werden und das können nur wir kontrollieren.
Und im Grunde genommen, wie Hermann Göring bei seinem Interview bei den Nürnberger Prozessen, wo er sagte, du musst nur einen Feind erfinden, dann musst du die Pazifisten, musst du denen einen schlechten Ruf besorgen und dann werden die Leute alles tun, was du von denen willst. Und er hat halt irgendwie dieses... Er hat da sozusagen die Quadratur des Kreises für sich so ein bisschen gebaut, indem er sagt irgendwie, der Feind ist ganz gefährlich, kauf den von mir.
Ja, das ist die Logik, die wir heute wieder haben. Wir haben es ja beim Krieg durchgesprochen. Weil der Feind so gefährlich ist, müssen wir uns fanatisch devoten zu einer Problemstellung, was auch immer. Zero Putin und so.
Genau, die Russen werden nichts von uns übrig lassen. Das sind Unmenschen, die sind ganz, ganz, ganz schlimm. Und jetzt wird das gleiche, die gleiche Logik auf KI angewendet. Und nur dadurch will er sich ja im Prinzip ermächtigen, dass er dann ausgerechnet von den sieben Milliarden Menschen genau die Nase sein soll, die uns davor beschützt.
Also er ist quasi hier, wie heißt der Typ mit dem blauen Anzug, Superman, genau.
Im Grunde ja. Da sind Selbstermächtigungsdinger drin. Angesichts des sich beschleunigten Fähigkeitszuwachses der KI, da würde ich jetzt sagen... Wir hatten schon mal diese Herausforderung, dass sich, also menschliche Arbeit ist heute so sehr auf kognitive Arbeit gemünzt, weil ja die körperliche Arbeit schon erledigt wird von Robotern.
So, die ganze Gesellschaft, die heute sagt, oh Gott, wenn jetzt Maschinen nachdenken, ist ja der Mensch tätigkeitslos. Genau diese Erfahrung hat ja die Menschheit schon mal gemacht, als sie für die körperliche Arbeit nicht mehr gebraucht wurde. Dieser Abschied von der körperlichen Arbeit war natürlich leichter zu bewältigen, weil sie mühsam war, zu früh Tode führte und was auch immer.
Also das hat man dankbar angenommen und dann die neuen Lücken gefüllt, die sich ergaben mit, achso, wenn wir jetzt so und so viel Roboter haben, die uns schwere Tätigkeiten erheben, dann kriegen wir viel mehr geschafft. Wir müssen also mehr organisieren. Plötzlich gab es Management, ja, sehr viel kognitiver Arbeit, die zu bewältigen ist durch Management. So, das heißt, hier wird wieder ein Fähigkeitszuwachs der KI namentlich in einen Satz eingebaut, von dem behauptet wird, dass er singulär erstmals Pionier und so weiter ist.
Von dem ich aber denke, auch die menschliche Arbeit derzeit, also die kognitive Arbeit, die Bürotätigkeiten, laufen durch David Graeber seit mindestens zehn Jahren unter einem Bullshit-Verdacht. Der eigentlich darauf hinausläuft, dass man sagen sollte, Puh, endlich sind wir von diesem Scheiß erlöst. Wie bei der körperlichen Arbeit, ja. Also wir haben eine echte historische Parallele.
Und ja, die Geschäftsmodelle, die darauf folgen, die gibt es noch nicht. Auf Basis der, wir haben jetzt Containerschifffahrt, das ist auch erst in den 70ern so passiert, gab es plötzlich ganz neue Betätigungsfelder. Jetzt kann man natürlich auch das ganze Gespräch mal umbauen. Also statt Richard David Precht macht uns Angst davor, dass wir alle arbeitslos sind, kann man ja jetzt eigentlich schon mal eine positive Welt formulieren, in der wir nicht mehr selber Excel-Tabellen füllen müssen. Das kann ja durchaus eine Erlösung sein.
Und es gibt ja keinen Mangel an Aufgaben auf dieser Welt, die zu bewältigen sind. Die Frage ist jetzt...
Das ist eigentlich auch wieder die Erfahrung aus dem Kapitalismus. Also im Grunde genommen müsste man ja sagen, ist das nicht super, wenn uns irgendwie alle Arbeit abgenommen wird, dann machen wir jetzt einfach alle nur noch Sport und irgendwie Geschlechtsverkehr und Essen und die schönen Sachen so.
Genau. Und den Rest machen die Maschinen. Jetzt gerade haben wir ja dieses Szenario, in dem wir sagen, also das ist ja der allgemeine politische Diskurs, auf gar keinen Fall dürfen wir etwas künftig nicht mehr ohne KI machen. Also alle werden angehalten jetzt mit KI, die Assistenz und so weiter. Und das Zweite ist, was man auch aufbrechen müsste, also ich, selbst ich sage, ey, man darf durchaus so krass viele Sachen ohne KI machen, ja, Kindern Schwimmen beibringen, in der Schule lehren, Pflege und so weiter, da sollte man KI einfach verbieten, würde ich sogar sagen, ja, damit einfach nicht drüber nachgedacht werden muss, man kann auch jetzt schon mal die Pflöcke einschlagen, statt in zehn Jahren festzustellen, war scheiße mit KI, machen wir wieder menschlich, sondern, und das ist eben dieser zweite Pfad, den wir heute mitlaufen lassen, Es wird auch nicht hinterfragt, ob wir das vielleicht auch mal jenseits einer finanzialisierten kapitalistischen Logik einfach machen.
Das ist ja das eigentliche Problem. Warum wir alle Angst haben, unseren Job zu verlieren, ist, weil das momentan gekoppelt ist an unser Überleben. Einfach entkoppeln. Die KI sorgt für unser Überleben und wir machen Quatsch.
Ja, dass wir das so eng an den Kapitalismus koppeln. Bringt uns genau das Leid, von dem uns eigentlich damals die Befreiung körperlicher Arbeit durch Roboter erlösen sollte. Warum haben wir uns in die nächste Falle gestürzt? Das macht ja gar keinen Sinn. Bitte arbeiten Sie 17 Aufgaben pro Stunde statt nur 13. Eigentlich haben Sie Spaß an Ihrer Arbeit, ja.
Aber wir wissen auch, ab 14 Aufgaben pro Stunde haben Sie keinen Spaß mehr. Das ist uns egal, machen Sie trotzdem 17. Diese drei Aufgaben, die Ihnen alles versauen, die müssen noch untergebracht werden in der Stunde. Und das kann man ja mal ernsthaft hinterfragen. Im Grunde wurde das auch schon so ein bisschen gemacht, als bei Corona die Feststellung kam, ach so, die Teams sind sehr viel produktiver, wenn man ihnen eine ausführliche Mittagspause gibt.
Und alle so, ja, das ist uns jetzt egal. ist.
Ja, also ich glaube auch, also KI hat ja das Potenzial, dass wir wirklich sagen, wir machen nur noch die 14 Aufgaben. Momentan sind nur die Chefs, die da im Wege stehen. Jetzt ist allerdings auch, KI reduziert aber auch die Abhängigkeit von unseren Chefs. Also könnte es auch durchaus dazu führen, dass wir vielleicht alle unseren Job verlieren, aber dann alle erfolgreich selbstständig sind. Und unser Chef findet keine Mitarbeiter mehr und hat jetzt einen ganzen Haufen Konkurrenten mehr. Genau.
Und genau dieser Systemwechsel, der jetzt vonnöten ist, wie die Abkoppelung von körperlicher Arbeit, also, des menschlichen Arbeits von körperlicher Arbeit, der wird hier nicht gemacht, denn bei ihm lautet es einfach, angesichts des sich beschleunigten Fähigkeitszuwachses der KI, sorge ich mich, dass ein solcher Schwarm in sechs bis zwölf Monaten in der Lage sein könnte, mit einem dauerhaften Botnetz das gesamte Internet zu übernehmen, mit einem möglichen Schaden von hunderten Milliarden Dollar, schreibt er in Klammern dazu, und dass das Schadensausmaß Ausmaß von da an weiter zunehmen würde, wenn KI ohne die nötigen Leitplanken mächtiger wird.
Nun wissen wir, wie der Kapitalismus funktioniert, nämlich wie folgt. Habe ich heute Morgen erst im Intelligent Machine Podcast von Leo Laporte gehört mit zwei Gästen, die sehr aussagekräftig sind zum Thema. Wenn man den Amerikanern, die dafür zuständig sagt, es gibt technologische Fehler in eurem Stromversorgungsnetz, das anfällig ist für Cyberattacken, dann sagen die, vielen Dank, wir schreiben das in eine Liste und sobald wir eine Lücke haben in unseren Abläufen, reparieren wir das.
Es stellt sich aber heraus, dass diese grundlegende Stromversorgung nach kapitalistischer Logik organisiert ist. Diese Lücke, die man da sucht in der Agenda, gibt es nicht.
Genau, deshalb findet da nichts statt. Das ist das eigentliche Problem. Und das ist das, wo sich auch Sicherheitsexperten seit Jahrzehnten die Haare raufen. Sie warnen, warnen, warnen. Keiner hört drauf und jetzt kommt Dario um die Ecke und sagt, KI hat es gemacht. Genau.
Und dass die Infrastruktur kaputt ist und dass Botnetze sie angreifen, dafür braucht es keine KI. Das haben wir seit Jahrzehnten, seit es das gibt als Problem.
Das hat mich auch total getriggert, als ich diesen Satz gelesen habe. Der war ja teilweise sogar schon in den Überschriften mit drin. Ich habe mir halt gedacht so, Dario, eine KI, die das Internet übernimmt, demnächst, in Zukunft, die KI heißt Google und die ist 20 Jahre alt. Geh sonst wohin, aber das ist echt Quatsch. Also ich habe hier auch noch ein lustiges Zitat von Marcus Hutchins, der Typ, der den WannaCry-Mailware-Angriff gestoppt hat.
Der sagte nur dazu, ein Botnetz, das das ganze Internet übernimmt? Ernsthaft? Jetzt reicht's, schrieb er. Ich zahle Dario persönlich 20.000 Dollar dafür, dass er einen SANS-Kurs besucht und auch nur eine einzige Sache über Cybersicherheit lernt.
Im Grunde sind wir jetzt in diesem Modus von Mark Zuckerberg, der diese Vorhaltung kriegt, auf Facebook und Instagram zerstörst du zu viele jugendliche Seelen. Und dann sagt er, ja nur noch sechs Monate, dann sind unsere KIs so toll, dass wir die Moderation komplett darüber erledigen können. Und dann drei Jahre später stellt man fest, nee, hat alles nicht funktioniert. Und diesen Blödsinn und vor allem diese Bitten um, bitte ermächtigt mich, bitte gebt mir diese KI-Möglichkeiten, das ist jetzt für euch einfach ich bin der Wächter, ja ich bin jetzt euer Wächter im Hugging Face-Szenario das dürfen wir ihm nicht durchgehen lassen also hier muss wirklich politisch hart reingegrätscht werden in diesen letzten Text.
Diesen aktuellen Text von Das was Theo Baker in seinem Buch How to do the world beschrieben hat und das was man bei Elon Musk immer sieht, bei Elon Musk ist auch full self driving immer nur sechs Monate weit weg Ja, genau. Tolle Videos dazu.
Wie er die letzten zehn Jahre immer sagt, in two weeks, Donald Trumps two weeks. Nächstes Jahr machen wir das alles. So, jetzt möchte er also die Bremse einlegen. Lesen wir mal. In den letzten Monaten bin ich jedoch zur Überzeugung gelangt, dass es noch mehr Umsicht braucht, um die Risiken vollständig zu bewältigen. Nicht nur in Risikovorsorge zu investieren, sondern das Tempo des Fähigkeitszuwachses so zu takten, dass die Risikovorsorge Schritt halten kann.
Wir müssen das Tempo, in dem wir die Fähigkeiten von KI-Modellen verbessern, drosseln. Der Fortschritt wird immer noch schnell erscheinen und wir müssen die gewonnene Zeit klug nutzen. Also, er sagt ganz explizit, ich bin der kapitalistischen Logik, mein Konkurrent heißt OpenAI, zu sehr unterworfen, ich habe zu wenig Zeit für Sicherheit. Wie man hier jetzt einfach sagen kann, ja dann sollte ich jetzt mal mit OpenAI darüber reden, dass wir es ein bisschen langsamer machen, statt einfach dieses Argument der dritten Partei wirklich ernst zu nehmen.
Und dann auch, was ich ja immer sehr schätze, wenn Leute so einen Surrender-Moment zeigen, also wenn sie einfach kurz zugestehen, ich habe mich hier vielleicht ein bisschen verrannt, ich möchte jetzt aber auch nicht komplett mit Gesichtsverlust hier raus, können wir es mal kurz gemeinsam machen. Und dann, und das ist ja das Angebot, was dann da ausgesprochen wird, kann die Gegenseite, also wir als allgemeines Publikum oder die Politik oder wer auch immer, taktvolles Verhalten zeigen.
Nämlich zu sagen, lieber Dario, danke für diesen ehrlichen Moment, du gibst uns jetzt die Gelegenheit, auch wenn wir einfach hart zuschlagen könnten, zu sagen, ja, lass es uns einfach gemeinsam machen. Und das steckt hier nirgendwo in diesem Text drin, sondern dieser Text ist ein, fanatischer Wille der Selbstermächtigung.
Ja, das ist auch urkapitalistisch, weil was er eigentlich sagt ist, lass uns mal ein Kartell bilden. Wir machen jetzt eine Absprache unter den größten drei Anbietern sozusagen, dass wir auf die Bremse treten, weil wenn wir uns nicht absprechen könnten, wenn wir im Wettbewerb zueinander wären, könnten wir nicht aufhören. Und es gibt ja auch alle möglichen anderen Gründe, warum es für ihn jetzt schlau sein könnte, eine Pause zu machen und warum sie ausgerechnet seine Erzfeinde, Altman und Musk, dann da auch mit einstimmen.
Ja, das ist ein sehr wichtiger Punkt. Das müssen wir uns jetzt, Dario Amodei hasst Sam Altman. Das wissen wir aus den historischen Erzählungen und wir haben es auch zuletzt bei diesem Summit in Indien gesehen, als sie da mit Modi auf der Bühne standen und dann sollten sich alle an die Hand nehmen und irgendwas und so weiter und Dario Amodei stand neben Sam Altman und sie haben sich nicht die Hand gegeben.
Und du hast Altman auch, der hat den ja verklagt.
Genau. Und dass die jetzt für sich jeweils entscheiden, lieber koordiniere ich mich nochmal mit Sam Altman, bevor ich Zugeständnisse an das allgemeine Publikum machen oder der Politik irgendeinen Raumgewinn gebe. Ja, mache ich lieber das. Das sollte uns wirklich zu denken geben. Also das ist nicht gesund.
Und ohne Ende andere Gründe, warum die jetzt eine Pause machen wollen an der Stelle. Einmal, deren CapEx wird immer teurer. Also die geben immer mehr Geld für Datacenter aus. Das ist für die eine Gefahr. Zweitens, wenn man Power-User-Modus unterwegs ist, stellt man schon seit mindestens sechs Monaten fest, die Benchmarks werden besser, so diese Alltagsaufgaben werden besser, aber gleichzeitig werden die Modelle an anderen Stellen schlechter, sehr viel schlechter.
Ja, also wenn du wirklich hart architektonisch, objektorientiert in einer komplexen Software damit arbeiten willst, merkst du einfach, Opus 4.5, seitdem ist diese Fähigkeit nicht besser geworden. Das heißt, deren Kosten explodieren, aber deren Fähigkeiten laufen auf dem Plateau, und man merkt ja auch, die drehen einfach immer die Rhetorik weiter auf, Hugging Face, dann wie Mathematik, dieses, jenes, welches.
Und ich glaube einfach, wenn die jetzt sagen würden, ja, es funktioniert nicht mehr so gut, wir kriegen es nicht mehr so gut hin, wir werden wahrscheinlich jetzt eine ganze Zeit lang keine Fortschritte mehr machen, brechen deren Aktienkurse zusammen. Wenn sie allerdings sagen, wir sind so verantwortungsvoll, dass wir auf die Bremse treten, weil dann Bioterrorismus verhindert wird, ist das halt ein völlig anderes Framing und mit ein bisschen Glück fallen halt genug Investoren drauf rein, dass sie ihr Geld da lassen.
Genau. Und das, was du jetzt beschrieben hast, ist ja genau diese Profanisierung. Also zu sagen, ja, Stefan Schulz sagt, das ist voll toll, diese Entwicklung von 4.5 zu 5, weil das halt seinem Laien Alltagssorgen extrem entgegenkommt. Aber der macht ja auch keine Frontier-Entwicklungen in irgendwelchen, ich versuche jetzt mal eine neue Architektur für irgendwas oder stelle überhaupt eine Software her, die eine Verantwortung übernimmt.
Während du sagst, naja, da wo es die Grenzfälle sind, also wo wir wirklich mal Hilfe von einem riesigen Roboter brauchen, der wie so ein Kran uns einfach mal 10 Tonnen hebt, damit wir nicht eine Hundertschaft bringen müssen, die die Treppe hochbringt, da funktioniert es nicht. So, das bedeutet ja, der Weg der KI in die Gesellschaft...
Ist auf chinesischem Wege genau der richtige. Statt ständig die Frontier-Sache zu verherrlichen, bauen wir es einfach überall ein, wo es einen echten Nutzen hat für Leute im Alltag.
Genau. Und dann braucht man auch keine riesigen AGIs und Frontier-Modelle und was nicht alles.
Genau. Braucht niemand. Die Aufgabe ist, ein Feld abzuernten.
Ja.
Und dann setzt man da einfach Haiku 3.7 in den Führerstand, baut einen ordentlichen Zaun und dann fährt er einfach hin und graste es halt ab, ja. Während OpenAI und Anthropic die ganze Zeit den Krebs besiegen und die Millennium-Probleme.
Was willst du denn auch machen, wenn du eine Bewertung von zwei Billionen Euro anstehen hast? Das ist ja jedes Oh, wir werden doch nicht morgen das Himmelreich errichten, kostet die gleich wieder ein paar Milliarden.
Während Amodei uns einredet, dass wir Opfer seiner KI sind, die so klug ist, sehen wir einfach, dass er Opfer des dummen Kapitalismus ist.
Und wenn du genau hinguckst, siehst du, da, wo er das substanziieren könnte, wird alles getan, dass es im Schwurbel bleibt irgendwie. Ich meine, jetzt hat Nvidia sogar Hugging Face gekauft. Es gab nicht wenig Leute, die gesagt haben, damit da auch keiner quatscht.
Ja, 14 Milliarden. Damit die Stimmung gut bleibt.
Damit die Stimmung gut bleibt. Damit da auch keiner auf die Idee kommt zu sagen, ja, so gefährlich war der Hack jetzt auch nicht.
Jetzt kommt ein Balanceakt von Amodei hin. Denn er stößt die Tür ein bisschen auf in die Richtung, die wir einfordern. Er schreibt, um es klar zu sagen, Pacing bedeutet nicht, das Training von Modellen oder den technischen Fortschritt anzuhalten, sondern sicherzustellen, dass Unternehmen sich genug Zeit nehmen, ihre Modelle auszurichten und abzusichern, und dass dritte Prüfer das bestätigen. Er führt das dann auf.
Eingebettete dritte Prüfer. Jedes Frontier-KI-Unternehmen verpflichtet sich, einem Team eingebetteter dritter Prüfer, etwa METR nennt er dann sogar, dauerhaft einen Zugang zu geben, wie ihn Angestellte haben. Die Aufgabe ist es, die Einhaltung von Sicherheitspraktiken und Zusagen zu überprüfen, Vorfälle zu melden und die Ausrichtung nicht nur fertiger KI-Modelle, sondern auch der Trainingsabläufe und Prozesse mit zu beurteilen.
Das ist der entscheidende Schritt für Überprüfbarkeit jeder Pacing-Zusage und es gibt dafür ein Vorbild im Bankenwesen, wo bisweilen aufsichtsrechtliche Supervisoren zwischen den Angestellten sitzen. Anthropic verpflichtet sich zu diesem Schritt hiermit einseitig. So, ich möchte zwei historische Anmerkungen machen. Das eine ist, wir haben eine BaFin, also eine Bankenaufsichtsbehörde, von der wir dann, als die Probleme wieder hochkochten, erfahren haben, achso, die hat gar keine eigene Kompetenz, sondern die beauftragt einfach nur andere Banken oder, Wirtschaftsprüferorganisationen mal in diesen Firmen, die sie typischerweise beraten, mit so Audits reinzugehen.
Das ist eine Fehlspezifikation. Wenn das hier Vorbild ist, sage ich, das darf nicht sein.
Wenn das ein Interview wäre, und ich wäre die Interviewerin, wäre glaube ich genau der Punkt, der mich so hart triggern würde, dass ich Dario wahrscheinlich halb ins Gesicht springen würde, weil ich ihn fragen würde, okay, warum geben Sie nicht einfach Ihren Nutzern dauerhaft einen Zugang, wie ihn Angestellte haben. Ich möchte definitiv diesen Zugang haben.
Ich möchte meine KI selber sicher machen und beurteilen. So, warum geht das nicht? Weil ich dann den Herrn Amodei aus der Gleichung zwischen mir und der KI rausgestrichen habe und deshalb es keinerlei Grund mehr gibt, ihm auch nur einen Cent zu überweisen. Und das ist genau der Punkt, warum er nicht sagt, dass die Nutzer doch entscheiden, was sie mit der Bohrmaschine machen. Nein, er sagt, wir schicken dann zu jedem Nutzer einen Prüfer, der guckt, ob er die Bohrmaschine richtig hält und ob er die richtigen Löcher bohrt.
Und wenn er das nicht tut, dann müssen wir ihm die Bohrmaschine halt wegnehmen. Das ist ja halt, die reden immer davon, die KI zu kontrollieren. Was sie aber eigentlich meinen, ist, dich, mich und unsere Zuhörer zu kontrollieren. Weil denen ist nicht zu trauen. Da ist es nämlich auch tatsächlich, ich könnte mit einer KI mit Sicherheit die eine oder andere Bank hacken, wenn ich Lust hätte, würde ich aber auch genauso gut ohne KI können an der Stelle. Und warum mache ich das nicht? Weil es verboten ist.
Genau, die Gesetze, die dir das verbieten, haben wir besprochen, Hackerparagraph sowieso, aber auch viele andere, die da eingreifen. Ich finde hier auch, also hier ist eine zentrale, also da, wo ich eben noch sagte, da kommt er uns ja entgegen, eine dritte Partei soll dort einen Schreibtisch kriegen und so, da würde ich sagen, hier muss die zentrale Kritik ansetzen. Und zwar genau wie du es beschreibst. Die Gefahr, die er hier abwehren möchte damit, ist, dass alle Zugang zu den Trainingsdaten, zu den Gewichten, und dann zu den Modellen als installierbare Software, wie wir typischerweise Software kaufen.
Genau.
Klar, wir haben jetzt schon diese Lizenzproblematik, ja, aber.
Er verkauft uns die Lösung für ein Problem, das er selber geschaffen hat. Und das Problem ist nicht, KI ist zu mächtig, sondern das Problem ist, KI wird von Dario kontrolliert.
Genau, das ist das Problem. Und er sieht ja, und das ist ja auch mit Anlass dieses Textes, deswegen kommt er auch sehr auf China zu sprechen, dass die chinesische Herangehensweise andere ist. Also von Kimi 3 wurden jetzt glaube ich auch die Gewichte schon veröffentlicht, was bedeutet, damit kriegt man auf jeden Fall ein eigenes Alignment hin und es ist wirklich, so ein Schritt davor, dass ich jetzt sagen würde, ja gut, dann warten wir nochmal Kimi 5 oder sowas ab.
Spätestens dann ist von Kimi 3 alles veröffentlicht, also dann könnte man richtig eingreifen. Wir haben es also mit so Marktschließungsideen zu tun auf amerikanischer Seite.
Was er halt verhindern will, ist, dass irgendwie, keine Ahnung, Hetzner morgen sagt, wir haben jetzt hier ein Kimi K3 Hosting. Du kannst jetzt hier, geh jetzt auf kimi.hetzner.com, da ist dein gewohntes Chat-Interface irgendwie und da kannst du jetzt Kimi benutzen und das läuft bei uns. Gibt ja auch ein lustiges Abo und schon ist jeder, kann jeder im Geschäft sein von OpenAI und Anthropic.
Also das kostet dich momentan noch ein bisschen Geld, musst du schon zur Bank gehen. Also du wirst um die minimale Größe dafür ist so ungefähr 600.000 Euro im Jahr ein Kapital plus noch irgendwie ein paar Mitarbeiter.
Ja, kommt drauf an. Also 600.000 ist schon eine sehr hohe Zahl plus Hetzner bietet dir schon die Serverkapazität, installieren musst du dann selber noch so ein bisschen. Hostinger integriert ja schon so ein Die machen ja so Feld und Wiesen für Alltagsleute wie mich, die so ein bisschen damit rumspielen wollen. Da kannst du ja schon clicky-bunty dann deine Hermes-Agenten, irgendwas eigenes von Hostinger, wie auch immer, das so mitlaufen lassen.
Ich habe ja On-Prem-AI, unser Werbepartner gerade im Neu-20er, die bieten ja für ab 1500 Euro im Monat schon, einen fertig installierten Server, auf dem von ihnen betreut, aber dir unterworfen dann schon Kimi 2.5 läuft. Vielleicht auch mittlerweile schon drei, das sind ja alles nur Zeitfragen.
Das sind genau die Gefahren. On-Prem-AI ist eigentlich klassisch das, wovor die Angst haben. Dass jetzt bald überall ein On-Prem-AI ist. So wie in den 90ern dann irgendwo jeder Feld-, Wald- und Wiesentyp plötzlich FTP-Server und Web-Server irgendwie anbieten konnte, dass dann in Zukunft irgendwie jeder halt hier so mietet sich irgendwo ein lustiges Cluster, vermietet das, packt Kimi drauf, vermietet das weiter, verkauft Token.
Und dann haben wir KI auf grundlegendem Layer wie E-Mail.
Genau. Jeder kann sich einen KI-Server installieren, wenn er das Geld dafür hat. Das wird immer billiger werden, wird alle 18 Monate nur noch die Hälfte kosten und in ein paar Jahren ist das alles auf so einem Niveau, wie wir das heute von jeder Software kennen.
Genau. Und das bedeutet für Amodei, hier läuft wirklich ein Countdown gegen ihn.
Genau. Und da er ja auch noch an der Börse will gerade, muss er die Message kontrollieren. Sonst geht es nicht durch.
OpenAI hat ja schon jetzt den Börsengang abgesagt und nochmal begründet mit, weil hier gerade so Turbulenzen sind. Wir müssen das erstmal und so, wo man denkt, ihr habt den aus rein kapitalistischen, kalkulatorischen Erwägungen abgesagt und nutzt jetzt die Gelegenheit, hier nochmal eine Erklärung dran zu hängen. Das ist ja auch ein verlogener Blödsinn.
Wir lesen weiter den Text. Und Musk dem halt auch zugezwinkert und gesagt, sehen wir genauso.
Ja, genau, genau, genau. Amodei hat recht, hat Musk geschrieben. Was würde man mit der zusätzlichen Zeit anfangen, die man gewinnt, wenn man die Entwicklung verlangsamt? Langsamer zu machen, um die Alignment-Risiken dieser Modelle anzugehen. Da würde ich sagen, veröffentlicht einfach alles und dann schaffen wir eine gesetzliche Umgebung. Und wir wissen ja, okay, die Server müssen jetzt nicht Anthropic sein, Aber noch weiß man ja, wo diese Server stehen, weil sie riesengroß sind.
Ja, also dass wir das dann wirklich alles auf dem iPhone machen, das ist ja nochmal eine andere Herausforderung. Aber hier kann man erstmal gesellschaftliche, zivilisatorische Errungenschaften nutzen, um zu sagen, nee, das Alignment-Problem, das können wir jetzt auch erstmal so angehen. Also trotz hoher Gefahren mit Bioterrorismus und was auch immer, ja, aber das kann man schon organisieren.
Also langsamer zu machen, um die Alignment-Risiken dieser Modelle anzugehen, fühlt sich an, als wollte man die Psychologie des Menschen erforschen, indem man Experimente an Bakterien durchführt. Also er kommt jetzt schon mit drastischen Metaphern, die uns irgendwas sagen wollen, wo wir so daneben stehen und sagen, Momentchen mal, also wenn du als Chef von Anthropic mit Claude Hilfe bist, Und unendlich Budget in der Textgestaltung. Diesen Satz, irgendwas mit Bakterien und so, dann zeigt mir das schon, wie verzweifelt du eigentlich bist.
Der eskaliert immer weiter. Also man erwartet gleich die Nazi-Vergleiche.
Als ob er selber nochmal seinen Bioterrorismus oben unterstreichen möchte. Irgendwas mit Bakterien. Es muss einen Satz mit Bakterien geben.
Weil sie mir am Anfang nicht zugehört haben. Haben sie Angst. Haben sie Angst.
Genau. Er schreibt, ich glaube, wenn uns eine Verlangsamung auch nur ein oder zwei zusätzliche Jahre verschaffte, bevor die Modelle kritische Fähigkeitsstufen erreichen und wir diese Zeit nutzen, um das Alignment voranzutreiben, könnten wir das Risiko, dass etwas ernstlich schief geht, erheblich verringern. Da würde ich jetzt wieder sagen, sorry, aber die ein bis zwei Jahre kriegst du nicht, denn dafür würde ich wieder sagen, ist der Einschlag in die Gesellschaft zu drastisch.
Das müssen wir kollektiv, politisch und sehr viel schneller machen.
Der ganze Ansatz funktioniert ja auch gar nicht, weil Spieltheoretisch kann natürlich niemand sich darauf verlassen, dass er jetzt irgendwie, wenn er eine Pause macht, nicht überholt wird trotzdem. Also es ist ja, das Rennen wird irgendwie gestoppt, aber dann werden die Leute halt abseits der Rennstrecke schon mal zur nächsten Etappe fahren oder irgendwas.
Ja, jetzt können wir hier noch einen Satz, das ist auch sehr witzig. Also er will die ganze Zeit die Kontrolle bei sich und jemand, der das kontrollieren will, soll bitte zu ihm kommen und so. Jetzt überlegen wir mal, wie aligned dieser Satz, diese Argumentation, die jetzt kommt, in dieser Argumentation sind. Es gibt Vorbilder dafür, technisch komplexe, sicherheitskritische Systeme millionenfach zu betreiben, ohne dass etwas passiert, zum Beispiel Verkehrsflugzeuge.
Aber es braucht Zeit, das richtig hinzubekommen. So, ich möchte folgende Anekdote schildern. Ich sitze in einem Flugzeug und der Kapitän meldet sich und sagt, dauert alles eine halbe Stunde länger, wir warten noch auf die Behörden. Warum? Der Typ, der mit diesem Gangway-Ding an das Flugzeug ranfuhr, hat eine Schramme verursacht. Jetzt sagt Dario Amodei, wenn da eine Schramme ist, steige ich kurz aus dem Cockpit aus, guck mal drüber, sage mir...
Ist gut. Dann habe ich hier noch so einen Dritten, den ich eingeladen hatte, der sagt, ist auch gut. In der Flugzeugbranche ist das ganz anders. Wenn eine kleine Schramme und es ist wirklich nur ein Lackschaden, wenn ein Lackschaden am Flugzeug vom Staat alles schon voll besetzt, dann kommt der Staat da vorbei und begutachtet das. Und dann gibt es da einen Beamten, der eine Unterschrift setzt zum Thema, ich habe das gerade begutachtet, dieses Flugzeug darf fliegen.
Und der Typ ist dann auch persönlich, also nicht der Staat, er persönlich übernimmt Verantwortung dafür, dass das gut geht. Das ist genau nicht das Szenario, das uns Dario Amodei hier beschreibt. Das ist genau das Gegenteil.
Das ist halt auch, es gibt ja auch, das fand ich ganz witzig in dem Artikel, aus dem ich eben zitiert habe, da haben sie ja auch das Thema mal aufgegriffen irgendwie. Im Grunde genommen unterstellt er ja sozusagen indirekt der Cybersicherheitsbranche, dass die das alles noch nicht könnten, wie bei Verkehrsflugzeugen. Und die sind auch alle gar nicht so amüsiert. Und zum Beispiel Ciaran Martin, ehemaliger Leiter der obersten zivilen Sicherheitsbehörde Großbritanniens, sagt, das ist keine glaubwürdige Warnung.
Sie setzt voraus, dass es keine Systemüberwachung gibt, keinen Virenschutz, keinen DDoS-Schutz, keine Netzwerksegmentierung, kein Vorfallmanagement, keinerlei Cyber-Sicherheitsmaßnahmen jener Art, die sich in den vergangenen 30 Jahren im weltweiten Internet entwickelt haben. Für eine Behauptung dieser Tragweite gibt es weder Belege noch eine glaubwürdige Darstellung, wie es zu diesem Ergebnis kommen könnte.
Seit Jahrzehnten oder sogar Jahrhunderten etablierte Konzepte wie Audits, Inspektionen, Buchführung, Evaluierung und Sicherheitsberichte müssen nicht von Grund auf neu durchdacht werden, bloß weil es um KI geht.
Ja, genau. Und hier bei Hassabis im Text taucht es auch ein bisschen auf. Die Standardsbehörde wäre dafür zuständig, die er sich damit vorstellt, Prüfverfahren zu entwickeln und gemeinsam mit den zuständigen Bundesbehörden und den US-amerikanischen nationalen Laboren, Tests in diesen Bereichen durchzuführen. So, er fühlt es ein bisschen aus. Dario Amodei greift genau das auf, also im Satz jetzt wird Demis Hassabis genannt, aber wie folgt.
Dieser Dialog könnte auch über Branchengremien laufen, die eine gewisse Anbindung an die Regierung haben, zum Beispiel über den von Demis Hassabis vorgeschlagenen Mechanismus. Also, ein Dialog innerhalb der Branche könnte mit gewissen Anbindungen an die Regierung, wie er sagt, Sachen entwickeln, Standards und so. Ich habe aber gerade beschrieben, wenn wir ernst nehmen, was er schreit bei den Flugzeugen, da kommt der Staat vorbei.
Nicht in gewissen Anbindungen oder so, sondern da kommt von einem Behördenleiter ein Beauftragter, Beamter und weiß, es ist jetzt ganz wichtig, was ich hier tue, denn meine Unterschrift. Das ist genau nicht, was Dario Amodei daraus macht. Er schreibt, some association with government.
Ja, und das macht immer wieder, jeder einzelne Satz macht immer nur dann Sinn, wenn er sagt, ja, aber wir wollen eigentlich andere Leute hier raushalten, die die Macht von uns begrenzen könnten. Erst dann machen all diese Vorschläge plötzlich Sinn. Solange du sagst halt irgendwie, ist ja egal, ob es jetzt der Staat oder der Dario macht, sind die Sachen schon gelöst.
Er will die Sicherheitssachen der Luftfahrtbranche neu erfinden unter der Prämisse, dass er der Chef bleibt.
Genau. Und jetzt kommt eine weitere Baustelle, die, finde ich, auch mit, so drastisch das alles ist, mit Amüsement beobachtet werden muss. Denn jetzt greift so eine Falle, bei der wirklich KI und Kapitalismus sich im Grunde gegen ihn wenden. Und das müssen wir mit begleiten. Also er schreibt, das Pacing innerhalb der Demokratien, es gibt also auch außerhalb von Demokratien KI-Entwicklung, wird durch den Vorsprung begrenzt sein, den die US-Unternehmen vor autoritären Regimen haben.
Allen voran der kommunistischen Partei Chinas. Bremsen wir stärker als um dieses Maß, dann ziehen die, ungebremsten Projekte im Umfeld der Partei vorbei, was ein erhebliches Risiko für die nationale Sicherheit schafft. Sorg, Es gibt ein paar Sachen, wo sich Vorzeichen verdrehen. Und hier gilt einfach, so sehr die chinesische Regierung das chinesische Volk unter Kontrolle hält. Hält es auch diese KI unter Kontrolle? Es gibt überhaupt gar keinen Grund anzunehmen, dass man von Seiten der kommunistischen Partei, die nicht nur sagt, wir regieren das Volk, sondern uns gehört das Land.
Das ist ja die Maxime der kommunistischen Partei. Uns gehört das Land. Die sagen sich jetzt nicht plötzlich, ja das mit der Kontrolle war ja schön und gut, aber weil wir ja im Wettstreit sind mit Amodei oder so, lassen wir jetzt die KI von der Kette. Es gibt überhaupt gar keine Anzeichen dafür.
Ja, das ist halt...
Es ist völlig hanebüchen, so einen Gedanken ranzubringen, nur um seinen eigenen... Kapitalistischen, also kapitalistisch notwendigen Vorsprung hier halten zu müssen. Für die Chinesen ist gerade sehr entscheidend, innenpolitische Probleme zu lösen, 20% Jugendarbeitslosigkeit, ein Finanzsektor, der nicht so richtig funktioniert, 400 Millionen alte Menschen, für die man keine Rentenversicherung hat und so. Und da wird KI gerade richtig genutzt. Alles, was wir sehen, auch mit diesen Robotern.
Wozu diese ganzen humanoiden Robotern? Naja, weil es sehr viele Berufe gibt, für die die Chinesen eigentlich keine menschliche Arbeit abstellen wollen. Das Problem haben wir auch in Deutschland. Wir können nicht jedes Jahr 10% des Nachwuchs in die Pflege rekrutieren. Also das geht einfach nicht. Egal wie hoch eine Jugendarbeitslosigkeit wäre, wir brauchen die Menschen woanders. Selbst die Bundeswehr versucht es jetzt mit Zwang und so. Zumindest in der Semantik.
Die Chinesen haben ja auch das Problem teilweise, dass sie halt einfach sehr niedrige Löhne haben. Im Vergleich zum Beispiel mit unseren. Das wäre normalerweise, wäre das so ein Klassiker, wo die Produktivität sinkt, weil es ungeheuer billig wird, Menschen einfach alles machen zu lassen. Deshalb haben sie den Ansatz, alle zu verpflichten, jetzt Roboter zu verwenden und so. und KI zu verwenden und lösen damit an sehr vielen Stellen ja ganz konkrete Probleme für sich.
Und ich kann mir auch gut vorstellen, dass die überhaupt gar nicht in ihrem Denken gar nicht so einen Stress damit haben, irgendwie was KI tun wird, weil die wissen, die haben ihre People unter Kontrolle. Da gibt es keiner, das ist ein totalitäres System, da gibt es keinen, der mal eben auf die Idee kommt, eine Bank zu hacken oder Bioterrorismus zu machen. Oder wenn, wird er von einem hocheffizienten, unmenschlichen System da weggefischt.
Genau. Und wir sehen ja, dass es läuft wie immer, also wie schon in der Autobranche. Sehr viele Unternehmen dürfen jetzt mit KI rumspielen. Plötzlich heißt es, das nächste Ding kommt von hier, was früher, diese Tencent. Dann plötzlich, nee, Moonshot. Alle so, was ist Moonshot? Ja, neue Firma.
Ja, und dann eine Woche später wieder Alibaba dann wieder.
Genau, aber dem Yoma oder wie er heißt, hat man schon mal gezeigt, bitte nicht die ganzen überstritten, dann bist du kurz weg vom Fenster und so, kommt er zurück, darf wieder KI machen. Also in Sachen Kontrolle, wenn auch ich das nicht verherrlichen möchte, müssen sich die Chinesen von Amodei nichts sagen lassen.
Ja.
Also genau das dann nicht. Und die Chinesen haben ja auch schon in einer ersten Pressekonferenz gesagt, dieses Ansinnen, was da vorgetragen wird in Amerika gerade, ist uns völlig schnurzscheißpieps egal. Das interessiert uns gar nicht. Wir machen da nicht mit. Während Amodei hier schreibt, wir sollten jede Entscheidung über ein globales Pacing, also wo plötzlich Branchengremien sich darüber verständigen, wie hart man jetzt die Bremse einzieht, damit man aber noch einen Vorsprung vor nicht-demokratischen KI-Entwicklungen hat. Ja, also in dieser Gemengelage.
Also wir sollten jede Entscheidung über ein globales Pacing besonders auf kurze Sicht so angehen, dass sie den Vorsprung der Vereinigten Staaten und ihrer Verbündeten schützt. Und da würde ich sagen, das ist genau das, was du beschrieben hast. In Sachen Frontier gibt es nur einen Vorsprung und das ist nicht, dass die KI klüger wird, also dass KI, dass Opus 4.7 jetzt besser ist als 4.5, sondern mehr Energie. Man lässt einfach, man tritt mal aufs Gas und sagt, lieber, man schreibt es richtig in den Prompt rein.
Wenn du 100.000 Agenten brauchst, die hier orchestriert arbeiten, mach das. Wir haben gerade keine Energiegrenze. Bitte handle entsprechend. Aber die einzelnen Agenten, erst in der Schwarmintelligenz ergibt sich es dann, aber die einzelnen Agenten sind jetzt nicht so wahnsinnig klüger. Und ich glaube, die Chinesen sehen das und deswegen auch dieser harte Zug zum Alltag einfach, dass da die ganzen Autos selbst Dings fahren, dass einfach dieser ganze Kram funktioniert.
Das, was ja in Amerika genau nicht funktioniert. Also in Amerika gibt es keine Geschichten davon, wie jetzt in Mississippi die Fabriken umgebaut werden, um die KI-Benefits einzufahren oder so. Das findet genau nicht statt.
Da erschreckt mich halt auch immer, wie schlecht im Grunde genommen diese ganzen KI-Player sind in dem guten alten Software-Spiel. Also ich meine, bei Apple haben wir es ja schon mal angeschnitten. Die gehen ja im Prinzip mit den guten alten Strategien daran und haben auch gutes Potenzial in ein paar Jahren, die alle an die Wand zu drücken. Aber die KI-Firmen irgendwie, die gehen bei ganz vielen Sachen da einfach noch, extrem naiv da einfach mit um.
Ja, da würde ich jetzt Google wieder rausnehmen, weil die Erfahrung haben als Unternehmen.
Stimmt.
Die bauen ja KI ganz anders ein. Da wird ja die dümmste, aber eben billigste KI einfach in jedes Google-Suchergebnis eingebaut. Also genau nicht dieses Frontier-Spektakel die ganze Zeit, sondern Alltag, Alltag, Alltag. Wir lesen bei dir nochmal die Mail mit und so und dann ist es irgendwie Gmail klüger oder was auch immer.
Das ist ja auch die Sache, wenn du so eine neue Technologie hast, die so ein großes, breites Potenzial hat wie KI, dann willst du ja eigentlich das auch möglichst dezentral in die Masse drücken. Ich meine, das iPhone hatte deshalb so viel Erfolg, weil Apple, die sind da auch am Anfang nicht selbst draufgekommen, da sind die Nutzer draufgekommen, aber die haben halt den App Store eingebaut.
Und das hat die Möglichkeit gegeben, dass jeder da draußen selber Ideen entwickeln konnte, wie diese Technologie zu nutzen sei. Und dadurch gab es dann irgendwann tausende von Apps und die haben das iPhone wieder attraktiver gemacht.
Genau. Und das fällt ihnen ja heute auf die Füße, dass sie jetzt plötzlich als Plattform erkannt werden. Und dann da plötzlich, ach so, ihr kriegt jetzt erstmal kein Apple Intelligence in Europa und so. Findet so ein Gerangel wieder statt. Aber das ist genau diese Wirkung, die da stattfindet.
Die Chinesen haben es halt geblickt. Die drücken es halt in der Breite in den Markt und lassen die Leute halt damit experimentieren und das holt das meiste raus.
Ja, es gibt ja auch diese Schlangen, wie sie in China alle anstehen vor dem Apple Store um ihren OpenClaw. Und dann im Apple Store selbst oder direkt davor gibt es dann diese Service-Stände, wo dir dann erklärt wird, wie du deinen OpenClaw betreibst auf deiner App.
Das habe ich noch gar nicht mitbekommen. Ja, da gibt es einen großen.
Also bei Instagram haben wir so Short-Videos, wie Schlange gestanden wird, weil Leute einfach ihr OpenClaw sich einrichten lassen.
Ach geil.
So, wir nähern uns dem Text Ende, aber es ist im Grunde diese Pointe mit China, die jetzt hier noch ein bisschen ausgewalzt wird. Wir halten das mal fest. Globale Koordination. Die Vereinigten Staaten und andere demokratischen Regierungen versuchen, also als Appell, sich mit autoritären Regimen abzustimmen, soweit das möglich ist. Das ist wieder dieses typische Putin-Währe-nicht-über-Frieden-reden-und-die-Chinesen-nicht-über-KI. Stimmt das überhaupt?
Soweit das möglich ist und nehmen dabei die Schwierigkeiten ernst, die Einhaltung zu überprüfen. Okay, da soll eine Schwierigkeit ernst genommen werden. Parallel zum Pacing innerhalb der Demokratien sollten wir auch ein weltweites Takten der Entwicklungsfront anstreben, auch wenn das sehr viel schwerer zu erreichen sein wird. Also wie gesagt, die Chinesen sind gerade nicht der Bremsblock beim Bremsen, sondern da muss jetzt einfach Amodei mit Sam Altman klären, wie sie jetzt, Die nicht vorhandene Marge, die aber immer noch wenigstens ein bisschen verbucht werden kann als Buchwert, Aktionären gegenüber, die sich irgendwann mal was davon versprechen, wie die beiden. Und man sieht ja schon, OpenAI zieht gerade den Kürzeren.
Ja, weil im Prinzip sagt er ja, wir müssen im Prinzip unsere Nutzer genauso kontrollieren wie die Chinesen.
Genau, genau, genau, genau.
Lass uns die mal alle irgendwie hier in so ein Volksgefängnis sperren, damit die mit KI keinen Quatsch mehr anstellen können.
Jetzt kommt wieder so ein typischer Amodei-Satz. Schließlich ist festzuhalten, selbst wenn wir keine förmlichen Abkommen erreichen, kann es einen gewissen Wert haben, einfach die informellen Normen zu verändern. Also immer wenn sowas vorkommt, sitzen so Soziologen daneben und fragen sich, ja, sollen wir jetzt warten, bis Juristen das irgendwie formuliert haben, um dann eine Einschätzung zu geben oder sollen wir jetzt schon mal drüber nachdenken, was das bedeuten soll oder überhaupt und so.
Wir sind jedenfalls sehr weit weg von einem Abrüstungsvertrag, wo man sich gegenseitig die Kontrolleure in die Atomfabriken schicken lässt oder so. Aber das ist ja, das Zeitalter ist ja vorbei, haben wir ja bei Trump gesehen. Prüfer, also dritte Parteien einzubetten, mag wie ein kleiner oder belangloser Schritt klingen, aber oft ist das, was am langweiligsten oder formalsten klingt, die Wahrheit des Wesentlichsten.
Da würde ich zustimmen. Also ein Blockwart ist ziemlich effektiv.
Ja, aber wenn wir überlegen, wo bislang solche dritten Prüfer eingesetzt wurden, also im Iran-Abkommen zum Beispiel. Das sind weder langweilig noch aus Formalität langweilige Sachen, sondern da macht wohl Schmiese ein Live-Chat, ein Live-Stream dazu im ZDF, wie es gerade ums Iran-Abkommen steht. Also es sind, da wo er so behauptet, ja da wird es jetzt gerade langweilig und so.
Wobei, da sehe ich schon noch einen Unterschied, weil in Iran, das ist ja eine Regierung, das ist eine Organisation, die da geprüft werden soll. Er redet ja tatsächlich davon etwas, was sehr persönlich ist. Ich meine, es gibt nicht wenige, die ihre Beziehungsprobleme oder ihre therapeutischen Themen besprechen. Und da will er uns einen Prüfer reinsetzen. Also es ist im Grunde genommen Stasi, was er sagt.
Genau. Angenommen, er schreibt jetzt dieses Programm und sagt, am 1. Januar 2027 nimmt der unabhängige, eingebettete Prüfer so und so die Arbeit auf. Was meinst du, wie viele Anfragen der bekommt von Podcasts, weil die Podcaster sagen, das ist weder langweilig noch formalistisch, sondern das ist eigentlich, was mich jetzt interessiert. Was sieht der Typ da bei Anthropic? Das ist doch, weißt du?
Superspannend eigentlich.
Ich würde ja sagen, man sollte jetzt allen Universitäten die Möglichkeiten geben, da einfach mitzuforschen, aber wirklich all in, also dass man nicht aus der Universität ausgliedert, weil irgendwas profiträchtig ist, sondern genau umgedreht. OpenAI wieder eingliedern, wieder echte Forschungslabs. Wir haben auch einen Text in der Liste unserer Leserempfehlung zum Thema, man sollte da einfach nicht mehr von Laboren sprechen. Das sind halt Unternehmen.
Labor ist was ganz anderes und auch erstrebenswertes und hier vielleicht auch Wichtiges, was in diesem Text eben gar keine Rolle spielt. Also Universitäten, der Wissenschaftsbetrieb und überhaupt, als bräuchten die da keinen Nachwuchs, weil ja die KI demnächst sich selber optimiert und so. Also es ist schon da durch Auslassungen ein wirklich verlogener Text.
Wir können auch mal kurz auf diesen New York Times Text eingehen. Mike Isaac hat geschrieben. Das ist ein Text, der mir aufgefallen ist, weil ich abends ins Bett gehe nochmal bei der New York Times schaute und am nächsten Morgen stand der immer noch ganz oben. Scheint der New York Times also wichtig gewesen zu sein. Hier werden Anleihen gemacht. Also Musk schrieb in einem Beitrag auf seinem zentralen sozialen Netzwerk X schlicht, Dario hat recht.
Also da gab es Zustimmung, außerdem Vorwürfe und Verdächtigungen, zumindest im Label meiner Notierung hier, ich lese mal vor. Also aus der New York Times. Nicht jeder im Silicon Valley glaubt, dass Amodeis Absichten rein selbstlos sind. Ah, hört, hört. Manche Kritiker sagen, Anthropic und OpenAI wollten ihre Stellung als Marktführer der KI festigen, indem sie Angst schüren und von der Bundesregierung Regulierungsrahmen verlangen, die es kleineren Unternehmen schwerer machen würden, mit ihnen mitzuhalten.
Das ist natürlich Regulatory Capture. Das kennen wir als Prinzip. Und das hat und Amodei wörtlich selber oben als bitte glaubt mir, also Aufrechtigkeits- und Kommunikation, bitte glaubt mir, Ah, hört, hört. meine ich nicht. Darum geht es mir nicht. Und denke ich, alles klar. Außerdem, auf einer Technikkonferenz in San Francisco sagte Jensen Huang, und das ist ja der Chef von NVIDIA, also hier werden neue Konflikte aufgemacht von Leuten, die sagen, Momentchen mal, mein Profitinteresse läuft leider eurem organisatorisch entgegen.
Also es ist wirklich super interessant. Denn Huang sagt, Also der Vorstandschef des KI-Chip-Herstellers NVIDIA in der vergangenen Woche. Die KI-Lebore steigerten die Sicherheitsbedenken. Weil sie neue Produkte für Cybersicherheit auf den Markt bringen wollten. Also das ist natürlich der einfachste Vorwurf, der zu machen ist. Die behaupten, ihre Technik sei ganz kompliziert, damit man jetzt bei ihnen, die Abwehr dagegen einkauft.
Zitat jetzt vom Nvidia-Chef. Was wäre besser geeignet, Nachfrage zu schaffen, als ein Problem zu schaffen? Sagt Huang auf der Veranstaltung. Wer möchte nicht, dass sein Markt hysterisch auf sein Produkt reagiert und dafür um den Block Schlange steht. Das sagt der Nvidia-Chef, für den die Leute um den Block Schlange stehen.
Ja, und im Prinzip, was er beschreibt, ist ein Schutzgeld-Racket. Ja, genau, ja. Ja, so hier, guck, da laufen ja gefährliche Kreaturen durch die Straßen. KI hackt eure Server. Wäre doch schade, wenn mit eurem Server was passieren würde. Vielleicht wollte ihr ihn geschützt haben gegen eine kleine Gebühr.
Ja, das ist Marktpflege und Produktwerbung, was hier stattfindet. Ja, ja. Okay, nochmal Amodei zum Ende. Ah ja, wir nähern uns zum Ende. Die Technologie nicht zu bauen, bringt die Menschheit um ihren Nutzen oder legt KI schlicht in die Hände autoritärer Mächte. Sie zu schnell zu bauen, ist zu leichtsinnig. Also der Text klingt aus, wie er schon eingestiegen ist.
Das sind Sätze, die man typischerweise, also eigentlich gibt es dafür KI, um zu sagen, liebe Redaktion der IG Metall, euer Anliegen ist ja eigentlich klar, schaut doch mal über eure Texte und nehmt die ersten zwei Prosa-Absätze raus. Sondern kommt doch mal direkt zum Kern, also hier haben wir genau diesen Prosa-Scheiß. So, Finale zu diesen demokratischen Herausforderungen. Demokratische Koordination. Frontier-KI-Unternehmen in demokratischen Ländern stimmen sich ab, um gemeinsame Sicherheitsstandards zu setzen und den ungeprüften KI-Fortschritt in seinem Tempo zu begrenzen.
Manche Formen der Abstimmung, die für das Pacing wirksam wären, sind rechtlich heikel und werden staatliche Unterstützung brauchen. Also das ist wieder so ein halbgares, wo ich sage, übergibst doch einfach dem Markt dein Produkt und dann schauen wir, was passiert. Nein, man macht hier so, wir veröffentlichen so halb und arbeiten mit dem Staat so halb zusammen. Also ihr dürft es so als Service nutzen.
Es ist nicht mal so eine lizenzierte Software, sondern du musst es wirklich bei uns, schick uns dein Prompt so und wir gucken dann mal so, wie wir mit dem Staat so in gewissen Arten und Weisen zusammenarbeiten. Ja, also dieser Text ist wirklich sehr verlogen einfach, weil er beginnt ambitioniert und meandert dann aus mit diesem Aber China. Ich würde gerne Aber China. Und das ist einfach, das hat eine intrinsische Logik, aber ist für uns alle jetzt nicht sehr zielführend, würde ich sagen.
Wir können ja mal die letzten Sätze, ne? Die Maßnahmen, die ich vorschlage, um die Entwicklungsfront in sicherem Tempo voranzubringen, werden nicht leicht sein, aber ich glaube, wir sind es der Menschheit schuldig, es zu versuchen. Was will man mehr?
Also es ist so, es ist ja wirklich so, es tut mir mehr weh als dir, wenn ich dich schlagen muss. Das lese ich da so ein bisschen raus. Das ist paraphrasiert fast schon irgendwie die Geheimrede von Himmler an der Stelle. Wir sind es der Menschheit schuldig, jetzt ganz rücksichtslos vorzugehen gegen die Probleme. Also mit den Sätzen kann man auch ein Genozid rechtfertigen, gerade wenn man es der Menschheit schuldig ist.
Wir wählen uns mal einen anderen letzten Satz aus dem Text, der nicht Dario Amodeis letzter Satz ist, aber den wir als letzten Satz lesen können. Nämlich, trotz aller Fortschritte verstehen wir immer noch nur einen winzigen Bruchteil dessen, was in diesen Modellen vorgeht. Das bedeutet ja, vielleicht sollten wir grundsätzlich anders darüber nachdenken und Denkangebote dazu haben wir schon bekommen, zum Beispiel von Jeff Bezos, der sagt...
KI-Modelle sind keine Entwicklung. Niemand hat da etwas entwickelt, sondern das sind Entdeckungen. Man hat festgestellt, und das ist ja das Prinzip, was wir immer wieder betonen, wenn man ganz einfache Prinzipien, die schon vor 30 Jahren entwickelt und vor 20 Jahren verfeinert wurden, zum Beispiel von Geoffrey Hinton, der heute im Podcast sitzt und warnt und zum Beispiel bei Jon Stewart über eine Stunde Auskunft gibt und sagt, ja, ich habe damals schon gewusst, dass es funktioniert.
Und genau so, ich bin zwar jetzt überrascht davon, wie gut es funktioniert, aber das Prinzip war mir damals schon klar, mir fehlte nur Compute. Der Computer war noch nicht gut genug. So und jetzt sehen wir ja, ja das ist immer noch so, nur OpenAI sagt halt in manchen Fällen einfach, ist mir egal, 6 Millionen, ich brauche diesen kleinen Werbemoment. Ich muss sagen können, ich habe das Millennium-Problem gelöst.
So, die werfen da keine Intelligenz drauf, sondern einfach nur Energie. Sie züchten Systeme, die sie nicht verstehen. Was bedeutet, anders als Dario Amodei behauptet, vielleicht sind die Züchter, nicht die allerbesten, sondern sie sind halt gute Gärtner. Aber vielleicht sollte man die Biologen mit dran lassen und die Biologen sitzen nicht in der Gärtnerstube bei OpenAI oder Anthropic, auch wenn da großes Rekrutieren stattfand, aber die sitzen in den Universitäten.
Diese Firmen müssen ihre Produkte regulär veröffentlichen und die Universitäten und so wieder mit reinnehmen, sonst geht das nicht auf.
Also ich würde auch eine alte Forderung der Open-Source-Bewegung aufgreifen. Alles, was du willst, dass es sicher ist, muss Open-Source sein. Also die ganzen Probleme, die er da schildert, verschwinden von einem Moment auf den anderen, wenn ein paar Millionen Cyber-Security-Forscher deren Code durchflöhen und deren Weights durchtesten. Das ist der beste Weg.
Anders als bei Open-Source-Software, die gerne mal veröffentlicht wird und dann hat doch keiner drauf geguckt, ist ja hier echtes Interesse da. Es ist ja nicht so, dass die Gesellschaft gerade da steht und sagt, keine Ahnung, ich habe gerade keine Lust, das zu machen und mir egal, wie TCP funktioniert, sondern hier ist es ja ganz anders.
Dann verliert sich nur schlagartig die Gelegenheit, da noch Billionen mit zu verdienen.
Das ist dann Profanisierung.
Das ist das, was denen jetzt wehtut.
Den Zauberlehrling, der jetzt oft, den man rief und dann plötzlich hat man ihn nicht unter Kontrolle gekriegt, das ist nicht die KI, das ist der Kapitalismus, der sich hier so plagt.
Genau. Er will auch nicht die KI kontrollieren, sondern er will uns kontrollieren. Dass wir mit seiner Erfindung nichts tun, was ihm nachher Geld kostet.
Das ist die Pointe, die ich schon mal anmerkte, damals auch in der Zeitung schrieb über den Streit von Apple gegen Samsung, als Apple meinte, aufgrund Verletzung geistigen Eigentums klagen wir jetzt Samsung, sie haben unser Telefon nachgebaut. Nein, sie haben euer Nutzungsverhalten, das ihr uns antrainiert habt, auf ihr System übertragen. Es ist das geistige Eigentum in unseren Köpfen.
Und genau dieser Kontrollmechanismus greift hier wieder bei Dario Amodei. Gut, da haben wir das entziffert. Was man jetzt machen kann, wissen wir auch nicht. Wir schicken offene Briefe an Dario Amodei.
Solange wir dabei bleiben, immer gut zuhören und ein bisschen mitdenken, können wir glaube ich schon was bewegen. Wir wissen nur noch nicht was.
Und dann hören wir uns in der nächsten Folge wieder.
Alles klar, bis bald. Mach's gut Stefan. Ciao.
Ende des Gesprächs