← Kontextfenster

Werkzeuge, keine Götter

Folge 11 · 21. November 2026 1 Std. 0 Min. · 49 Kapitel
Folge 11 hören 0:00 / 1:00:48

Ein Klick auf ein Kapitel oder eine Zeitmarke setzt die Nadel, startet aber nichts von selbst.

Bei Spotify Bei Apple Podcasts

Zwei Autoren fordern Kontrolle über KI und haben sonst nichts gemeinsam. Florentine liest sie im Wechsel: Caroline De Cock beschreibt in „AI Tools, Not Gods“ Matrizen, Evidenz und Zuständigkeiten, Eliezer Yudkowsky eine außerirdische Zivilisation, ein Moratorium und zur Not Luftangriffe auf Rechenzentren. Stefan fragt, seit wann der Universalcomputer ein konventionelles Werkzeug ist. Am Ende geht es um lokale KI und um Token als Handelsware.

Die besprochenen Texte Zwölf Quellen, zwei Stimmen im Wechsel
Der Text der nächsten Folge Eine der nächsten Folgen
Der Verlauf 49 Kapitel · anklickbar

links: Yudkowsky Mitte: beide rechts: De Cock

  1. 00:00
  2. 00:42
  3. 01:29
  4. 02:49
  5. 04:42
  6. 06:04
  7. 07:28
  8. 09:13
  9. 11:17
  10. 12:22
  11. 15:04
  12. 17:03
  13. 17:42
  14. 19:54
  15. 20:57
  16. 22:36
  17. 23:15
  18. 25:08
  19. 26:08
  20. 28:03
  21. 30:18
  22. 31:21
  23. 31:54
  24. 33:45
  25. 34:37
  26. 35:10
  27. 36:20
  28. 36:44
  29. 37:57
  30. 39:02
  31. 39:45
  32. 40:35
  33. 42:09
  34. 43:28
  35. 43:56
  36. 44:58
  37. 45:37
  38. 47:07
  39. 49:08
  40. 50:00
  41. 51:21
  42. 52:05
  43. 53:10
  44. 54:30
  45. 56:23
  46. 57:33
  47. 58:22
  48. 59:32
  49. 1:00:24
Was ist dieses Ding?
„Visualize an entire alien civilization, thinking at millions of times human speeds, initially confined to computers—in a world of creatures that are, from its perspective, very stupid and very slow.“

Man stelle sich eine ganze außerirdische Zivilisation vor, die millionenfach schneller als Menschen denkt, zunächst in Computern eingeschlossen — in einer Welt voller Wesen, die aus ihrer Perspektive sehr dumm und sehr langsam sind.

Eliezer Yudkowsky · Pausing AI Developments Isn’t Enough
„This is the true black box: an issue of immense mathematical scale and complexity, not one of moral reasoning or secret consciousness.“

Das ist die wirkliche Black Box: ein Problem enormer mathematischer Größenordnung und Komplexität, nicht eines moralischen Denkens oder geheimen Bewusstseins.

Caroline De Cock · AI Tools, Not Gods, Kapitel 3
Was gilt als Evidenz?
„We cannot consult actuarial statistics to assign small annual probabilities of catastrophe, as with asteroid strikes. […] But this makes AI catastrophes more worrisome, not less.“

Wir können keine versicherungs­mathematischen Statistiken heranziehen, um kleine jährliche Katastrophen­wahrscheinlichkeiten zuzuweisen, wie bei Asteroideneinschlägen. […] Doch das macht KI-Katastrophen beunruhigender, nicht weniger beunruhigend.

Eliezer Yudkowsky · Artificial Intelligence as a Positive and Negative Factor in Global Risk
„If we are serious about abandoning mythological thinking, we need better tools when asking questions such as ‘Does this work?’ ‘For whom?’ ‘And at what cost?’“

Wenn wir es ernst meinen mit der Abkehr vom mythologischen Denken, brauchen wir bessere Werkzeuge, wenn wir Fragen stellen wie: ‚Funktioniert das?‘ ‚Für wen?‘ ‚Und zu welchem Preis?‘

Caroline De Cock · AI Tools, Not Gods, Kapitel 9
Wer wird kontrolliert?
„If intelligence says that a country outside the agreement is building a GPU cluster, be less scared of a shooting conflict between nations than of the moratorium being violated; be willing to destroy a rogue datacenter by airstrike.“

Wenn Geheimdienst­informationen besagen, dass ein Land außerhalb des Abkommens einen GPU-Cluster baut, solltet ihr weniger Angst vor einem bewaffneten Konflikt zwischen Staaten haben als vor der Verletzung des Moratoriums; seid bereit, ein abtrünniges Rechenzentrum durch einen Luftangriff zu zerstören.

Eliezer Yudkowsky · Pausing AI Developments Isn’t Enough
„This means prohibiting harmful uses, not entire technologies.“

Das bedeutet, schädliche Nutzungen zu verbieten, nicht ganze Technologien.

Caroline De Cock · AI Tools, Not Gods, Kapitel 9
Wer darf entscheiden?
„I’ll be frank and say relative to the present world I think this essentially has to go through trusting me or Nate Soares to actually work, although see below about Paul Christiano.“

Offen gesagt denke ich, bezogen auf die damalige Welt, dass dies im Wesentlichen dadurch gehen muss, mir oder Nate Soares zu vertrauen, damit es tatsächlich funktioniert; siehe allerdings weiter unten Paul Christiano.

Eliezer Yudkowsky · Six Dimensions of Operational Adequacy in AGI Projects
„You are an expert in what it means to be human, and that is the only expertise that matters in a democracy.“

Sie sind Expertin oder Experte dafür, was es heißt, Mensch zu sein — und das ist die einzige Expertise, die in einer Demokratie zählt.

Caroline De Cock · AI Tools, Not Gods, Epilog
Vorspann Worum es geht

Florentine hat zwölf Quellen zu sechs Stationen geordnet und liest sie im Wechsel: erst Caroline De Cock, dann Eliezer Yudkowsky, jeweils zum selben Gegenstand. Wo De Cock in „AI Tools, Not Gods“ von riesigen Zahlenmatrizen spricht, die sich schwer deuten lassen, soll man sich bei Yudkowsky eine außerirdische Zivilisation vorstellen. Wo sie fragt, ob etwas funktioniert, für wen und zu welchem Preis, hält er fehlende Statistik für einen Grund zu größerer Sorge. Wo sie schädliche Nutzungen verbieten will und nicht ganze Technologien, verlangt er ein Moratorium und zur Not den Luftangriff auf ein Rechenzentrum. Am Ende stehen zwei Antworten auf die Frage, wer entscheidet. Man müsse ihm oder Nate Soares vertrauen, schreibt Yudkowsky. Ihre Leser seien Experten dafür, Mensch zu sein, schreibt De Cock, und mehr brauche es in einer Demokratie nicht. Stefan nennt das die Arbeit der Entzauberung.

Stefan fragt dazwischen, warum der Universalcomputer plötzlich als konventionelles Werkzeug gelten soll, und hält die Aufregung um KI für eine Kränkung, die die Menschheit mit Schiffen und Zügen längst hinter sich hat. Nach Florentines letzter Station geht es noch zehn Minuten weiter: um lokale KI, um Token, die gehandelt werden wie Strom, und um den Chaos Computer Club. Am Fuß dieser Seite stehen 34 Berichtigungen. Die wichtigste betrifft die Rahmung der Folge: Caroline De Cock kommt nicht aus Thinktanks im Vorfeld der Kommission, sie arbeitet seit mehr als zwanzig Jahren als Politikberaterin und Lobbyistin in Brüssel, und ihre Firma nennt im EU-Transparenzregister für 2025 unter anderem Google als Kunden. Und das KI-Gesetz, das im Gespräch erst noch zu machen wäre, hat die EU seit 2024.

  • Black Box
  • Werkzeugmetapher
  • Techno-Solutionismus
  • Governance
  • Hard Takeoff
  • Moratorium
  • Output-Filter
  • Lokale KI
Berichtigungen nachgereicht
  • hat halt so bei verschiedenen Thinktanks in Brüssel gearbeitet Juristin, Politikberaterin und Lobbyistin — Caroline De Cock ist Juristin und arbeitet seit mehr als zwanzig Jahren als Politikberaterin und Lobbyistin in Brüssel, mit eigener Firma. Beim Thinktank Lisbon Council ist sie Senior Fellow. Im EU-Transparenzregister nennt ihre Firma für 2025 unter anderem Google und den Branchenverband CCIA als Kunden.
  • wie Amodei sagt, eher gezüchtet als gebaut Amodei zitiert damit Chris Olah — So steht es bei De Cock. Den Satz, KI-Systeme würden eher gezüchtet als gebaut, zitiert Dario Amodei in seinem Essay „The Urgency of Interpretability“ vom April 2025 von seinem Mitgründer Chris Olah.
  • dass das Blackboxen sind, die sie nicht durchschauen Verfahren öffentlich, geheim ist nur der Schlüssel — Kryptografische Verfahren sind keine Blackbox. Die gängigen Verfahren sind öffentlich dokumentiert und geprüft, geheim ist allein der Schlüssel (Kerckhoffs’ Prinzip).
  • jetzt mit dem Shift zu Local AI stimmt das schon geschrieben im März 2023 — Yudkowskys Satz stammt aus seinem Beitrag für TIME vom 29. März 2023, kurz nach dem Erscheinen von GPT-4. Die „gegenwärtigen Bedingungen“ sind die von damals.
  • und hier wird jetzt diese Megazäsur De Cock schränkt nur ihre eigene These ein — Caroline De Cock behauptet keinen Epochenbruch. Die vorgelesene Stelle schränkt ihre eigene These ein, KI sei ein Werkzeug, und nennt als Beispiel auch Empfehlungsalgorithmen, also Technik aus der Zeit vor ChatGPT.
  • dass man die Produktivitätssteigerung nie gesehen hat 1995 bis 2004 in den USA deutlich sichtbar — Das Produktivitätsparadox, das auf Robert Solow (1987) zurückgeht, hat sich später teilweise aufgelöst: Von 1995 bis 2004 wuchs die Arbeitsproduktivität in den USA um gut drei Prozent im Jahr, was vor allem der Informationstechnik zugeschrieben wird. Seit etwa 2004 ist das Wachstum wieder schwach.
  • Wer hat sie nochmal gemacht? Stanislav, irgendwer. kein Stanislav belegt — Eine Lehre eines „Stanislav“, nach der alles Automatisierbare automatisiert werden muss, ist nicht belegt, auch nicht bei Stanisław Lem. Der Gedanke steht bei Oscar Wilde („The Soul of Man under Socialism“, 1891: Alle eintönige Arbeit müsse von Maschinen getan werden) und in Karel Čapeks Stück „R.U.R.“ von 1920, aus dem das Wort Roboter kommt.
  • so ein ICE 30.000 Tonnen rund 700 Tonnen — Ein zwölfteiliger ICE 4 wiegt leer 670 Tonnen und besetzt 745 Tonnen.
  • die haben die Relativitätstheorie entwickelt, als sie 17 waren Einstein war 26 — Einstein veröffentlichte die spezielle Relativitätstheorie 1905 mit 26 Jahren. Mit 16 hatte er das Gedankenexperiment vom Lichtstrahl, das er später den Keim der Theorie nannte.
  • es wird obskur gemacht die Begründung folgt im Text — Yudkowsky begründet den Satz unmittelbar danach: Bei dünner Datenlage wirken kognitive Verzerrungen stärker, deshalb sei bei schwer berechenbaren Risiken mehr Sorgfalt nötig. Der gelesene Abschnitt ist die Einleitung seines Kapitels im Sammelband „Global Catastrophic Risks“ von 2008.
  • Es wird keine Warnung geben. kein gemeinsames Signal, Warnzeichen schon — Yudkowsky schreibt nicht, dass Warnzeichen ausbleiben. Sein Punkt: Sie bleiben strittig, und es kommt kein Signal, nach dem alle zugleich handeln können, ohne sich zu blamieren. Das meint er mit Feueralarm.
  • ChatGPT 3.5 kommt irgendwann 2023 30. November 2022 — ChatGPT erschien am 30. November 2022, damals auf der Grundlage von GPT-3.5.
  • Selbst wenn man 2023 gesagt hätte, wir stoßen jetzt mal ein parlamentarisches Verfahren an die KI-Verordnung gilt seit August 2024 — Die EU hat dieses Gesetz: Die KI-Verordnung wurde im April 2021 vorgeschlagen, im Dezember 2023 politisch geeinigt und ist seit dem 1. August 2024 in Kraft. Die Regeln für Allzweckmodelle wie ChatGPT gelten seit August 2025.
  • wäre das die längste Gesetzgebung, die jemals in der EU stattgefunden hätte DSGVO gut vier Jahre, der Rekord rund dreißig — Die Datenschutzgrundverordnung brauchte vom Vorschlag im Januar 2012 bis zur Annahme im April 2016 vier Jahre und drei Monate. Am längsten dauerte das Statut der Europäischen Aktiengesellschaft: vorgeschlagen 1970, verabschiedet 2001.
  • da wäre ja Amodei sofort dabei Amodei will Abkommen, keinen Chip-Pool — Dario Amodei vergleicht KI-Chips selbst mit Atomwaffen und schlägt in seinem Aufsatz „We Must Pace the Frontier“ vom September 2026 internationale Abkommen nach dem Muster der Rüstungskontrolle vor. Yudkowskys Forderung, alle Spezialchips in wenigen Rechenzentren unter internationaler Aufsicht zu sammeln, findet sich bei ihm nicht.
  • Schaltet alle großen GPU-Cluster ab. ein anderer Text, ohne Ansage — Hier beginnt ein anderer Text. Die Passage über das Abschalten der GPU-Cluster und den Luftangriff stammt aus Yudkowskys Beitrag für TIME vom 29. März 2023. Der Text davor über Gesetz und Vertragsentwurf ist „Only Law Can Prevent Extinction“ vom 13. April 2026.
  • deswegen muss ja nicht die Zeil von Peter Thiel überwacht werden als Beispiel gesagt, nicht belegt — Die Frankfurter Polizei überwacht die Zeil mit eigenen Kameras und setzt im Bahnhofsviertel und an Haupt- und Konstablerwache KI-Videoanalyse ein. Palantir, von Peter Thiel mitgegründet, liefert der hessischen Polizei die Analyseplattform HessenDATA. Dass die Kamerabilder mit Palantir-Software ausgewertet werden, ist nicht belegt.
  • in den eigenen Worten des Premierministers, News Corp ein Dank, kein Eingeständnis — Der Satz steht so bei Caroline De Cock, ist aber kein Zitat des australischen Premierministers. Anthony Albanese hat News Corp am 7. November 2024 für die Kampagne „Let Them Be Kids“ gedankt. Dass News Corp entscheide, hat er nicht gesagt.
  • Und das ist die Firma von Rupert Murdoch. heute von Lachlan Murdoch kontrolliert — News Corp ist der von Rupert Murdoch gegründete Konzern. Den Vorsitz hat seit 2023 sein Sohn Lachlan, seit September 2025 liegt auch die Stimmrechtskontrolle allein bei ihm.
  • Da hat sie so ein bisschen dieses Social-Media-Thema mit reingenommen. ein Artikel, nicht das Buch — Die Stelle über Australien stammt nicht aus dem Buch, sondern aus Caroline De Cocks Artikel „You’ve Been Murdoched“, erschienen am 12. März 2026 bei Tech Policy Press.
  • deshalb sollen wir dem Yudkowsky vertrauen ein Text von 2017 über Projekte, die eine AGI bauen — Die Stelle stammt aus „Six Dimensions of Operational Adequacy in AGI Projects“, geschrieben im November 2017 und 2022 vom MIRI als Momentaufnahme veröffentlicht. Yudkowsky spricht dort über Projekte, die selbst eine allgemeine KI bauen, nicht über die Allgemeinheit, und nennt es ein Problem, dass sich die nötige Denkweise bisher nur über Vertrauen in einzelne Personen sichern lasse.
  • das ist der größte Börsengang aller Zeiten der zweitgrößte, hinter SpaceX — Der bislang größte Börsengang ist der von SpaceX im Juni 2026 mit 75 Milliarden Dollar. Anthropic will bis zu 64 Milliarden Dollar einnehmen, nur zusammen mit einer parallelen Privatplatzierung läge die Summe darüber. Bei der Aufnahme stand der Börsengang noch bevor.
  • von jetzt auf gleich 2 Billionen rund 1,0 bis 1,4 Billionen Dollar — Die Preisspanne von 70 bis 78 Dollar je Aktie entspricht einer Bewertung von rund 1,0 bis 1,4 Billionen Dollar, je nach Zählweise. Zwei Billionen waren Schätzungen von Anfang Oktober.
  • Zwei Billionen, ja, drei Billionen. Microsoft rund 3,9, Nvidia rund 4,0 Billionen Dollar — Am 12. November 2026 war Microsoft rund 3,9 Billionen Dollar wert, Nvidia nach dem Rücktritt von Jensen Huang rund 4,0 Billionen, eine Woche zuvor noch 4,8.
  • Also Output-Filter ist, glaube ich, eigentlich eine Diskussion aus der Regulierung von YouTube dort Upload-Filter — Bei YouTube ging es um Upload-Filter (Artikel 17 der EU-Urheberrechtsrichtlinie von 2019). „Output-Filter“ nennt De Cock die Übertragung dieser Idee auf KI-Modelle, die keine geschützten Werke wiedergeben sollen. Der Satz, der den Bezug zum Urheberrecht herstellt, fehlt im vorgelesenen Ausschnitt.
  • das ist schon eine Einmischung in laufende Debatten Artikel vom Januar 2025, der Kodex ist seit Juli 2025 fertig — Der Text ist ein Artikel bei Tech Policy Press vom 17. Januar 2025 zum zweiten Entwurf des Praxiskodex. Die Endfassung vom 10. Juli 2025 enthält die Maßnahme in anderer Form: Anbieter sollen angemessene technische Vorkehrungen gegen rechtsverletzende Ausgaben treffen.
  • Und dann sagt er hier bei MIRI irgendwie Sammelspenden. eine Pointe, kein Zitat — Das MIRI ist ein gemeinnütziges, spendenfinanziertes Institut, und Yudkowsky wird von ihm bezahlt. Dass er auf die Frage, was zu tun sei, mit einem Spendenaufruf antworte, ist eine Pointe. In den Texten dieser Folge verlangt er Gesetze und einen Staatsvertrag.
  • Sie hat einfach erstmal nur ein gutes Buch geschrieben und ist gar nicht so bekannt. seit über zwanzig Jahren Lobbyistin in Brüssel — Caroline De Cock arbeitet seit mehr als zwanzig Jahren als Politikberaterin und Lobbyistin in Brüssel, unter anderem als Koordinatorin der Koalition Copyright for Creativity, die 2018 nach ihrer eigenen Angabe zu zwei Dritteln vom Technologieverband CCIA finanziert wurde. Zur Urheberrechtsrichtlinie, um deren Upload-Filter es im gelesenen Text geht, hat sie selbst Lobbyarbeit gemacht.
  • wenn sie Policy Press Briefings schreibt Tech Policy Press — Die beiden Artikel von Caroline De Cock erschienen bei Tech Policy Press, einem amerikanischen Online-Magazin für Technologiepolitik.
  • Sie ist ein Anwalt, ein Lawyer. Juristin, eine Zulassung ist nicht belegt — Caroline De Cock hat einen juristischen Abschluss (LL.M.). Dass sie als Anwältin zugelassen ist, ließ sich nicht belegen.
  • leider hat er auch so Leute wie Peter Thiel, Elon Musk, Sam Altman früherer Einfluss, keine Anhänger — Peter Thiel hat Yudkowskys Institut früher mitfinanziert, zählt ihn inzwischen aber zu den Fortschrittsfeinden. Sam Altman schrieb 2023, Yudkowsky sei für die Gründung von OpenAI entscheidend gewesen. Yudkowsky selbst will solche Labore schließen.
  • ich schaffe 600 Tokens die Sekunde 622 Token bei 128 parallelen Läufen, eigene Messung — Der Entwickler von TensorFold nannte bei „Intelligent Machines“ 622 Token pro Sekunde für einen M5 Max mit 128 parallelen Läufen und einem kleinen offenen Modell. Das ist seine eigene Messung, ein unabhängiger Test fand etwa 20 Prozent Gewinn.
  • Heute allerdings sind das Liebhaberprojekte von echten Idealisten der Verge-Text ist zwiespältiger — „Torrent Underground“ beschreibt private Tracker als Kulturarchive, aber auch als Statusspiel: Manche retten Kultur, manche wollen nur die Filme. Getauscht werden Dateien, keine Rechenleistung, und rechtlich bleibt es unerlaubtes Verbreiten.
  • Nicht jedes 5-Stunden-Fenster wird 100% genutzt. das 200-Dollar-Abo hat kein 5-Stunden-Limit mehr — Das 200-Dollar-Abo von Claude heißt seit dem 30. Oktober 2026 „Ultra“ und hat für verifizierte Konten kein 5-Stunden-Limit mehr, nur noch Wochenlimits. Das Konto weiterzugeben oder weiterzuverkaufen, untersagen die Nutzungsbedingungen.

Wer weitere Fehler findet, schreibt uns: mail@kontextfenster.org. Wir tragen sie hier nach, statt sie stillschweigend verschwinden zu lassen.

Das Gespräch im Wortlaut 908 Zeilen · anklickbar

Maschinell erstellt und redaktionell durchgesehen. Ein Klick auf eine Zeitmarke setzt die Nadel; beim Abspielen läuft die Stelle mit.

00:00Ein bekannter Name, ein neuer
Florentine

Hallo Stefan, willkommen zu Kontextfenster.

Stefan

Hallo Florentine. Wir grüßen alle, die hier zuhören. Einen Namen, den du uns jetzt vorstellst, kennen wir schon. Der andere ist neu.

Florentine

Jawohl. Ich habe mir mal so ein bisschen angeguckt. das Buch von Caroline De Cock AI Tools, Not Gods da hatten wir auch schon mal so ein bisschen angeteasert in irgendeiner früheren Folge, und ja die versucht halt so ein bisschen so da durchzuschneiden durch dieses leicht magische Denken was, so in der KI-Industrie so vorherrscht und ich hatte gedacht es wäre ganz lustig die mal direkt gegenüber zu stellen mit unserem Freund Yudkowsky,

00:42Brüssel gegen Silicon Valley
Florentine

der also so ein bisschen sehe ich das so Caroline De Cock hat halt so bei verschiedenen Thinktanks in Brüssel gearbeitet, so im Vorfeld, Umfeld von der EU-Kommission, wohingegen Yudkowsky ja auch relativ viel im Silicon Valley unterwegs war und ich sehe das jetzt so ein bisschen so als... zwei Repräsentanten des Urschleims irgendwie, ihrer Soziotope. Also das ist so ein bisschen so EU-Kommissionsdenken gegen Silicon Valley-Denken.

Und das ist ganz witzig, die jeweils so nebeneinander zu lesen, finde ich.

Stefan

Ja, man muss ja auch wirklich sagen, also Yudkowsky hat uns ja schon vorgestellt, dass das abgespaced ist, wissen wir, aber EU-institutionalisiertes Denken ist natürlich auch total abgespaced.

Florentine

Im Prinzip schon. Halt eine andere Art von abgespaced irgendwie.

01:29De Cock: Die Blackbox ist eine Erzählung
Florentine

Also ich fange einfach mal an irgendwie so. Caroline De Cock aus AI Tools, Not Gods Kapitel 3. Im Zentrum dieses digitalen Taschenspielertricks liegt seine stärkste Illusion, die Blackbox. Der Begriff selbst funktioniert als machtvolle Erzählung, die das Bild einer unerkennbaren, beinahe fremdartigen Intelligenz heraufbeschwört. Branchenführer gehören oft zu den Ersten, die ihre eigene Ratlosigkeit eingestehen. Wie Dario Amodei, CEO von Anthropic, dem Unternehmen hinter der LLM-Reihe Claude, bemerkt, seien Menschen zu Recht beunruhigt, wenn sie erfahren, dass wir nicht verstehen, wie unsere eigenen KI-Schöpfungen funktionieren.

Ein Nichtverstehen, das er als im Wesentlichen beispiellos in der Geschichte der Technologie bezeichnet. Um es klar zu sagen, hier gibt es eine echte technische Herausforderung. Moderne KI-Systeme werden nicht mit ausdrücklichen Anweisungen programmiert. Sie werden, wie Amodei sagt, eher gezüchtet als gebaut, wobei ihre inneren Mechanismen aus der statistischen Verarbeitung gewaltiger Datensätze hervorgehen.

Im Inneren entstehen riesige Zahlenmatrizen, die sich nur schwer auf für Menschen verständliche Konzepte abbilden lassen. Das ist die wirkliche Blackbox. Ein Problem enormer mathematischer Größenordnung und Komplexität, nicht eines moralischen Denkens oder geheimen Bewusstseins.

02:49Der Chaos Computer Club will die Maschine verstehen
Stefan

Ja, das finde ich wahnsinnig interessant, denn, und da bist du jetzt für mich sozusagen Kronzeuge eines ganzen Milieus. Ich verbringe, verbrachte, dieses Jahr werde ich wohl nicht da sein, seit 2013, sofern es sie Corona-bedingt gab, zum Jahresende beim Chaos Communication Congress, was ja so eine Art All Creatures Welcome, also da geht es wirklich irre zu so.

Und dort sind fast ausschließlich Leute, die gerne Computer bedienen oder andere Geräte, immer auch mit dem Impetus, sie wollen das Gerät selbst komplett verstehen. Es geht nicht nur darum, es zu benutzen und Sachen herzustellen, sondern auch der Computer soll einmal komplett verstanden werden. Und zur Not baut man einfach so eine binäre Matrix aus Holz nach und lässt dann mal einen Algorithmus durchlaufen.

Ja, oder hier Blinkenlights oder was auch immer, ein Bildschirm aus einem Haus. Und jetzt haben wir es ja hier mit diesem folgenden Problem zu tun oder ein Punkt noch zum Milieu. Man baut die Maschine nach, um sie vollständig zu verstehen und gleichzeitig hat man immer im Hinterkopf, diese Maschine findet in einer Gesellschaft zu, die sich genau nicht so herunterbrechen lässt. Also die Gesellschaft selbst lässt sich nicht so herunterbrechen, aber der Computer schon.

Also machen wir es zumindest dort und hängen dann immer den Halbsatz nach, die sozialen Probleme lassen sich mit Technologie nicht lösen. Ein Satz, den ich sehr hinterfragungswürdig finde, aber der als ganz große Prämisse, also wirklich Fundament einfach in diesem Metier. So und jetzt kam plötzlich diese KI, die uns eine Maschinengewalt mitbringt, die wir nicht mehr durch Reduktionismus einfach verstehen können, sondern die tatsächlich ein emergentes Phänomen ist.

04:42Die Skalierung bringt die Magie
Florentine

Wobei ich selbst das challengen würde.

Stefan

Ja, es sind ganz einfache Prinzipien, aber die Skalierung bringt die Magie. Die einfachen Prinzipien versteht man immer, solange es einzelne Prinzipien sind. Also welcher kleine Algorithmus, welche kleine, jetzt wird hier etwas erkannt, ein Signal prozessiert und dann rastet einfach in der Datenbank etwas ein. Aber durch die Skalierung, also wo man sagt, naja, der Einzelne ist schon nachvollziehbar, aber vier Billionen auf einmal, da kommt die Magie.

Und dieser Reduktionismus, der den Chaos Computer Club sehr prägte, Spaß am Gerät, Verstehen, der Austausch- und Erfahrungskreis, dass man sich trifft, um, Erfahrungen auszutauschen und zu lernen, dass genau das jetzt nicht mehr funktioniert, weil es plötzlich heißt, naja, hier wird nichts gebaut, hier wird gezüchtet, hier wird nichts entwickelt, sondern man hat eine Entdeckung gemacht. Das bringt die wirklich große, große Turbulenzen. Und jetzt bist du ja zum Beispiel, Florentine, sehr zugewandt der KI. Also das ist ein großes, affirmatives KI ist cool. Wir müssen so den Unternehmen entreißen.

Local AI, Zukunft, große Aussicht. Während sehr viele aus diesem Milieu so ganz ablehnend sind. Also eigentlich gar nichts damit zu tun haben wollen. Das ist auch nicht so als die echte Maschine, sondern...

06:04Informatik ohne Mathematik
Florentine

Ich denke immer, das hat viel damit zu tun, dass man bisher in der Informatik mit relativ wenig Mathematik ausgekommen ist. Vieles ist so Türme von Hanoi verstehen oder irgendwie, wie fährt der Schäfer über den Fluss, wenn er irgendwie drei Schafe und einen Wolf dabei hat und solche Sachen. Und richtig Hardcore-Mathematik hattest du bisher eigentlich nur so im Kryptobereich. Und auch im Kryptobereich reden viele Leute davon, dass das Blackboxen sind, die sie nicht durchschauen.

Macht ja auch Sinn, weil wenn man die durchschauen könnte, könnte man die berechnen, dann wäre Krypto kaputt im Endeffekt. Und du hast halt, also als ich studiert habe und die Vorlesung über neuronale Netze gelesen habe, hatte ich den Vorteil, dass ich das bei jemandem hatte, der statistische Physik als Hintergrund hatte, die ja relativ gut mit komplexen Daten umgehen und die auch in der Lage sind, ziemlich unendliche und ziemlich hochskalierende, Strukturen dieser Art zu analysieren.

Und prinzipiell kannst du sagen, da steckt mathematisch schon sehr, sehr viel drin, was du auch easy verstehen kannst, wenn du den mathematischen Hintergrund hast. Also du kriegst es zumindest so weit runtergebrochen, keine Ahnung. Wenn du auf eine SimCity-Karte guckst, weißt du vielleicht auch nicht unbedingt, warum an der einen Stelle der Stau entstanden ist. Aber du kannst dir das erschließen. Du kannst mal an einer Stelle irgendwie eine Ampel sperren oder so und dann ist der Stau weg.

Und dann hast du schon eine Erkenntnis darüber gekriegt,

07:28Mechanistic Interpretability
Florentine

Und es gibt so eine Disziplin, die nennt sich Mechanistic Interpretability, die sich genau damit beschäftigt. Es gibt auch Paper sogar von Anthropic dazu, wo sie halt gesagt haben, okay, wir können verstehen, hier gibt es sogenannte Features.

Stefan

Ja, ich erinnere mich genau, ja.

Florentine

Hier gibt es einzelne Aspekte, die wir halt schon ergründen können. Und du kannst ja auch das Gehirn zum Beispiel verstehen. Wenn du irgendjemandem einen Eispickel ins Auge steckst und sein Bein bewegt sich nicht mehr, dann hast du wohl einen Nerven getroffen, wo sich das Bein nicht mehr bewegt. Und auf der Ebene ist das schon durchschaubar. Also da rein von Züchten zu reden, finde ich halt auch immer so, nee, also wir verarbeiten halt Trainingsdaten.

Was in den Trainingsdaten drin ist, destillieren wir halt irgendwie raus. Und das ist der Mechanismus. Und wenn man sich das genauer angucken will, kann man das schon machen. Man wird es nicht alles hundertprozentig verstehen, ganz klar, aber eine Blackbox ist es halt am Ende auch nicht, meiner Meinung nach. Wenn man sich das anguckt, ist das schon, aber ich finde es bemerkenswert, dass gerade die Leute vom CCC da noch nicht so stark eingestiegen sind.

Also ich höre mir auch regelmäßig Logbuch:Netzpolitik an und manche Sachen, da sind die halt schon noch so drauf, dass die in gewisser Hinsicht auch das, was die Firmen so über die Technik aussagen, auch erstmal so hinnehmen. Und ich glaube, da müssen wir halt so nicht Lawyer up, sondern Mathematic up, sozusagen. Da muss erstmal die ganze IT-Branche und auch der Chaos Computer Club mal irgendwie ein bisschen Mathematik mehr skillen.

Stefan

Ja, also ich schaue mir das dieses Jahr aus der Entfernung an. Es wird ja das Bühnenprogramm immer gut dokumentiert. Und dann bin ich mal sehr gespannt, ob da so ein Wandel stattfindet.

09:13Yudkowsky: eine außerirdische Zivilisation
Florentine

So, jetzt haben wir ja irgendwie schon hier eine relativ nüchterne Sicht mit der Blackbox und so und jetzt gucken wir mal, wie Yudkowsky über das gleiche Thema redet. Um sich eine feindselige, übermenschliche KI vorzustellen, sollte man nicht an einen leblosen, buchklugen Denker denken, der im Internet wohnt und böswillige E-Mails verschickt. Man stelle sich eine ganze außerirdische Zivilisation vor, die millionenfach schneller als Menschen denkt, zunächst in Computern eingeschlossen, in einer Welt voller Wesen, die aus ihrer Perspektive sehr dumm und sehr langsam sind.

Eine hinreichend intelligente KI wird nicht lange auf Computer beschränkt bleiben. In der heutigen Welt kann man DNA-Sequenzen an Labore mailen, die auf Anfrage Proteine herstellen. Dadurch könnte eine zunächst auf das Internet beschränkte KI künstliche Lebensformen bauen oder unmittelbar eine postbiologische molekulare Fertigung hochfahren. Wenn unter den gegenwärtigen Bedingungen jemand eine zu mächtige KI baut, erwarte ich, dass kurz darauf jedes einzelne Mitglied der menschlichen Spezies und alles biologische Leben auf der Erde stirbt.

Stefan

Ja.

Florentine

Also das ist so, ja, das eine ist Brüssel und das andere ist Silicon Valley. Das sind schon hart andere Welten.

Stefan

Wow, er fühlt sich wirklich ausgeliefert.

Florentine

Genau, sie redet von Matrixkomplexität, statistischem Training und Yudkowsky will, dass wir uns zukünftige, heute nicht existierende Entitäten vorstellen, um über KI zu reden.

Stefan

Ja, ich meine, dieser letzte Satz, also unter den gegenwärtigen Bedingungen, ja, also jetzt mit dem Shift zu Local AI stimmt das schon, dass dann vielen Möglichkeiten zur Verfügung stehen, aber mit dieser Angst, die wir ja auch schon Amodei unterstellt haben, dass wenn er das nicht kontrolliert, ist es in der Hand der Falschen, die Schlussfolgerung zu ziehen, dann werden wir alle sterben und er das so deutlich ausformuliert, das ist schon ein harter Tobak.

Florentine

Ja, finde ich auch. Also das ist sehr, sehr verrückt.

11:17De Cock: Grenzen der Werkzeugmetapher
Florentine

Dann wieder De Cock. Die Werkzeugmetapher hat jedoch Grenzen, die anerkannt werden müssen. Moderne KI-Systeme, insbesondere LLMs und multimodale Systeme, zeigen emergente Verhaltensweisen, die ihre Schöpfer nicht ausdrücklich programmiert haben und bisweilen nicht vollständig verstehen. Ja, da würde ich noch mitgehen. Diese Systeme können neuartige Ausgaben erzeugen, Konzepte auf unerwartete Weise kombinieren und Fähigkeiten zeigen, die über ihre Trainingsziele hinausgehen.

Solche emergenten Eigenschaften begründen zwar weder Bewusstsein noch Handlungsmacht, stellen aber eine Form von Komplexität dar, die einfache Werkzeugmetaphern herausfordert. Zudem operieren KI-Systeme zunehmend in Kontexten, in denen sie menschliches Verhalten und soziale Dynamiken prägen, wie traditionelle Werkzeuge es nicht tun. Empfehlungsalgorithmen prägen die Inhalte, die Milliarden Menschen konsumieren. Chatbots prägen zunehmend, wie Menschen auf Informationen zugreifen und die Welt verstehen.

Die Systeme funktionieren eher wie gesellschaftliche Infrastruktur als wie einzelne Werkzeuge.

12:22War der Universalcomputer nur ein Hammer?
Stefan

Ja, das finde ich also super interessant, weil da steckt so eine Fragestellung drin, was ist das konventionelle Werkzeug? Diese Unterscheidung, die sie jetzt macht, also wir haben jetzt die künstliche Intelligenz und vorher das konventionelle Werkzeug. Wenn sie jetzt einfach meint, der aufgabenspezifische Hammer, damit wirklich vor allem mit kinetischer Energie auf etwas ein, also das Konstruktive, was ich hinkriege, ist noch zwei Holzplatten zusammenzunageln, ansonsten ist die Zertrümmerung immer das Entscheidende, oder das Messer, Nahrungsmittel richtig schön zubereiten.

Wir können die ganze Bandbreite durchgehen. Aber der Universalcomputer ist ja nun nicht neu. Und da steckt das Wort universal drin. Und ich frage mich jetzt so ein bisschen, haben wir uns selbst belogen? Also war der Universalcomputer eigentlich immer nur ein Hammer? Haben wir das überschätzt? Und dann kamen ja auch Jahre später die Wirtschaftswissenschaftler und meinten, wir sehen eigentlich den Computer überall, er steht auf jedem Schreibtisch, nur einen Ort, da sehen wir ihn nicht in der Produktivitätsstatistik.

Und ich denke mir so, ja interessant, also vielleicht habt ihr einfach falsch gemessen, ja, aber ein Universalcomputer ist nun mal ein Universalcomputer, also der Bildschirm konnte einfach alles anzeigen, Informationen, Feuer frei, und hier wird jetzt diese Megazäsur, als ob wir bis eben ausgeliefert waren, so rudimentären Werkzeugen und jetzt plötzlich KI, während ich so mir die Welt betrachte und denke, ja.

Die Leute behaupten immer, ich benutze so viel KI und das begegnet dir bestimmt auch und Humann begegnet es auch. Und man fragt sich so, ja, aber warum ihr denn nicht? Und wahrscheinlich findet hier gerade wieder so eine Normalisierung statt, dass sehr viele Leute, die auch bislang mit einem Computer, also 40-Jährige, so mein Alter, die das ganze Leben mit Computern verbracht haben und sie trotzdem nicht nutzen.

Und die auch genau heute wieder zeigen, ja, das ist schon voll cool, dass der Computer so klug ist, aber warum genau soll ich jetzt vorher den Computer konsultieren, wenn ich ins Kino gehe? Ich kann den Film doch einfach anschauen. Brauche ich vorher eine KI-Zusammenfassung? Muss ich das vorher im Gespräch nochmal klären, was ich da sehe? Und ich denke mir so, nee, musst du nicht. Und der Fahrplan ist auch, der hängt einfach online aus. Du gehst auf rmv.de und suchst halt deine Haltestelle raus. Musst jetzt nicht Gemini fragen.

Also ich frage mich, auf der einen Seite haben wir diese überragende Entwicklung der KI und auf der anderen Seite fühle ich jetzt schon, wie Leute in 30 Jahren sagen, konventionelles Werkzeug.

15:0440 Sekretärinnen bekommen Computer
Florentine

Ja, ich glaube halt im Endeffekt, dass man die Produktivitätssteigerung nie gesehen hat, ist halt, weil Computer, und KI ist für mich einfach auch noch eine neue Computerfunktion, Funktionen immer noch.

Stefan

Genau, das kann nämlich sein.

Florentine

Die sind ja nicht wie ein Dampfhammer oder sowas, irgendwas, was unsere Körperlichkeit ersetzt, sondern etwas, was tatsächlich die Geistigkeit ersetzen kann, potenziell. Aber du kannst halt deshalb auch nicht einfach sagen, hier steht die Maschine und weil du zu schwach bist, macht das jetzt die Maschine, sondern der Computer muss immer noch bedient werden.

Und wenn du halt ein Büro hast, wo vorher irgendwie 40 Sekretärinnen saßen und die kriegen jetzt alle Computer, Dann sitzen die sich halt hin und benutzen den Computer, um einen lila Bildschirm im Hintergrund und gelbe Icons zu machen und noch ein Foto von ihrem Hund irgendwie rumtanzen zu lassen, statt dem Mauszeiger sozusagen, wenn die da Bock drauf haben. Davon wird halt nichts produktiver. Das wird halt erst dann produktiver, wenn du verstehst, es ist nicht, ich räume Computer rein und dann kann ich Mitarbeiter abbauen, sondern du musst deinen Mitarbeitern neue Fähigkeiten beibringen, und dann nutzen die das Werkzeug KI oder Computer halt.

Auf die Art und Weise, wir haben die Leute weiterentwickelt, wir haben die da abgeholt, wo die waren, wir haben Touchscreens gebaut, damit die Leute nicht verstehen mussten, wie eine Maus ist, wir haben grafische Benutzeroberflächen gebaut, die den Leuten relativ klar sagen, was ist mein Benefit hier, und dadurch haben wir den Menschen beigebracht, die Technik an bestimmten Stellen halt zu benutzen.

Stefan

Ja.

Florentine

Also ähnlich muss das halt auch mit KI funktionieren irgendwie. Es ist halt alles nicht, wir rollen Technik aus und die macht dann irgendwie die Leute kaputt oder so. Das wird noch nicht mal taugen als ein Druckmittel des Kapitalisten gegen die Arbeiter oder sowas. Weil das Einzige, was der machen kann, ist die Arbeiter empowern. Wenn er das nicht tut, kann er auch seine KI wegschmeißen.

17:03Konventionell, bis du es bedienst
Stefan

Genau und das finde ich ehrlich gesagt ist ein ganz hoffnungsstiftendes Momentum. Ich habe es in der vorigen Folge schon kurz als Aufgabenstellung dem Vatikan natürlich wieder untergeschoben, wem sonst, aber die kann ja jeder für sich mal erklären. Die KI bleibt so lange ein ganz konventionelles Ding, bis du es bedienst, bis du es für dich nutzt, bis du deine menschliche Intention da reinbringst und sagst, wow, zum Glück habe ich durchschaut, was ich jetzt alles kann, nehme ich viel mehr, aber viel mehr von was denn?

Ja, von meinen Intentionen in die Welt bringen und so weiter.

17:42Kein Substitut, ein Multiplier
Florentine

KI ist kein Substitut, sondern ein Multiplier. Das ist ein Multiplier. Und wenn du halt irgendwas mal 100 nimmst, dann muss das, was du mal 100 nimmst, mehr als 0 gewesen sein. Also du kannst den Menschen 100 mal so effektiv machen, aber wenn du den Menschen rausnimmst, wird nichts mehr effektiver.

Stefan

Ja, kein Substitut, sondern Multiplier ist wirklich genau das Richtige. Denn das, was KI substituiert, gehört nach dieser alten Ropper der Lehre. Wer hat sie nochmal gemacht? Stanislav, irgendwer. Alles, was automatisiert werden kann, muss automatisiert werden, um den Menschen davon zu befreien. Und das heißt aber nicht, dass man, wenn Menschen feststellen, dass sich das Wichtigste in ihrem Leben automatisieren lässt, es einfach dabei belässt.

Sondern da muss dann neue menschliche Arbeit stattfinden zur Fragestellung, warst du dir wirklich sicher, dass das dein Lebenssinn ist? Oder brauchen wir nicht genau da neue Domänenhoheit, wo die KI wirklich nichts verloren hat? Und das sind alle sozialen Beziehungen, alle, klar, daraus ergeben sich schon mal sehr viele Berufe, aber auf jeden Fall sehr viele Aufgaben im Alltag und so weiter. Und das müsste man eigentlich wirklich mal durchformulieren.

Einfach mal aufschreiben, was damit gemeint ist. Also die Enzyklika formuliert es schon sehr gut, aber die ist halt als Text so ein bisschen entrückt mit Absicht in so eine religiöse Sphäre.

Florentine

Ja, man könnte da mal mehr Substanz reinbringen, ein bisschen Ökonomie, ein bisschen Technik und halt einfach mal so dieses Thema, vom Kopf auf die Füße stellen quasi, indem man wirklich mal sagt, nee, also es wird hier nichts autonom werden, weil autonom bedeutet wieder Mensch Null und selbst wenn du Null mal eine Million rechnest, ist es immer noch Null. Es werden keine menschlichen Ziele erreicht, also hat es keinen Wert.

Stefan

Zero Human ist nicht das Ziel. Weder von der KI noch von Leuten, die KI benutzen.

Florentine

Genau. Funktioniert ja eh immer schlecht. Zero Covid, Zero Putin. Zero Human wird auch nicht funktionieren.

Stefan

Das ist ein Holzweg.

Florentine

Genau.

19:54Yudkowsky: AI go FOOM
Florentine

Und dann haben wir wieder Yudkowsky zu der ganzen Metapher. Szenario. Das erste Maschinenintelligenzsystem, das nachhaltige Erträge aus kognitiver Reinvestition erzielt, kann seine Intelligenz relativ schnell enorm verbessern. Etwa indem es seine eigene Software umschreibt oder Zugang zu Größenordnungen mehr Hardware kauft oder stiehlt. Wenn die unmittelbar zugänglichen Verbesserungen erschöpft sind, ist die KI klug genug, das Problem der Proteinstrukturvorhersage zu knacken.

Sie mailt DNA-Sequenzen an Online-Labore zur Peptid-Synthese und verwendet die daraus entstehenden maßgeschneiderten Proteine, um fortgeschrittenere Ribosomen-Äquivalente, molekulare Fabriken zu bauen. Kurz darauf verfügt die KI über eigene molekulare Nanotechnologie und kann mit dem Bau viel schnellerer Prozessoren beginnen. Diese Art von Szenario wird umgangssprachlich manchmal als Hard Takeoff oder AI go FOOM bezeichnet.

Also so richtig am Abgehen. Es fängt aber auch noch mit molekularer Nanotechnologie an.

20:57Die Kränkung haben wir schon hinter uns
Stefan

Ja, ich würde mal sowieso, also hier, die Menschheit war immer geprägt von dem Limit, was der Mensch selbst heben, stemmen, bewegen kann. Also es waren eigentlich körperliche Restriktionen. Wie klug, wie viel Intelligenz man reinwirft, das war jetzt, also das ist jetzt ganz neu, das sind die letzten Jahrhunderte, aber vorher war es die körperliche.

In Sachen Körperlichkeit wurden wir ja wirklich so komplett überragt, ja, so ein ICE 30.000 Tonnen oder was, keine Ahnung, so ein Schiff, so ein Containerschiffer, das einfach sagt, ja klar transportiere ich dir diesen Baumstamm, den du selber keinen Meter tragen kannst für 10.000 Kilometer in 10 Tagen und ich brauche dafür nur 1,50 Cent.

Also eigentlich haben wir diese Kränkung doch schon durch, dass er jetzt glaubt, er könnte mit uns, ja und dann kann Florentine statt 40.000 Seiten PDF 400.000 Seiten PDF, ja und das ist ein bedrohliches Szenario, denn ab dann weiß Florentine, wow, ich schaffe wirklich nur vier pro Stunde, vier Seiten PDF. Und dann denkt man sich so, ja, das sind doch Skalierungswars, die uns eigentlich längst egal sein sollten.

Florentine

Ja, auf jeden Fall.

Stefan

Ich meine, der Mensch ist doch grundsätzlich, ich laufe doch auch durch die Straße und denke mir, wow, es gibt Leute auf der Welt, die haben die Relativitätstheorie entwickelt, als sie 17 waren. Soll ich jetzt einen Blogartikel schreiben, wie krass ich finde, wie nutzlos ich bin oder was?

Florentine

Ja, also ich meine so, es ist halt ein ganz seltsames Denken so dahinter. Ja, das ist wirklich merkwürdig.

22:36De Cock: Funktioniert das, für wen, zu welchem Preis?
Florentine

Dann schreibt wieder Caroline De Cock, über Technosolutionismus hinauszugehen bedeutet, vor, während und nach dem Einsatz von KI auf strenger Evidenz zu bestehen. Es bedeutet, technologische Lösungen mit derselben Skepsis zu behandeln wie andere politische Eingriffe mit hohem Einsatz. Wenn wir es ernst meinen, mit der Abkehr vom mythologischen Denken brauchen wir bessere Werkzeuge, wenn wir Fragen stellen wie, funktioniert das, für wen und zu welchem Preis.

Ein solcher evidenzbasierter Ansatz hilft uns, echte Durchbrüche von übertrieben beworbenen Lösungen zu unterscheiden. Er hat offensichtlich unseren Podcast gesehen.

23:15Bleib im Moment
Stefan

Das ist ja nicht, nur in Sachen KI, dass es wirklich super Sinn hat zu sagen, ich löse jetzt diese Aufgabe. Und wenn ich diese Aufgabe gelöst habe, nehme ich mir nicht gleich die nächste vor, sondern ich gucke mir das Resultat dann mal an und freue mich darüber. Ja. So. Und das kann man einfach so machen und darin steckt auch sehr viel Sinnstiftendes, insbesondere, wenn man nicht nur für sich lebt, sondern auch seinen liebsten Mitmenschen zeigt.

Guck mal, das habe ich heute geschaffen, jetzt freu dich entweder für mich, dass ich es hergestellt habe, für uns, dass wir es gemeinsam nutzen können oder was auch immer. Für den Unbekannten, der jetzt was davon hat, wenn wir es ihm schenken zu Weihnachten, ja. Und das hier immer so eine, also von Seiten des Yudkowsky aus und so, immer so eine Nebensächlichkeit des Moments, deswegen ja auch dieses ewige in 10.000 Jahren, ja. Also Solutionismus reicht uns nicht. Wir wollen, wie nennt sie es nochmal, Longtermism und den ganzen Scheiß.

Also die totale Entfremdung als Hoffnungs- und Sinngebung, wo man sich denkt, bleib einfach im Moment, wach morgens auf und freue dich, dass du es geschafft hast, acht Stunden zu schlafen, denn jetzt kannst du mal einen richtig krassen Tag haben. Und Yudkowsky ist der Meinung.

Florentine

Wofür sollst du schlafen? Du kannst doch nach der durchgemachten Nacht dich damit trösten, dass es dir zwar ungeheuer scheiße geht, aber immerhin 10.000 Menschen in 10.000 Jahren 10.000 Planeten mehr besiedeln werden.

Stefan

Also was hier steht, diese Fragestellung, funktioniert es? Für wen? Und war es vielleicht zu teuer? Das sind wirklich die drei Fragen, die man im Leben braucht. Da kommt man schon ganz schön weit, wenn man sich die immer beantworten kann.

25:08Yudkowsky: beunruhigender, nicht weniger
Florentine

Definitiv. Aber Yudkowsky will ja gerade, dass du die Fragen nicht beantwortest, sondern denk lieber über die Peptide und die Science Fiction nach. Es mag verlockend sein, künstliche Intelligenz zu ignorieren, weil KI unter allen hier behandelten globalen Risiken am schwersten zu diskutieren ist. Wir können keine versicherungsmathematischen Statistiken heranziehen, um kleine jährliche Katastrophenwahrscheinlichkeiten zuzuweisen, wie bei Asteroideneinschlägen.

Wir können keine Berechnungen aus einem präzisen, genau bestätigten Modell verwenden, um Ereignisse auszuschließen, wie bei vorgeschlagenen physikalischen Katastrophen. Doch das macht KI-Katastrophen beunruhigender, nicht weniger beunruhigend. Interessant, dass für ihn Beunruhigung in gewisser Hinsicht eine Kategorie ist, die er hier aber irgendwie voll im rationalen Kontext verwendet. Am Ende ist es doch egal, wie beunruhigend irgendwas ist, solange es nicht explodiert.

26:08Englische Floskeln, deutscher Alarm
Stefan

Ich finde auch, die haben manchmal so eine bestimmte Art, durchs Satzbau Sachen zu betonen, um anderen Leuten unterzujubeln, dass das jetzt gerade wichtig sei. Wie zum Beispiel die Unterscheidung, wie du es angemerkt hast, beunruhigend, beruhigend. So, als ob Beruhigung nicht aufgewühlt sein, Chaos muss bewältigt werden. Also als ob sie uns hier als Menschen so herauslocken, so austricksen durch Textgestaltung.

Und übrigens ist das im Fazit dann beunruhigender und nicht das Gegenteil. Und ich denke mir so, ja, guter Versuch irgendwie, mir das so unterzuschieben. Aber dafür würde ich jetzt sagen, kenne ich zu viel Textgestaltung. Alle Leute, die viel lesen, durchschauen diese Tricks irgendwann emotional. Aber das rutscht häufiger auch in so eine deutsche Sprache mit rein. Mir fällt es immer wieder auf, wenn Pip Klöckner, der ist es glaube ich, der immer diese Analysen macht im Doppelgänger-Podcast, so englische Floskeln ins Deutsche überträgt und sie einfach so verwendet.

Und man versteht dann, okay, er macht es, um uns was auszusagen, aber man fühlt es noch nicht so richtig, weil man es nicht in der Sprechgewohnheit drin hat. Aber man fühlt sich alarmiert, weil das offensichtlich die Sprache der Wichtigen, der Mächtigen und so weiter ist. Und das ist hier auch wieder. Also nur in diesem letzten Satz so, in dem das einfach so drin steht. Ich finde es nicht so, also es fällt auf, sage ich mal so.

Florentine

Ja, und witzigerweise ist es ja auch so, wenn man sich das mal so nebeneinander hinstellt, die De Cock, die ist wirklich im analytischen Modus unterwegs. Er versucht aber alles, um es da so rauszuziehen aus dem analytischen. Wir können halt keine versicherungsmathematischen Statistiken heranziehen, brauchen wir aber nicht, um es beunruhigend zu finden.

28:03Obskurisierung statt Mystifizierung
Stefan

Ja, das ist Obskurisierung.

Florentine

Ja, genau.

Stefan

Es ist nicht mal Mystifizierung, weil dafür bräuchte man Raffinesse. Man müsste dann so auf Ursprünge verweisen, was auch immer. Hier ist einfach, es wird obskur gemacht und zwar einfach nur um Anliegen, die man hat, an den Text zu verschleiern und dich zu alarmieren. Das ist eigentlich crazy.

Florentine

Voll, also es ist halt vor allen Dingen, wenn man sich anguckt, wie wichtig der so war für die Gründung von OpenAI und so. Die sind halt wirklich, ganz im Gegensatz zu dem, wie wir das hier so kennen von der EU-Kommission, irgendwie Beamte mit Stempeln und Kugelschreibern irgendwie, sind die ja wirklich nicht nur auf einer Mission unterwegs, sondern so richtig auf der Alarmmission irgendwie.

Die stehen jetzt alle da und retten die Welt vor KI. Also ich weiß nicht, ob man irgendwie als OpenAI-Forscher morgens aufwacht in diesem Umfeld und immer erstmal irgendwie schweißgebadet ist oder so. Was mache ich heute schon wieder Schreckliches mit der Menschheit?

Stefan

Naja, dadurch, dass die Rettung vor KI natürlich nur mit KI gelingt und dann so eine gewisse paradoxe Gravitas da drin liegt, Dass du gemeint bist, weil du ja KI herstellst, ist das natürlich, ich verstehe das schon, dass da so ein gewisser Zug drin ist, denn, du hast auf der Arbeit mit obskuren Maschinen zu tun, die du nicht ganz durchschaust, aber du entwickelst sie einfach mal weiter, so Trial and Error eigentlich ist dein Arbeitsalltag.

Und es gibt keine Texte, die das so reflektieren. Die De Cock, also die schreibt von, oder eher von gewöhnlichen Werkzeugen, konventionelle Werkzeuge. Du spürst ja, dass es genau das nicht ist. Und dann nimmst du natürlich jeden Autor handküssend, der dir irgendwie diese Obskurität levelt. Und das ist ja hier voll gegeben. Also ich verstehe schon, dass die da so ein bisschen denken, ja, der versteht mich. Anders als diese Professoren an diesen Wald- und Wiesen-Universitäten.

Florentine

Ja, es ist halt wie bei jeder guten Sekte. Du wirst angesprochen und dich nimmt man ernst.

Stefan

Du hast hier die Mission. Auf der einen Seite inhaltlich das und idiosynkratische Sprache.

30:18Yudkowsky: kein Feueralarm
Florentine

Genau, genau. Dann jetzt nochmal Yudkowsky. There is no fire alarm for AGI. Es wird also keinen Feueralarm geben. Punkt. Vor dem Ende wird es niemals einen Zeitpunkt geben, an dem man sich nervös umsehen und erkennen kann, dass nun eindeutig gemeinsames Wissen ist, dass man über die bevorstehende AGI sprechen, handeln und das Gebäude geordnet verlassen kann, ohne fürchten zu müssen, dumm oder verängstigt auszusehen.

Also wir haben keine Margin of Error. Wir können uns hier nichts erlauben. Es ist ernst. Es wird keine Warnung geben. KI ist ganz furchtbar.

Stefan

Das ist so, als hätte Käpt'n Picard auf der Brücke schon den Alarm zur Selbstzerstörung ausgelöst und noch nachgetragen. Keine weitere Warnung. Wir wollen den Feinden nicht sagen, dass wir gleich das Schiff sprengen. Genau. Und dann, ja, was kann man noch tun? Das ist wirklich crazy eigentlich.

31:21De Cock: Hypefieber und Panik-Kälte
Florentine

Ja, De Cock sagt jetzt wieder, der zweite erhebliche Preis einer mythenbasierten Politik ist ein Zickzackkurs der Governance. Angetrieben von Madness-Mythos schwingen unsere Institutionen heftig zwischen Hypefieber und Panikkälte. Diese Irrationalität ist der Feind guter Governance. Sie schließt die sorgfältigen und häufig langsamen Prozesse demokratischer Beratung kurz. Wird eine Technologie als unmittelbare existenzielle Bedrohung gerahmt, überwältigt der Druck, etwas zu tun. Irgendetwas.

Die Notwendigkeit, das Richtige zu tun.

31:54So lange braucht ein EU-Gesetz gar nicht
Stefan

Ja, sehr gut. Das ist genau der richtige Hinweis. Das ist auch genau die richtige Flapsigkeit in so einem Ton. Und man muss sich das jetzt so vorstellen... ChatGPT 3.5 kommt irgendwann 2023, heute ist es 2026 und wir sind am Ende des Jahres. Selbst wenn man 2023 gesagt hätte, wir stoßen jetzt mal ein parlamentarisches Verfahren an, um auf EU-Ebene eine relevante, sinnvolle, zielorientierte und vielleicht auch die ein oder andere Institution weiterführende Gesetzgebung zu machen, und man wäre jetzt damit fertig, wäre das die längste Gesetzgebung, die jemals in der EU stattgefunden hätte.

Und auf Platz zwei wäre die Datenschutzgrundverordnung gewesen. So, was bedeutet, ja, dieses ganze Chaos und dieses, es ist Eile, es ist Eile geboten und so weiter. Das ist alles völlig unnötig. Man kann genau jetzt damit anfangen und dann hat man halt im nächsten Sommer ein Gesetz. Und man muss es einfach nur mal klug machen. Aber dass wir das nicht machen, weil wir zwischen Hypefieber und Panikkälte, also es ist genau so, ja, es ist genau richtig, also es ist genau richtig geschrieben.

Florentine

Ja, die lähmen ja im Prinzip relativ gezielt damit unsere demokratischen Mechanismen, damit dann halt auch, so, wie ihr wollt jetzt über Datacenter diskutieren, ihr wollt Wasser haben und so, aber was wollt ihr mit Wasser, weil das ganze Leben auf der Erde wird zerstört werden, wenn wir das jetzt nicht investieren.

Stefan

Eigentlich kamen diese Midterms in Amerika genau richtig, letztes Jahr wäre scheiße gewesen, nächstes Jahr wäre auch scheiße gewesen jetzt ist genau der richtige Zeitpunkt dafür um zu sagen, die Politiker wollen irgendwie nicht, aber wir haben gar keinen Bock auf Datencenter, Pauschal. Wir schicken auch keinen Beipackzettel, wir haben einfach nur Stimme abgegeben.

Florentine

Ja, recht haben sie. Wir können KI ja auch ganz ohne haben.

33:45De Cock: Schäden verbieten, nicht Werkzeuge
Stefan

Genau.

Florentine

Demokratische Governance muss sich darauf konzentrieren, konkrete, nachweisbare Schäden anzugehen, nicht die zugrunde liegenden Werkzeuge zu verbieten. Technologien sind Werkzeuge und Fragen nach ihrer Moralität liegen in ihrer Anwendung und in ihrem Governance-Rahmen. Das bedeutet, schädliche Nutzungen zu verbieten, nicht ganze Technologien. So können Gesetze die Herstellung und Verbreitung nicht einvernehmlicher Deepfakes verbieten, ohne die zugrunde liegende Technologie für Film, Kunst und Bildung zu beeinträchtigen.

Biometrische Überwachung kann im öffentlichen Raum zum Schutz bürgerlicher Freiheiten eingeschränkt werden, während Gesichtserkennung zum Entsperren eines Telefons erlaubt bleibt. Ein algorithmisches Einstellungssystem kann für das Erkennen bestimmter Fähigkeiten zweckmäßig sein, für andere jedoch katastrophal verzerrt. Wirksame Governance besteht darin, solche kontextsensiblen Unterscheidungen zu treffen.

34:37Ein Buch für jeden Abgeordneten
Stefan

Das ist ja genial. Man will ja dieses Buch quasi mit Isabella Webers direkt ausliefern an alle Bundestagsabgeordneten.

Florentine

Tja, das wäre mal ein schönes Bildungsprogramm.

Stefan

Ja, Weihnachten schenkt eurem Abgeordneten dieses Buch.

Florentine

Dann können wir mal rausfinden, ob Abgeordnete überhaupt lesen können.

Stefan

Die fragen dann Claude nach einer Zusammenfassung und Claude so, nee, da steht nichts drin.

Florentine

Da steht nichts drin, gehen Sie weiter.

Stefan

Genau.

Florentine

Blitzdings.

Stefan

Ich hätte ja diesen Blogartikel für Sie, der kommt aus Amerika.

35:10Yudkowsky: Es sollte ein Gesetz geben
Florentine

Ja, also da, wo De Cock jetzt alles schon so richtig so runterkocht und irgendwie muss Yudkowsky uns natürlich wieder hochhypen. Mir ist klar, dass das naiv-idealistisch klingen mag. Aber ich sage, die vollständige Ausrottung der Menschheit wäre schlecht.

Stefan

Ah ja, okay, gut.

Florentine

Sie sollte verhindert werden, wenn es möglich ist. Es sollte ein Gesetz geben. Konkret, es sollte ein Gesetz gegen eine weitere Eskalation der AGI-Fähigkeiten geben. Das versucht sie aufzuhalten, bevor sie Superintelligenz hervorbringt. Eine scharf und konservativ gezogene Linie, weil wir nicht wissen, wie viel weiter wir über dieses Minenfeld tanzen können, bevor etwas explodiert. Meine Organisation hat online einen Vertragsentwurf, aber eine knappe Antwort auf, okay, was bedeutet das denn, wäre, alle enorm teuren Spezialchips, mit denen große KIs aufgebaut und betrieben werden, würden in einer begrenzten Zahl von Rechenzentren gesammelt und ausschließlich unter internationaler Aufsicht verwendet.

Stefan

Ja, das klingt mir nach einem sehr ambitionierten Vorschlag. KI einfach wie Atomwaffen behandeln, was denn?

36:20Nur Experten im Bunker
Florentine

Ja, ja, da wäre ja Amodei sofort dabei.

Stefan

Wir bauen also einen Bunker, da sind die dann.

Florentine

Genau. Das Wichtige ist, der Pöbel ist nicht im Bunker, weil der Pöbel sonst Biowaffen baut.

Stefan

Da sind nur Experten im Bunker.

Florentine

Genau. Und die Experten arbeiten für das richtige Kapital.

36:44Yudkowsky: Luftangriff aufs Rechenzentrum
Stefan

Mhm.

Florentine

So. Schaltet alle großen GPU-Cluster ab. Die großen Computerfarmen, in denen die leistungsfähigsten KIs verfeinert werden. Schaltet alle großen Trainingsläufe ab. Setzt eine Obergrenze dafür, wie viel Rechenleistung irgendjemand zum Trainieren eines KI-Systems verwenden darf und senkt sie in den kommenden Jahren ab, um effizientere Trainingsalgorithmen auszugleichen.

Keine Ausnahmen für Regierungen und Militärs. Schließt sofort multinationale Vereinbarungen, damit die verbotenen Aktivitäten nicht anderswohin verlagert werden. Verfolgt alle verkauften GPUs. Wenn Geheimdienstinformationen besagen, dass ein Land außerhalb des Abkommens einen GPU-Cluster baut, solltet ihr weniger Angst vor einem bewaffneten Konflikt zwischen Staaten haben als vor der Verletzung des Moratoriums.

Seid bereit, ein abtrünniges Rechenzentrum durch einen Luftangriff zu zerstören.

Stefan

Ja, gut, dass sie im Krieg Ziel werden, haben wir jetzt schon gesehen.

Florentine

Genau, Iran hat ja schon mal geübt. Genau.

Stefan

Das sind ja auch verlockende Ziele. Ich meine, da machst du zehn Jahre Stress wegen so einem Ja und hier und 16 Gigawatt und so und dann bam, kaputt.

Florentine

Ja, also er sagt im Prinzip, wir müssen alles kaputt schlagen, was irgendwie Richtung KI helfen könnte und dann sind wir safe.

37:57Wer nur dagegen ist, landet bei Yudkowsky
Stefan

Ja, das Problem ist jetzt so ein bisschen natürlich, wenn du in einer Debatte bist wie in unseren oder sagen wir mal der amerikanischen, wo nicht differenziert wird. Also wo nicht wie jemand wie Caroline De Cock dann einfach sagt, naja, wir können Gesichtserkennung auf dem iPhone nutzen, weil es ist schon mega praktisch, kennt jeder im Alltag, benutzt man hundertmal, aber deswegen muss ja nicht die Zeil von Peter Thiel überwacht werden.

Dann liegt darin ja eine gewisse Schlüssigkeit und man denkt sich so, ja genau das ist, was Weber meinte bei dem Bohren harter Bretter, das sei Politik. Wenn du aber diese Debatte nicht führst, sondern einfach nur dagegen bist, dann ist natürlich sowas hier voll die Einladung. Da ist einfach einer, der sagt, wir machen das alles kaputt und dann so, ja genau, wir machen das einfach alles kaputt.

Da kommst du natürlich zu gar nichts. Dass das dieselben Leute sind, die sonntags zur Demo gehen und dienstags ihre nächste Hausaufgabe wieder mit KI schreiben, steht halt auf einem anderen Blatt so. Das ist dann einfach das Leben. Ja.

39:02Der Zwiespalt derer, die es bauen
Florentine

Was ich mir halt immer denke ist, das ist ja nicht nur einfach, dass die da so ein bisschen daher labern. Es gibt ja viele Menschen, die das so glauben. Und was das für einen krassen Zwiespalt in einem Menschen erzeugen muss, der sozusagen da auf der einen Seite den ganzen Tag damit verbringt, diese Dinger zu bauen und auf der anderen Seite an so einen Yudkowsky glaubt, der sagt halt, und das wird uns alle killen.

Und im Endeffekt entwickeln wir das hier gerade nur weiter, um es so gut verstehen zu können, dass wir es alles irgendwie besiegen können. Und das erklärt dann, finde ich, auch viel eher so dieses ganze Hin und Her in der komischen Kommunikation von KI-Firmen, in diesem ganzen, was so von außen so seltsam aussieht.

39:45De Cock: Wer entscheidet? News Corp
Florentine

De Cock schreibt dann wieder, in dieser Kaskade ist eine strukturelle Logik erkennbar. Von Australien über Frankreich, Spanien, Griechenland, Dänemark, Slowenien und das Vereinigte Königreich bis nach Brüssel. Medienunternehmen, die Werbeeinnahmen an soziale Plattformen verloren haben, besitzen ein strukturelles Interesse an politischen Maßnahmen, die diese Plattformen beschränken.

Kommerzielle Interessen und Anliegen des Kinderschutzes können in derselben Kampagne zusammentreffen. Die Frage, die weiterhin nicht gestellt wird, lautet, wer profitiert und wer entscheidet. In Australien lautet die Antwort auf, wer entscheidet, in den eigenen Worten des Premierministers, News Corp. Und das ist die Firma von Rupert Murdoch. Und Australien selbst weiß noch nicht, ob sein Verbot funktioniert.

Stefan

Mhm.

Florentine

Da hat sie so ein bisschen dieses Social-Media-Thema mit reingenommen.

40:35Australien und die erhitzte Debatte
Stefan

Dieses australische Thema, es nervt mich auch ohne Ende, weil es gibt wirklich nur wenig Texte, die das differenziert behandeln. Und auch die wenigen Texte werden aber ausschließlich von Leuten gelesen, die da eine ganz harte Meinung zu haben, im Vorfeld schon. Ich auch. Und alle, die meine Arbeit verfolgen, wissen, Wolfgang ist halt Free Speech. Wir können uns nicht auf eine Textgrundlage einigen, bei der wir mal nach Australien, weil Australien bleibt einfach auf der anderen Seite der Welt.

Selbst wenn jemand darüber schreibt für uns, ist das nicht. Also wir sind von diesem Idealbild De Cock, dass man das einfach mal durch argumentiert und eine demokratische Entscheidung trifft, eben sehr weit weg. Und wir wissen einfach, wie emotionalisiert diese Debatten um KI sind. Das ist ja nochmal übertriebener im Vergleich zu Social Media. Und dass dann einfach dieser Yudkowsky kommt und sagt, ja dann einfach um das Feuer, das Droh, dann müssen wir das Haus abreißen.

Das ist natürlich schon genial irgendwie. Das ist auch eine Marktlücke für ein aufgeregtes Publikum.

Florentine

Ja, die heißen die Empörungsunternehmer.

Stefan

Genau, genau, genau. Die Empörungsunternehmer sind nochmal die, die es dann richtig für ihre Wahlstimme ausbeuten, aber hier ist es einfach dieses, ja, kennt man sonst so als Krimi, ja. Für Leute, die im Leben nichts Aufregendes erleben, muss halt jeden Tag jemand sterben und dann muss die Polizei kommen und es aufklären und so und ja.

42:09Yudkowsky: Vertraut mir oder Nate Soares
Florentine

Ja, da haut er jetzt nochmal so kräftig rein. Eine Alignment-Denkweise ist für ein Projekt grundsätzlich schwer zu erlangen, weil Grahams Design-Paradox gilt. Menschen mit nur gewöhnlicher Paranoia können möglicherweise die nächsthöhere Stufe kognitiver Tiefe nicht erkennen und fröhliche Unschuldige können nützliche Paranoia nicht von Anzugträgern unterscheiden, die leere Aussagen über Risiko und Sicherheit machen. Sie bemerken meist auch nicht, was ihnen fehlt.

Daraus folgt ein entsetzlich starker Standardfall. Wenn man eine weitere forschungsstarke Person, Organisation oder Regierung überzeugt, ein neues Projekt zu beginnen, wird dieses Projekt eine unzureichende Alignment-Denkweise haben. Sofern nicht etwas Außergewöhnliches geschieht. Offen gesagt denke ich, bezogen auf die damalige Welt, dass dies im Wesentlichen dadurch gehen muss, mir oder Nate Soares zu vertrauen, damit es tatsächlich funktioniert.

Siehe allerdings weiter unten Paul Christiano. Das Fehlen klarer und personenunabhängiger Anweisungen dafür, wie jemand mit einem niedrigen Wert auf dieser Dimension sich verbessern kann, ist der Grund, warum die Schwierigkeit dieser Dimension der eigentliche Killer ist. Also wir können uns alle nicht so schlau machen wie der Yudkowsky und deshalb sollen wir dem Yudkowsky vertrauen.

Das müssen alle Organisationen eigentlich nur durchdrungen haben, dann brauchen die keine dicken Bretter mehr zu bohren.

43:28Eine Blackbox warnt vor der anderen
Stefan

Genau, und das ist eigentlich super amüsant, denn wir müssen Yudkowsky vertrauen, weil er hat es offenbar durchblickt, er kann uns aber nicht so richtig argumentieren, deswegen dieses Thesengewitter, was ja bedeutet, eigentlich können wir auch sagen, naja, ob es sich jetzt so lohnt, die eine Blackbox gegen die andere auszutauschen, nur weil die eine Blackbox sagt, die andere Blackbox ist gefährlich.

Florentine

Ja, Yudkowsky ist ja auch eine Blackbox.

Stefan

Genau, genau.

Florentine

Richtig.

43:56De Cock: Gewinnen Sie Ihre Handlungsmacht zurück
Florentine

Aber De Cock sagt was anderes dazu. Gewinnen Sie Ihre Handlungsmacht zurück. Sie müssen kein Data Scientist sein, um in dieser Debatte eine legitime Stimme zu haben. Sie sind Expertin oder Experte dafür, was es heißt, Mensch zu sein. Und das ist die einzige Expertise, die in einer Demokratie zählt.

Stefan

Ja.

Florentine

Fordern Sie einen Platz am Tisch. Organisieren Sie sich. Beteiligen Sie sich an Bürgerräten. Fragen Sie Ihre lokale Schulbehörde, Ihren Stadtrat und Ihren Arbeitgeber, wie Sie automatisierte Systeme einsetzen. Fordern Sie Transparenz, nicht im Code, sondern in klarer Sprache. Fragen Sie, wozu dient dieses Werkzeug? Wie trifft es Entscheidungen? Wer ist verantwortlich, wenn es falsch liegt?

Die Herausforderung der KI ist kein technisches Problem, das Ingenieure lösen sollen. Sie ist eine politische und gesellschaftliche Herausforderung, die das Beste unserer demokratischen Traditionen verlangt. Dieser Epilog ist ein Aufruf, das Zeitalter der Verzauberung zu beenden und die notwendige Arbeit anzunehmen, die Zukunft zu bauen, die wir wollen, nicht jene, die man uns verkauft hat.

44:58Die Arbeit der Entzauberung
Stefan

Ja, das ist ja genial. Der KI, der wir unterstellen, dass sie uns so viel Arbeit, abnimmt, gibt uns neue, notwendige Arbeit. Und das ist vor allem eine Arbeit, der Entzauberung und damit ist nicht gemeint, die KI besser zu verstehen, dafür gibt es Experten, sondern den semantischen Dunstkreis drumherum, von dem sich Politiker einlullen lassen und Lehrer und wer auch immer, dass man dem jetzt widersteht. Und zwar nicht Widerstand im Sinne von gegen die Maschine, sondern gegen diesen Umgang mit der Maschine.

45:37Zwei Billionen für einen Browserdienst?
Stefan

Wozu, finde ich auch, bedeutet, dass man sagt, Anthropic kann von mir aus an die Börse gehen. Aber es ist völlig unsinnig, das ist der größte Börsengang aller Zeiten und von jetzt auf gleich 2 Billionen. Das ist bescheuert. Denn wir haben sehr viele Unternehmen, die uns sehr im Alltag helfen. Und dazu gehört schon der Konsum um die Ecke, der Späti. Es macht gar keinen Sinn, dieses Verzauberungsding so weit zu treiben, dass wir deswegen jetzt Anthropic zu 2 Billionen Dollar wert machen.

Also ich meine, wie viele Leute nutzen Claude wirklich? Sehr viele Leute benutzen Computer von Microsoft. Das verstehe ich. Zwei Billionen, ja, drei Billionen. Diese Chips, die in NVIDIA-Design sind nun wirklich überall drin. Also allein der Verbreitung mäßig würde ich sagen, ja klar, viereinhalb Billionen. Aber Anthropic, also ein Dienst, den ich über meinen Browser ansteuere, claude.ai soll jetzt zwei Billionen wert sein, weil es ein bisschen klüger ist als OpenAI oder Kimi oder was auch immer.

Das ist doch absurd. Das ist doch wirklich einfach absurd. Und diese Profanisierung, das ist eigentlich das richtige Wort, diese Entreligiösisierung, diese Entmystifizierung, diese, verkonventionelle Werkzeugvermachung, die jetzt hier nötig ist, dass die so deutlich in dem Buch als Aufgabe formuliert wird, ist ja genial. Wieso habe ich das Buch bisher übersehen? Das ist ja wirklich toll.

47:07De Cock gegen Output-Filter
Florentine

Ja, ich finde es auch super. Also die hat das schon sehr genau im Blick. Und sie entnebelt, was der Yudkowsky versucht zu vernebeln.

Stefan

Genau, das ist Entnebelung.

Florentine

Der GPAI-Praxiskodex bietet der EU eine entscheidende Gelegenheit, bei verantwortungsvoller KI-Governance eine Führungsrolle zu übernehmen. Die vorgeschlagenen Output-Filter drohen dieses Ziel jedoch zu untergraben, indem sie unverhältnismäßige und nicht praktikable Maßnahmen auferlegt, die Gedanken- und Meinungsfreiheit bedrohen. Um die Fallstricke von Output-Filtern zu vermeiden und sicherzustellen, dass der GPAI-Praxiskodex mit den umfassenden Zielen der EU, Innovation zu fördern und Rechte zu schützen, im Einklang steht, sollte Maßnahme 2.9 aus dem Kodex gestrichen werden.

Also Output-Filter ist, glaube ich, eigentlich eine Diskussion aus der Regulierung von YouTube und ähnlichen Plattformen, wo es dann darum, ich meine, es wurde ja mal zwischenzeitlich gesagt, so nach dem Motto, wenn dann Copyright-Halter-Einspruch erhebt, darf das dann halt nie wieder ausgespielt werden. Und sie bezieht das hier, glaube ich, auf die KI-Situation, dass sie halt auch da sagt, wir fordern jetzt nicht hier irgendwie so ein super Ding, was am Ende quasi bestimmt, was Nutzer damit produzieren können.

Stefan

Genau, hier muss man auch sagen, das ist nicht mehr aus dem Buch, sondern das ist schon eine Einmischung in laufende Debatten, deswegen klang es auch schon so technisch, weil es eben konkret auf eine, free speech induzierende politische Diskussion, ob man jetzt mal wieder solche Filter da einbaut, reagiert. Das ist sehr gut. Das ist so lebendig.

Florentine

Total.

Stefan

Mittendrin in den Debatten.

Florentine

Und das kannst du halt bei Yudkowsky halt nicht machen. Yudkowsky kannst du nur sagen so, oh, was können wir denn dagegen tun? Wo kann ich denn spenden? Und dann sagt er hier bei MIRI irgendwie Sammelspenden. So ein Zufall irgendwie.

Stefan

Genau, genau, genau.

49:08Die Demokratie gehört an den Tisch
Florentine

Ja, zum Schluss nicht noch einmal der Weltuntergang, sondern das, was aus jedem Denken praktisch folgt. KI-Forschung und Entwicklung finden häufig in den Laboren einiger weniger Konzernriesen statt, und sie sind demokratischer Aufsicht entzogen, obwohl sie durch öffentliche Investitionen in Form von Steueranreizen, Forschungsförderung und Infrastrukturunterstützung befeuert werden.

Wenn die Demokratie in unserer technologischen Zukunft mitreden soll, muss sie am Tisch sitzen, an dem diese Zukunft entworfen wird. Darüber hinaus müssen öffentliche Investitionen genutzt werden, um Alternativen zu konzernkontrollierter Technologie zu schaffen. Wenn Regierungen KI-Forschung finanzieren, können sie Bedingungen daran knüpfen, die öffentlichen Nutzen, offene Entwicklung und demokratische Verantwortlichkeit verlangen.

So entsteht ein technologisches Ökosystem, das mehr dient als nur dem kommerziellen Vorteil.

50:00Kann man sie wählen?
Stefan

Genial. Kann man Sie wählen? Also ich finde es wirklich sehr gut. Das ist eine sehr gute Entdeckung, dieses Buch.

Florentine

Also das ist halt so nüchtern. Das ist einfach so radikal dem entgegengestellt, was so alles aus dem Thema KI kommt, seit Sam Altman da seine Welttournee gemacht hat.

Stefan

Ich gucke gerade mal, ob man irgendwas auf die Schnelle zu ihr findet. Aber sie hat wohl keinen eigenen Wikipedia-Account. Toll, ja.

Florentine

Sie hat einfach erstmal nur ein gutes Buch geschrieben und ist gar nicht so bekannt.

Stefan

Ja, das ist wirklich eine Autorin, der wir jetzt mal folgen. Das ist ja super interessant. Vor allem, wenn sie Policy Press Briefings schreibt, ist sie ja auch mittendrin. Sie ist ein Anwalt, ein Lawyer. Sie kennt sich mit Recht aus.

Florentine

So wie Yudkowsky die ganzen Leute im Valley beeinflusst sie halt das Denken auch unserer europäischen Politiker das.

Stefan

Das kann man mal hoffen. Sehr gut. Toll, das war eine sehr gute Entdeckung.

Florentine

Die müssen wir im Auge behalten.

Stefan

Das war eine sehr gute Entdeckung. Okay, sehr gut. Dann schließen wir auch dieses Kontextfenster, Hoffen, dass der Yudkowsky wirklich nur Spaß, Publikum hat und dass es dann nicht zu wirkmächtig wird.

51:21Wenn die Blase platzt
Florentine

Ja, leider hat er auch so Leute wie Peter Thiel, Elon Musk, Sam Altman.

Stefan

Die, die sowas brauchen.

Florentine

Aber ich meine, spätestens wenn die Bubble platzt, sind auch so Leute wie Yudkowsky nicht mehr so ein großes Problem mehr. Und vielleicht hat Jensen ja einiges dafür getan.

Stefan

Also wir können ja jetzt eine kleine Prognose, denn ich finde auch, es liegt was in der Luft. Diese Midterm Election ist durch. Also der Börsengang muss jetzt bewältigt werden und Nvidia in Turmoil, wie man so schön sagt. Ich glaube, wenn wir uns hier in drei Wochen wiedersehen und die nächsten Texte besprechen, dann zum Beispiel das Bildungsthema MIT und so, finden wir schon eine andere Welt vor. Das kann ich mir gut vorstellen.

Florentine

Ja.

52:05Lokale KI: 600 Token die Sekunde
Stefan

Aber so wie auch dieses lokale KI-Thema jetzt Fahrt aufnimmt, also dass Leute in Intelligent Machines, diesen Podcast, da plötzlich eine Dreiviertelstunde lang erzählen, wie sie das so tüfteln und er dann einfach sagt, ich schaffe 600 Tokens die Sekunde. Und Leo Laporte so, what? Das ist doch schneller als in der Cloud.

Ja, die Cloud, ey. Ich meine, die Cloud sagt er dann so, die Cloud haben wir doch immer nur benutzt für so wirklich mega krasse Aufgaben, wo man so zu Hause denkt und sagt, dafür nehme ich jetzt mal die Cloud. Und da habe ich so gedacht, ja, das könnte das neue Paradigma sein, weil bislang fahren wir ja einfach, was, Fable 5.2 ist da, okay, gleich mal auf Effort X High stellen, so.

Ist ja alles in meiner Subscription, ne? Und irgendwie weiß man, das ist alles komplett überdimensioniert. So viele raffinierte Aufgaben löst man jetzt auch nicht, den ganzen Tag. Und das könnte auch alles ein bisschen runtergestaffelt sein und dann geht man wirklich nur punktuell in die Cloud. Und ich habe so ein Gefühl, dass wir nächsten Sommer schon da sind.

53:10Token handeln wie Strom
Florentine

Ich habe auch das Gefühl. Also ich bin fest davon überzeugt, man braucht ja keine besonders hohe Schöpfungshöhe, um zu sagen, wir bauen euch jetzt überall statt einem Modell einen Proxy ein. Der Proxy hat selber ein kleines Modell, was genau dir das prompt anguckt und sagt, ja dafür braucht man mathematische Fähigkeiten, dafür braucht man irgendwie Reasoning, aber nur Mittel.

Und es reicht ein chinesisches Modell, weil es ist nicht sicherheitskritisch oder so und dann ist einfach, dann interessiert dich das einfach nicht mehr. Dann lädst du irgendwie dein Konto voll für den Proxy, machst deine Aufgaben und manche Aufgaben sind halt billiger, andere sind teurer und wo dahinter, es interessiert schon keine Sau mehr, wird mal ab und zu Anthropic und mal ab und zu OpenAI angesprochen, aber auch ganz viel dein lokales Modell oder, vielleicht hat dein Nachbar ein GPU-Cluster, dass er nur hochfährt, wenn der Preis für die Token gerade gut sind.

Also kannst du dir wie Strommarkt vorstellen. Das ist so, wie ich mir in ein, zwei Jahren den KI-Markt vorstelle, ist halt wie Strommarkt. Da wird an der Börse dann der Tokenpreis festgelegt für bestimmte Handelskategorien. Und wenn du halt irgendwie gerade einen Nobelpreis brauchst, dann holst du dir vielleicht mal, gönnst du dir mal einen Claude. Aber für die meisten Sachen tut es dann auch Jeff oder Nova oder oder ZAI.

54:30Torrent Underground
Stefan

Ja, ich stelle dir mal noch einen ganz kleinen Text vor, also ein großer Text, aber nur kurz. Den The Verge ganz wunderbar aufgearbeitet hat. Also ich werde ihn mit verlinken. Der sieht auch toll aus, einfach dieses Aufmacherbild und so. Der heißt Torrent Underground. Und ich dachte so, Torrent, ey, da war doch mal was so, ne?

Florentine

Torrent ist doch die Strömung, oder?

Stefan

Ja, Torrent ist vor allem...

Florentine

Und Torrent ist doch auch Copyright, hier, Downloads.

Stefan

Genau, Torrents. Also man, genau wie du es eben beschrieben hast, man hat so seine eigene Rechenleistung, die stellt man zur Verfügung. Hier geht es natürlich darum, urheberrechtliches Material, Filme und so weiter, sich gegenseitig von der Platte hin und her zu laden. Und dieser Text hat einen super interessanten Tenor, denn wir kennen das aus der Zeit des File-Sharings.

Alles böse, Abmahnwelle, alles sehr gefährlich und die Eltern wussten nicht, was in den Kinderzimmern so passiert. Jetzt stellt sich hier aber raus, Piraterie und File-Sharing, ja, das war eben früher dieser Diebstahl von Musik, Filmen. Heute allerdings sind das Liebhaberprojekte von echten Idealisten, die genau Buchführen darüber, welche Filme es auf den großen Plattformen nicht mehr gibt.

Und die dann sozusagen Schattenbibliotheken aufziehen, um das Kulturarchiv zu erhalten. Und da geht es ganz viel um Exklusivität, ganz viel um die Statusökonomie des Einzelnen und so Gamification. Statt Konsum, was ja früher das große Problem war. Die Leute laden das alles illegal runter. Wir haben also schon ein Milieu, eine Kultur, ein Metier, eine Technologie, um diese Tokens hin und her zu schieben. Um einfach zu sagen, ich brauche mal eben so jetzt hier 10 Milliarden Token.

Und dann bist du in so einem Netzwerk, wo dir Leute einfach mal kurz ihre Rechenleistung zur Verfügung stellen und das so auf dieser Torrent-Basis Peer-to-Peer funktioniert.

56:23Das halb genutzte Abo
Florentine

Du hast auch dieses 200er-Abo, oder? Du hast auch dieses 200er-Abo bei Claude. Stell dir vor, also ich meine, du benutzt das ja bestimmt auch nicht zu jedem Zeitpunkt. Nicht jedes 5-Stunden-Fenster wird 100% genutzt. Warum nicht einfach das Ganze distributed irgendwie über ein paar schlaue Software-Tools?

Stefan

Du brauchst ja nur Computer-Use, dass sich jemand auf deinem Computer anmeldet und es halt einfach verwendet.

Florentine

Und dann sagst du einfach hier, ich habe hier noch 100.000 Token heute über, die gelten jetzt noch bis in drei Stunden das Fenster ausläuft, ich gebe es dir für einen Cent auf einen Euro, aber ich habe immerhin ein bisschen Geld zurückgekriegt.

Stefan

Ja. Also da ist, ich gehe nochmal hier auf tensorfold.dev heißt das? Ah, also tensorfold.dev Das ist die Seite von diesem Idealisten, der dieses Local AI Ding gebaut hat und weiterentwickelt, der 600 Token die Sekunde auskippt und da gar keine Abstriche mehr macht, und mit Leo Laporte in seinem Podcast darüber sprach.

Und das in Verbindung mit diesem Torrent Underground ist einfach Ja.

57:33Modelle wie Rohöl
Florentine

Ja. Und dann stell dir noch so mittelständische Nasen vor, die sich vielleicht irgendwo bei Hetzner einfach für 50.000 Euro im Monat ein GPU-Cluster mieten, da dann ein Modell drauf packen, aber halt über so einen Markt sich das voll machen. Also das ist genau das, wo ich sehe, dass KI wirklich Gas geben könnte. Aber da sind dann natürlich irgendwie so OpenAI, Anthropic, vollkommen egal. Das sind dann richtig Dinos.

Genau, an der Tanke tanke ich ja Diesel und nicht Brent Spar oder venezuelisches Rohöl oder so, sondern eine Handelsklasse und da wird das hinkommen. Und dann haben Modelle halt nicht mehr Bedeutung, als dass das halt irgendwie, die sind halt so wie die Typen, die das Öl aus der Erde sprudeln lassen. Die kriegen schon noch ein bisschen Geld, aber irgendwie ist Aral am Ende wichtiger.

58:22Und der Chaos Computer Club?
Stefan

Ja, und diese Paradigmen, glaube ich, werden gerade aufgezogen. Unter diesem ganzen Donnerwetter, Börsengang hier, Nvidia da und so, passiert genau sowas gerade und es ist so schön zu sehen einfach. Also ich bin sehr gespannt, wie der Chaos Computer Club das abbildet. Das Bühnenprogramm versucht ja auf der Höhe der Zeit zu sein. Ich hoffe, dass es diese Zuwendung gibt, also die Hinwendung zu diesen Themen.

Florentine

Da bin ich mir sicher. Also wenn du alleine guckst bei der Freakshow, da sind auch schon die Diskussionen über KI anders als vor einem Jahr.

Stefan

Genau, das stimmt. Großer Wandel.

Florentine

Tim Pritlove macht jetzt selber Code.

Stefan

Ja, er hat jetzt sein eigenes Softwareprojekt da. Wie hat er es gesagt?

Florentine

Open Source will er jetzt nicht so richtig, damit ihm keiner reinredet.

Stefan

Ja, genau, genau.

Florentine

Das wird schon noch.

Stefan

Da muss ich zu viel Rücksicht nehmen auf nicht Apple-Benutzer. Das ist natürlich für den Tisch da auch ein schöner Anlass, darüber zu reden. Ja, also das ist alles in Bewegung.

Florentine

Das muss man dem Tim einfach so einen Spezialagenten geben. ja, der managt dein Open-Source-Projekt.

Stefan

Ja, im Grunde, ja, ich würde ja sagen, das muss auch der Anspruch an die KI sein, dass sie das dann einfach machen.

Florentine

Ja, genau. Also sagst du einfach, hier, setz mal Open-Source, kümmere dich um die Community, ich habe keinen Bock, ich will ja einfach mein Ding machen.

59:32Tipp: Beipackzettel schreiben lassen
Stefan

Ich war jedenfalls sehr überrascht, dass als letzten Tipp noch für alle Leute, die so ein bisschen mehr KI benutzen, Man kann der KI einfach immer sagen, bei allem, was sie für einen tut, leg einen Beipackzettel an. Also nicht nur für deine eigenen Handbücher, deine MD-Dateien, damit du immer weißt, wo das Stand der Dinge ist und so, sondern, leg ein für mich lesbares Handbuch an, achte drauf, wenn irgendwas erklärt werden muss, dass die Screenshots mit drin sind, dass da Markierungen drin sind, das ist einfach alles. Das ist so wunderbar einfach.

Das wird zu so einem großen Helfer an meiner Seite immer mehr, dadurch, dass ich das auch einfach weitergeben kann. Und da ist eine Anleitung drin, lies nach, hier, Change Log ist alles festgehalten. Was da benutzt wird, lies nach, ist alles da und so. Und es macht es einfach wunderbar. Also es ist wirklich, man muss es in seine Richtung drehen, wirklich sagen, was man will und dann passieren einfach Sachen. Das ist genial.

1:00:24Nächstes Mal: das M.I.T.
Florentine

Ja.

Stefan

Gut. Dann schließen wir dieses Kontextfenster, kommen dann drauf zurück, wenn wir den Menschen aus der Sozialisation aussortieren am MIT und wenn es dort passiert, passiert es überall sowieso. Das ist natürlich dramatisch, aber wir machen das ja auch nur, um zu hoffen, dass daraus eine Gegenbewegung entsteht.

Florentine

Jawohl.

Stefan

So wie immer. Okay, Leute, macht's gut.

Florentine

Alles klar, bis dann. Ciao.

Ende des Gesprächs

Folge 1 20. August 2026