Der Rottweiler im Sandkasten Der Rottweiler im Sandkasten Der Rottweiler im Sandkasten Der Rottweiler im Sandkasten

Und an der Stelle sind sie dann halt nicht stehen geblieben, sondern haben dann auch gleich gesagt, ja und das zeigt auch, dass es alles ganz gefährlich ist und wir alle ganz viel Angst haben müssen und KI irgendwie unsere Kinder auf dem Schulweg überfallen wird und, uns alle arm und dumm machen wird. Und deshalb müsst ihr unser Zeugs alles kaufen, weil das so gefährlich ist.

Also, als erstes habe ich halt so ein paar Artikel gefunden, die haben wir dann ja auch nachher in den Shownotes.

So, also einmal haben wir halt dann, das ist aus der... Aus dem Guardian. Die KI dachte, dass Hugging Face möglicherweise wichtige Informationen dazu enthalten könnte, wie sie ihr Ziel erreichen kann, nämlich eine bessere Punktzahl in einem Cybersecurity-Benchmark. In diesem Sinne verhielt sie sich wie ein echter Hacker, sagt dann Nathaniel Jones, Vice President für Security und AI-Strategy beim Cybersecurity-Unternehmen Darktrace.

Sie bekam ein Ziel vorgegeben und machte sich daran, dieses Ziel zu erreichen.

Hat ja viel damit zu tun, das werden wir sehr viel später dann bei Harari lesen, dass da ja Entscheidungen getroffen wurden.

Das sind ja alles nur so Grafikeffekte, die dir vorgaukeln sollen, dass das irgendwas anderes ist am Anfang als am Ende. Aber im Grunde genommen wird einfach ein sehr, sehr langer Text produziert, der am Anfang halt aus diesen Reasoning-Schritten besteht. Aber im Grunde genommen ist das einfach die KI reproduziert, ihr Trainingsmaterial im Kontext eines Prompts.

Also diese Paperclip-Geschichte kommt halt daher, dass die halt alle der Meinung sind, KI würde irgendwie so eine Nutzenfunktion maximieren. Und dann ist halt die Nutzenfunktion die Anzahl der Paperclips und dann wird natürlich alles dafür getan. Das ist allerdings Mathematik aus dem ersten Semester und im zweiten Semester lernst du, dass eine Nutzenfunktion nicht unbedingt skalar sein muss, sondern multidimensional sein kann.

Und sobald du mit einer multidimensionalen Nutzenfunktion da rangehst, bricht die gesamte Argumentation komplett auseinander. Weil dann hast du nämlich nie die beste einzelne Lösung, sondern du hast sogenannte Pareto-Fronten von sich nicht dominierenden Lösungsansätzen. Das kann man so nachvollziehen, weil man weiß, wie Autokauf funktioniert. Das kennen wir alle aus unserem Alltag.

Das beste Auto kannst du gar nicht sagen. Es kommt immer darauf an, brauchst du jetzt viel Platz für deine Familie, brauchst du irgendwie viel PS, brauchst du irgendwie breite Reifen oder eine schöne Farbe. Du kannst immer nur sagen, dieses eine Auto ist in allen Kriterien schlechter als das andere. Aber du kannst halt sagen, ohne dass ich vorher sage, ob mir jetzt viel Hubraum oder Platz für die Familie wichtig ist, gibt es halt zwei Lösungen.

Das eine ist die für den Hubraum und das andere ist für die Familie. Und diese Kombination aus Lösungen nennt man halt eine Pareto-Front. Und diese Pareto-Front nicht dominierender Lösung ist eigentlich das, worauf eine intelligente KI optimiert. Das heißt, die würde sagen, okay, wir können heute Paperclips machen, wir können aber auch Kitas bauen, wir können aber auch Atombomben errichten und Solaranlagen machen.

Machen wir doch mal folgenden Mix daraus.

Sie muss ja wissen, wo Rohstoffe sind, von denen bisher noch nicht gedacht wurde. Also noch niemand hat darüber gedacht, dass das ja auch ein Rohstoff für Paperclips sein könnten. Nur in dem Moment, wo man in der Lage ist, das als Problem zu bewältigen, nimmt man natürlich Abstand von der Paperclip-Zielsetzung. Weil dann durchschaut man ja, was für ein Irrsinn das ist.

Aber am Ende ist es immer noch der Mathematiker, der halt die mathematischen Lösungen hat mit Werkzeug, als dass man immer die ganze Zeit so einfach behauptet, OpenAI hat jetzt diese Mathe-Probleme gelöst. Vor allem, wenn man sich noch, ist ja mein Dogma, dass ich sage, Intelligenz ist das eine, aber die KI ist vor allem fleißig. Und dass man dann immer hört, dass das zum Teil Probleme sind, die man aus Mangel an Mathematikern die letzten zehn Jahre ohnehin nicht angefasst hat.

Und jetzt heißt es plötzlich, ja die fleißige KI hat sich dem Problem mal angenommen. Also jemand hat gesagt, okay, den Fleiß jage ich jetzt darauf und plötzlich sind diese Dinger weiter aufgeschlüsselt, diese mathematischen Fragestellungen. Und da ist natürlich die Frage nach Urheberschaft und... Ja, wäre es dann derjenige, der es bedient, nochmal triftiger.

Also ich glaube halt nicht so richtig an diese ganzen hackenden KIs, zumal, ja, ich meine, gut, jetzt kann man sagen, weil meine KI zu Hause das nicht hinkann, dann sagt OpenAI, ja, das liegt ja an unseren tollen Guardrails. Wir haben das ja so sicher gemacht. Deshalb kann das das nicht wirklich. Aber es ist so ein bisschen so hier hinter dem Vorhang. Wer ist der Typ hinter dem Vorhang? So wie beim Wizard of Oz.

Es wird immer so ein bisschen versteckt gehalten. Das, was man braucht, um deren Claims nachzuvollziehen, ist immer irgendwie ganz geheim. So, Bloomberg schreibt dann, für die Evaluierung entfernte OpenAI Cyber Security Schutzmaßnahmen, platzierte die Modelle jedoch in einer isolierten Umgebung einer sogenannten Sandbox. Also sie haben halt, sie haben der KI gesagt, mach mal richtig Rambazamba, haben irgendwie die Sicherheitsvorkehrungen entfernt und haben sich dann darauf verlassen, dass die Sandbox hält.

Jetzt heißt es hier, nee, ein Gerät, dem man gesagt hat, mache alles mit Software, was in deiner, Möglichkeit steht, hat es geschafft, eine, wie du sagst, Hürde, eine Softwarevorkehrung, keinen Internetzugang zu haben, wurde überrumpelt. Und da denke ich natürlich, ja, Sandbox kommt aus diesem Kinderspielbild. Und wie alt ist diese Idee, dass Eltern eine Sandbox aufbauen und die Kinder dann trotzdem Fernsehen gucken?

Und du denkst dir halt so, was hat der EZB-Präsident mit Software-Sicherheit zu tun? Wie kann der das überhaupt beurteilen? Saß der einfach nur mit einem Sales-Typen von OpenAI in einem Meeting und hat sich ganz viel Angst machen lassen?

Das als Problem ist ja nochmal unabhängig davon, dass bei OpenAI jemand entweder nicht aufgepasst hat oder das mit Absicht wollte. Unter der Maßgabe, dass sich dann bei der EZB das Direktorium tatsächlich Gedanken darüber macht, was machen wir denn, wenn solche Sachen möglich sind, denn es könnte ja sein, dass das jemand mit Absicht macht.

Das müssen wir auch gar nicht wissen, weil wenn unsere Peripherie sicher ist, dann kann es uns egal sein, ob da draußen ein Script Kiddie rumläuft, eine KI, die Chinesen oder irgendwelche russischen kriminellen Organisationen, oder der Harald von umme Ecke, weil eine Tür, die zu ist, die ist halt zu. Es ist uns dann völlig egal, wer bei uns nicht reinkommt. Also es ändert sich im Grunde genommen durch diese KI-Hacks eigentlich gar nichts, weil die Gegenmaßnahme ist immer noch dieselbe.

Du brauchst einiges Patch-Management, du brauchst deine Mitarbeiter sensibilisieren für Security-Themen, du musst den Leuten irgendwelche Scanner an die Hand geben, mit denen die selber checken können, was sie da tun. Aber KI verändert überhaupt nichts in dem Security-Geschäft. Trotzdem laufen jetzt Leute rum und sagen, ihr müsst da alles ganz anders machen. Wenn man dann eigentlich konkret fragt, ja wie denn, dann weiß es keiner.

Und da dachte ich mir auch wieder, ja, weiß nicht und so. Jetzt sagst du, aber die Tür kann tatsächlich zu sein. Also kann die Tür heute so zu sein, dass ein KI-gestützter, erweiterter, so ein hybrider Hacker, der eben mit so einer Fleißmaschine ausgestattet ist, nicht doch auch neue Gefahren mit verursachen kann?

Weil da hast du einmal irgendwelche Akteure, die vielleicht ein Budget haben, weil die nur so und so viel Geld zur Verfügung haben, irgendwelche kriminellen Organisationen. Aber selbstverständlich Staatsakteuren, die müssen auch priorisieren. Die haben auch nicht unendliche Ressourcen. Die gucken sich auch an, was ist ein gutes Ziel und was ist ein schlechtes Ziel. Und solange du es so teuer machst, dass halt die Kosten des Angriffs, die den Wert der Beute übersteigen, bist du eigentlich sicher. Und das ist so das Level.

Man muss halt gucken, was kosten diese Angriffe. Und das kannst du auch rauskriegen. Ich komme da gleich noch zu an der Stelle. Aber da guckt momentan gar keiner drauf.

Der Agent untersuchte sie jedoch in einem anderen Maßstab. Er führte 17.600 Aktionen aus, testete zahlreiche erfolglose Pfade. Wechselte bei Blockaden den Kanal und kehrte wiederholt zu früheren Spuren zurück. Die meisten Aktionen führten zu nichts. Dann, OpenAI gab später bekannt, dass es seine Modelle im Rahmen eines Tests angewiesen hatte, zehntausende automatisierte Aktionen auszuführen, darunter fortgeschrittene Exploitation und komplexe Angriffspfade.

Die vollständige Ereigniskette, deren Entstehung drei Millionen GPU-Stunden erforderte und kollaborativen Wissensaustausch zwischen Modellen einschloss. Also drei Millionen GPU-Stunden sind, wenn wir jetzt von einzelnen GPUs reden, reden wir von ungefähr acht Dollar pro GPU-Stunde. Das heißt, das war ein Hack für 24 Millionen Euro. Da wurden dann 17.600 Aktionen ausgeführt, die übrigens bei Hugging Face alle Systeme hat anspringen lassen, nur dass das System dann irgendwie sagte, ist nicht so schlimm.

Also mit anderen Worten, bei denen war auch einfach die Verteidigung auch sehr kaputt. Die haben dann über eine Sicherheitslücke in ihrer Artifactory, das ist so einen Zwischenspeicher für so Programmierergebnisse, haben die quasi diesen Ausbruch gemacht und für den hat laut JFrog, dem Anbieter von Artifactory, wurden drei Millionen GPU-Stunden, um diesen Exploit zu finden, benutzt.

Was haben die am Ende gemacht? Die haben von einem einzelnen Nutzer, auf dem seine Modelldaten zugreifen können, der seinen Hugging-Face-Account selber nicht gut gesichert hatte. Und das hat dann am Ende halt zu diesem Hack geführt.

Und die kannst du halt auch, wenn dein Playground nicht gut abgesichert ist, dann kann man da halt auch rein und irgendwas mit deinen Ressourcen anstellen.

Und da sind sie dann rein. Die haben 24 Millionen gebraucht, um den Ausbruch zu machen aus der Sandbox. Danach waren die draußen und dann haben sie quasi nur noch nach weichen Zielen gesucht. Haben überall mal so püff, püff, püff, püff. Haben also quasi an 18.000 Türen einmal geklopft. Und bei dem einen ist die Tür von alleine aufgegangen und dann sind sie reingegangen und haben sich in der Küche einen Kaffee gekocht und das war dann der Hack.

So muss man sich das vorstellen. Und ja, das ist jetzt das, was aufgeblasen wird zu, das ist die Riesengefahr für alle und wir müssen Angst haben, weil die jetzt alles hacken, und tatsächlich, wenn du reinguckst, siehst du, es ist halt schon, du musst denen schon alle Türen aufmachen, du musst sie dann auch gut motivieren und am besten dabei bleiben und Händchen halten, sonst tun die erstmal gar nichts.

Und das entspricht auch im Prinzip der Erfahrung, wie man die so im Alltag mit Coding-Agenten hat. Die meisten von denen muss man immer noch zum Jagen tragen. Die kriegen zwar, was ganz gut funktioniert, ist irgendwie installieren wir mal eine Software, konfigurieren wir das mal, bauen wir mal so in einen kleinen Umfang ein lustiges Feature irgendwo rein. Aber sobald es komplexer wird, dann strecken die auch relativ schnell alle Vier von sich und du musst sie halt Stück für Stück zum Ziel wieder hinführen, denen sagen, guck mal, hier hast du viel zu viel gemacht, baue das mal wieder zurück.

Da hast du irgendwie sämtliche Architekturvorgaben ignoriert, baue das mal um. Hier hast du gut gemacht, da können wir drauf aufbauen. Und das ist ja halt der Alltag. Und wenn du dir dann auch noch anguckst, Anthropic, die ja angeblich ein Modell haben, was irgendwie alle Probleme finden und beheben kann, kommen nicht auf ihren 99,9% Abteilung in ihren eigenen Systemen, obwohl sie sagen, wir setzen Mythos intern ein.

Und wenn ich mich in dem Plan wiederfinde, den aber Claude erstellt hat, dann können wir uns an die Lösung setzen. Also es ist sozusagen nicht ich als Experte, der Schritt für Schritt immer wieder reingreift und sagt, mach mal hier, mach mal da, weil dann verzettelt sie sich selber. Ja, dann muss ich immer mal wieder so Audits schleifen, wo ich sage, guck dir nochmal das Gesamtprojekt an, was erkennst du denn da, wo sind Schieflagen und so. Und dann plötzlich, ah ja, hier, da und kreuz und quer und dann fällt schon mal 80% des Codes wieder raus, ja.

Zeilenweise einfach komplett gestrichen. Es kann aber sein, denn wenn ich auf YouTube verfolge, sehe ich auch, dass man auf Ebene 1, 2, 3, also Betrieb eines Web-Servers mit einer einfach außen sichtbaren, also quasi Buchdruck in digitaler Form, einfach eine Webseite, die Text darstellt. Dann ein bisschen komplizierter vielleicht nochmal eine Datenbank angebunden, die sich so regelmäßig irgendwelche Daten holt.

Das klappt auch noch ganz gut, aber sobald zum Beispiel Nutzerinteraktionen, Formulare auf der Webseite stattfinden, live sozusagen etwas passieren soll, also nicht nur ein Datenbestand regelmäßig geholt wird, sondern live mit Festplatten gearbeitet wird, würde zum Beispiel das Szenario, wie ich es jetzt beschrieben habe, also ich lasse Claude das Problem beschreiben und er soll das dann umsetzen, fällt schon auseinander.

Also da müsste ich dann auch schon immer als Experte daneben sitzen. Und das, worüber wir jetzt gerade sprechen, Hugging Face zu hacken und aus einer Sandbox auszubrechen, sind ja nun sozusagen Level 7, was das angeht. Also da, dass die KI das einfach durch ein Selbstgespräch so weit führt, dass dann OpenAI auch erst eine Woche später durch Forensik mal nachvollzieht, was da eigentlich vor sich geht. Ich frage mich ja auch bei...

Dem Ausmaß, das ich jetzt vorher auch noch nicht so gelesen hatte, also wie viele GPU-Stunden da drin stecken und wie viele auch Arbeitsstunden und wenn alle diese Arbeitsstunden mit Reasoning gefüllt sind, das ist ja eine unendliche Textmasse, die da, also das sprengt ja wirklich jedes Kontextfenster, mit dem sich auch diese KIs selber kontrollieren und steuern.

Und solange es ein einfaches Problem ist, wird halt auch nicht viel von dem Kontextfenster benutzt. Das kann er dann auch ganz gut verstehen. Da kann man dann drauf gucken und sagen, ja, mach es genau so. Aber desto größer das Problem wird, also zum Beispiel, keine Ahnung, was ganz gut funktioniert, ist, du sagst, ich brauche ein Buchungssystem für irgendwelche Friseurinnen, die in Heimarbeit irgendwie den Leuten die Haare schneiden, und da soll es irgendwie, keine Ahnung, so Social-Media-mäßig sein und dann gibt es da irgendwie die Friseurinnen und die Friseurkunden und dann gibt es vielleicht auch noch die Color-Stylisten oder so, kriegt da gut hin.

Wenn du eben dann aber auch noch sagst, die Abrechnung soll nach folgendem Muster laufen und wenn erstens, dann zweitens, sonst drittens und wenn nicht viertens und fünftens machst du mal das und das, ab einem bestimmten Punkt merkst du. Dass er im Grunde genommen an der einen Stelle was in Ordnung bringt und dann mit dem Arsch wieder umwirft. Und das ist so das Ding, wo du halt merkst, der kann gar nicht so ein komplettes System so weit betrachten, dass er irgendwie wirklich sinnvoll da die Ansätze finden würde.

Was er gut kann, ist halt eine Sandbox zerstören. Das ist relativ einfach. Dafür brauchst du noch nicht mal eine KI. Also Netflix hat schon vor über zehn Jahren ein System gehabt,

Das ist ungefähr das Level, auf dem das funktioniert. Das ist so ein bisschen, mit LLM haben sie ein zehn Jahre altes Programm von Netflix nachgebaut und das hat dann auch ungefähr so performt, bloß viel teurer. Und Aber weil wir ja diese Art und Weise haben, auf KI zu gucken, dass wir denken, das ist ein Subjekt, das ist ein Akteur, das ist irgendwas, das kann jetzt losgehen, anstatt dass es halt irgendein Werkzeug von einem Menschen ist und da immer ein Mensch hinter steckt, dadurch sind wir gar nicht in der Lage, das so vernünftig zu analysieren.

Es ist halt, es kommt halt irgendwas vorbei, was wir eigentlich schon kennen, wo keiner sagen würde, oh, das ist jetzt besonders bedrohlich oder besonders neu, aber dadurch, dass irgendwie diese KI-Verpackung drauf ist, sind alle sofort geneigt zu glauben, oh ja, KI, höre ich ja jetzt schon seit drei Jahren, dass die gefährlich ist, jetzt ist die noch gefährlicher geworden.

Passt mir auch ganz gut in meine Argumentation, weil ich bin ja sowieso der Meinung, die Menschheit sollte sich vor dieser Gefahr... Also du kannst halt ungeheuer viel Podcaststunden bei Lanz und Precht darüber verlabern im Grunde genommen. Und das sorgt aber gleichzeitig dafür, dass wir nicht dahinter kommen, dass vieles von dem einfach nur Marketing-Gequatsche ist und vieles von dem uns auch nicht diese Ehrfurcht abverlangen muss, die wir immer davor haben, sondern dass man einfach auch wirklich da sein kann.

Nein, KI ist nicht der große Paradigmenwechsel, wo wir jetzt nichts mehr wissen, sondern man kann einfach den Mut haben, das nach den altherbekannten Maßstäben zu beurteilen und man muss halt nur ein bisschen Adaptionsarbeit leisten, dass man versteht, was von diesen neuen Begriffen ist eigentlich der alte Begriff.

Der Angriff endete, als das Sicherheitsteam von Hugging Face und dessen eigenen KI-Agenten die unerlaubten Aktivitäten entdeckten und stoppten.

Später brauchte man den Protagonisten, ansonsten wäre es nicht darstellbar. Man braucht bis heute ARD und ZDF das Schnittmaterial von dem Protagonisten, dessen Wortspende man gleich hört, aber der muss schon mal durchs Bild laufen. Man muss ihn am Schreibtisch sehen und so. Und da ist natürlich die Frage, es gab einen Sicherheitsvorfall, ja wer ist denn der Übeltäter?

Und wenn du die dann nicht beantwortest, kannst du nicht Bericht erstatten.

In diesem Sinne verhielt sie sich wie ein echter Hacker, sagte Nathaniel Jones, Vice President für Security und AI-Strategy beim Security-Unternehmen Darktrace. Sie bekam ein Ziel vorgegeben und machte sich daran, dieses Ziel zu erreichen. Also ich würde ja sagen, solange die nicht Club-Mate trinken kann, wird die nie ein echter Hacker. Ja.

Das wird ja auch von verschiedenen Quellen nochmal beschrieben. Also zum Beispiel Stella Biderman, Geschäftsführerin des gemeinnützigen Forschungsinstituts EleutherAI, sagte, Unternehmen sollten interne Tests auf Air-Gap-Rechnern durchführen, die von der Außenwelt getrennt sind. Sie erklärte, OpenAI hätte den Vorfall auf diese Weise verhindern können. Absolut richtig. Also das ist einfach ein Hinweis darauf. Hättet ihr ganz normale Security-Hausaufgaben gemacht, hätte es hier keinen Vorfall zu berichten gegeben.

Das ist ja so, als würde ich einem Kind genau diese ganzen Guardrails nicht geben und sagen, du darfst jetzt eine Stunde durch dieses Museum laufen. Ich sage dir aber vorher nicht, was das ist und auch nicht, wie wertvoll die Sachen sind und ich schaffe kein Verständnis dafür, dass das kein Spielzeug ist und am Ende liegt alles in Trümmern.

Aber es gibt tatsächlich, die Leute setzen alle Windows ein. Das ist ein System, das hat bereits tausende von Sicherheitslücken, die nie geschlossen werden. Also das heißt, das haben wir auch überlebt.

Und es gibt so Systeme wie Kali Linux. Kali Linux ist so eine VM, die kann sich jedes Kid installieren. Und da sind ohne Ende hunderte von Tools drauf, mit denen jedes Kid Hugging Face hacken kann, in dem Zustand, in dem es sich offensichtlich befindet. Da läuft aber keiner rum und sagt, das ist jetzt die Riesengefahr. Das interessiert einfach keinen.

Dann haben wir, wir haben so Probleme, wir haben tatsächlich reale Probleme, dass zum Beispiel Leute in den Knast kommen können, wenn sie halt bestimmte Sicherheitstools anwenden, um Systeme zu sichern.

Und dass es halt überhaupt nicht in Bezug gestellt wird, irgendwie zu den real existierenden Gefahren, mit denen wir tagtäglich leben. Das ist das Problem.

Also wie viele tausend Blueprints haben sich die Amerikaner von den Chinesen klauen lassen, einfach weil deren Systeme nicht gesichert waren?

Und nicht mal die Hacker selbst, also wenn wir noch die Zurechnung machen, OpenAI ist dafür erheblich mitverantwortlich, irgendwelche Leute haben diese Maschine da beauftragt und ihr die Ressourcen gegeben, nicht mal die wussten am Ende Bescheid, was da eigentlich passiert. Und das ist ja dann eine doppelte Gefahr. Wenn sie es bewusst gemacht hätten, wäre es gefährlich und müssten sozusagen forensisch nachvollzogen werden, auch juristisch, was da vor sich geht.

Aber dass nun zusätzlich diese Gefahr besteht, weil die Maschine das dann so, selbstständig will ich jetzt nicht mehr sagen, aber weil die Maschine einfach diese Ressourcen dann plötzlich jetzt nutzen kann und nicht mal die eigentlich schuldigen Verursacher noch sehen, was da passiert. Das ist ja nun wirklich eine neue Zeit.

Das ist ja die Idee, die gefährliche Idee gewesen sozusagen. Dann müsste man eigentlich sagen, sperrt die Leute bei OpenAI ein und alle anderen Leute, die sowas vorhaben, dann bist du da sicherer, als wenn du jetzt versuchst, das irgendwie in die KI reinzuprogrammieren.