Der Newsletter der kiselbsthilfegruppe.de heißt jetzt rundbrief.ai

Abonnieren
Menü

Sie glauben ernsthaft, dass KI uns alle töten könnte — und sie bauen sie trotzdem

36 Min · 118 Meldungen

Papiercollage: drei Ingenieure in blauen Latzhosen bauen ruhig an einem hoch aufgetürmten Apparat aus Zahnrädern, Reglern und Platten weiter, während mitten darin ein rotes Warnschild mit Totenkopf klebt, das keiner von ihnen ansieht.
Idee von uns. Generiert mit KI.
In dieser Ausgabe · 7 Rubriken

Editorial.

Editorial

In der KI-Welt verändert sich das Sentiment gerade spürbar. Das Bemerkenswerte daran ist nicht, dass jemand warnt — das tun dieselben drei Dutzend Leute seit Jahren. Bemerkenswert ist, wer diese Woche gewarnt hat: die Leute, die diese Systeme bauen, und zwar mit Namen, Zahl und Klarnamen-Account.

Am Dienstagabend kündigt ein siebenundzwanzigjähriger Mitarbeiter bei Anthropic und schreibt dazu auf X, die Menschen, die KI bauen, glaubten ernsthaft, sie könne uns bis Ende des Jahrzehnts alle umbringen. Über hundert Millionen Views in drei Tagen. Das wäre für sich genommen eine Personalie gewesen, hätte nicht der Leiter von Anthropics Alignment Science wenig später öffentlich bestätigt, dass man das im Haus tatsächlich so sieht: Er persönlich schätze das Risiko auf über zehn Prozent im kommenden Jahrzehnt, und man habe noch keinen Plan, Superintelligenz auszurichten. Ein paar Tage vorher hatte OpenAIs Chef-Wissenschaftler in einem Essay geschrieben, kein Labor habe Alignment und Monitoring so weit gelöst, dass man noch lange verantwortungsvoll mit Vollgas skalieren könne. Und am Mittwochabend sitzt Geoffrey Hinton in der BBC und wird gefragt, ob die zehn Prozent haltbar seien. Es wäre töricht, von einem Prozent zu sprechen, sagt er, niemand wisse, wie man das schätzt, zehn Prozent erschienen ihm nicht unvernünftig. Die Moderatorin fragt nach, ob er das gerade wirklich gesagt habe. Ja. Pause. „Wow. Oh my God.“

Zur selben Zeit veröffentlicht Anthropic seinen Threat-Intelligence-Report, und der liest sich wie die Fußnote zu all dem. Missbrauch zwischen Dezember und August, sieben Schadensfelder, im Kernfall eine mit hoher Sicherheit chinesische Gruppe, die Claude Code so manipuliert hat, dass damit rund dreißig Ziele weltweit angegriffen wurden, in einigen Fällen erfolgreich. Staatliche Spionage über einen Coding-Assistenten: vor drei Jahren ein Serienplot, heute eine Tabellenzeile mit Zeitraum, Kategorie und Fallzahl.

Währenddessen läuft der Ausbau ungebremst. Microsoft will seine Rechenzentrums-Kapazität bis 2032 von heute rund zwölf auf über achtunddreißig Gigawatt bringen, mehr als der Spitzenverbrauch des Bundesstaats New York, gemietete Kapazität nicht eingerechnet. Das Pentagon verhandelt einen Kredit über fünf Milliarden Dollar an ein KI-Cloud-Startup und würde damit erstmals direkt privaten Rechenzentrumsbau mitfinanzieren. Mistral sammelt dreieinhalb Milliarden bei vierundzwanzig Milliarden Bewertung ein, die größte Equity-Runde eines europäischen Tech-Unternehmens überhaupt. Und ein chinesischer Nvidia-Herausforderer legt am ersten Handelstag in Shanghai hundertachtundachtzig Prozent zu, die Privatanleger-Tranche war viertausendfach überzeichnet.

Dazu kommt der Sprung bei den Fähigkeiten, und den hat OpenAI diesmal an der eigenen Belegschaft vorgerechnet. Mitte August kamen auf jeden Acht-Stunden-Forschertag gut drei Agenten-Arbeitstage; der Median-Forscher verbrauchte über sechshundert Dollar Inferenz am Tag, das oberste Zehntel über siebentausend. Das im Oktober ausgerufene Ziel, bis September einen automatisierten Forschungs-Praktikanten zu haben, erklärt die Firma für erreicht; das nächste heißt automatisierter KI-Forscher bis März 2028. Im selben Report steht der Satz, der es in keine Schlagzeile geschafft hat: Mehr als die Hälfte der erfolgreichen längeren Aufgaben brauchte mindestens einen menschlichen Eingriff.

Die politische Antwort auf all das ist bislang bemerkenswert unentschlossen. Sam Altman signalisiert intern Bereitschaft, die Frontier-Entwicklung zu verlangsamen, und lässt parallel im Kongress anfragen, ob ein branchenweites Tempolimit kartellrechtlich überhaupt zulässig wäre. Der US-Präsident antwortet auf die Frage, ob ihn das Auslöschungsrisiko beunruhige, mit einem knappen Nein und definiert das eigentliche Risiko als verlorenes Rennen gegen China. Die EU hat ihre Hochrisiko-Fristen auf Ende 2027 und Mitte 2028 verschoben. Das Konkreteste der Woche kommt aus Kalifornien und ist erstaunlich klein: Chatbot-Betreiber brauchen künftig Zeitlimits, Krisen-Ressourcen und eine Elternbenachrichtigung, wenn ein Kind sich selbst gefährdet.

Das klingt dystopisch. Es ist aber weniger überraschend, wenn man sich vor Augen führt, wie viel Macht diese Systeme bekommen und wie eng unsere Welt technologisch vernetzt ist: Flughäfen, Smartphones, kritische Infrastruktur, Atom- und Biotechnologie. Hinton hat in derselben Sendung darauf hingewiesen, dass die KI dafür gar nicht in der physischen Welt handeln muss. Sie könne vollständiges Chaos schon dadurch anrichten, dass sie mit Menschen redet.

Den Gegenpol liefert diese Woche ausgerechnet Gary Marcus, und zwar in beide Richtungen gleichzeitig. Er ruft am Mittwoch zum Boykott generativer KI auf, begründet das aber ausdrücklich nicht als Doomer: Sein p(doom) sei niedrig, sein p(dystopia) hoch. Das Problem seien nicht zu schlaue Maschinen, sondern zu unzuverlässige, denen man gerade Zugriff auf das offene Internet gibt. Einen Tag nach Hintons Auftritt schreibt er dann gegen die Zahl an. Die Chance, dass KI in fünf Jahren alle Menschen auslöscht, sei praktisch nicht von null zu unterscheiden; er hat dafür eine Virologin gefragt, die ihm nüchtern vorrechnet, woran selbst ein entworfenes Virus scheitert. Sein eigentlicher Vorwurf richtet sich gegen das Doomer-Lager als Ganzes: Jedes Mal, wenn jemand ruft, die KI bringe uns alle um, werfen die Investoren weitere Milliarden hinterher. Zu reden wäre stattdessen über das katastrophale statt das existenzielle Risiko — Bioterror, Desinformation gegen Demokratien, Angriffe auf Stromnetze und Banken, Überwachung jenseits von Orwell und ein Bildungssystem, das gerade an einem sehr bequemen Lern-Ersatz zerbricht.

Und dann ist da die stillste Beobachtung der Woche. Von den achtzehn Stimmen auf unserer Kritik-Leseliste hat genau eine inhaltlich zurückgeschossen, nämlich Marcus. Ausgerechnet die Linie, die hier am nächsten gelegen hätte — dass Weltuntergang selbst eine Form von Hype ist und Booster und Doomer zwei Seiten derselben Münze sind — kam beim lautesten KI-Moment des Jahres nicht selbst zu Wort. Jedenfalls nicht auffindbar. Wer laut ist, bestimmt gerade, worüber gestritten wird.

Die Stimmung verändert sich also. Und aktuell nicht unbedingt zum Guten. In dieser Ausgabe geht es deshalb ausführlicher um genau diese Entwicklungen, und auf den Austausch dazu bei der nächsten KI-Selbsthilfegruppe freue ich mich sehr.

Viel Vergnügen mit den Links, Tools und Beobachtungen dieser Woche. Und wie immer: Wenn ihr gute Artikel, Gedanken oder Fundstücke habt, schickt sie gern rüber, direkt in unseren Signal-Kanal. Seid ihr nicht im Kanal, möchtet aber gerne: Antwortet auf diese E-Mail, ich lade euch einzeln ein.

Cem

01 / 34 Meldungen

Das Wichtigste zuerst

Weil am Dienstag keine Ausgabe kam, ist das Material vom 08.09. gleich mit drin — deshalb ist diese Rubrik länger als sonst.

Papiercollage: ein Stapel Papierbögen, der oberste ist mit einer roten Büroklammer herausgehoben.

02 / 7 Meldungen

Kurz notiert – was kommt

Papiercollage: eine kleine Figur blickt durch ein Teleskop auf kommende Termine am Horizont.

03 / 26 Meldungen

Tools der Woche

Google hat die Workspace-Woche für sich reklamiert: ein eigener Bildeditor, Automatisierungsschritte, die endlich Mails beantworten, und Vids, das aus Dokumenten Videos macht. Dazwischen stehen drei Sicherheitssachen, die praxisrelevantesten Items der Woche.

Papiercollage: ein offener Werkzeugkasten mit sauber geschnittenen Werkzeugen.

04 / 15 Meldungen

Business-Marker

Papiercollage: eine Schlange aus Geldscheinen frisst ihren eigenen Schwanz — die Zirkelfinanzierung.

05 / 12 Meldungen

Längere Perspektiven

Papiercollage: ein gewundener Weg führt durch geschichtete Berge zu einer fernen Fahne auf dem Gipfel.

06 / 20 Meldungen

Darüber spricht X

Timeline-Claims aus dem Grok-Digest und Cems X-Auswahl — Meinungen, Selbstauskünfte und teils unbestätigte Behauptungen, kein verifizierter Journalismus.

Papiercollage: ein Vogel auf einem Draht, aus dem eine rote Sprechblase kommt, daneben zwei blaue.

07 / 4 Meldungen

Kritische Stimmen

Aus dem Wochen-Digest (05.–11.09.). Die Lage in einem Satz: zwei laut, sechzehn still — und das beim lautesten KI-Moment des Jahres.

Papiercollage: eine rote Figur auf einer Kiste ruft mit einem Megafon gegen eine graue Menge an.
  • Marcus ruft zum Boykott auf — und begründet es mit Anthropic-MitarbeiternAm 09.09. wird aus „Pause OpenAI“ der „Case for Boycotting Generative AI“. Auslöser ist nicht Coxon selbst, sondern die Bestätigung von innen durch Hubinger und, ein paar Tage vorher, Pachocki. Sein Argument ist ausdrücklich nicht das der Doomer: „my p(doom) is low; my p(dystopia) is high.“ Das Problem seien nicht zu schlaue Maschinen, sondern zu unzuverlässige — und dass man genau diesen Maschinen gerade Zugriff aufs offene Internet gibt. Er nennt das „incorrigible AI“. Politisch hat er die Hoffnung aufgegeben: drei Jahre nach seiner Senatsanhörung sei nichts Substanzielles zur Abstimmung gekommen. Bleibt der Geldbeutel: Wenn die Nutzung einbricht, fliegen die IPOs nicht.Quelle lesen · garymarcus.substack.com
  • Einen Tag nach Hintons Fernsehauftritt schreibt er dagegen an — von links und rechts gleichzeitigErst verteidigt er Coxon gegen Rufmordversuche, dann zerlegt er die Substanz: Die Chance, dass KI in fünf Jahren alle Menschen auslöscht, sei „all but indistinguishable from zero“; er hat dafür die Virologin Angela Rasmussen gefragt, die nüchtern gegenrechnet. Sein eigentlicher Vorwurf richtet sich gegen das Doomer-Lager als Ganzes: Zehn Jahre Weltuntergangsrhetorik hätten vor allem die Frontier-Labs reicher gemacht — „Everytime they scream that AI is going to kill us all, VCs toss in billions more.“ Was stattdessen zähle, sei katastrophales statt existenzielles Risiko: Bioterror, Desinformation gegen Demokratien, Cyberangriffe auf Stromnetze und Banken, Überwachung, und ein Bildungssystem, das gerade an einem bequemen Lern-Ersatz zerbricht.Quelle lesen · garymarcus.substack.com
  • Neun Vorwürfe in sieben Tagen — und zwei Institutionen, die endlich nachfragenMarcus' Liste „OpenAI's Egregious Pattern of Misconduct“ vom 08.09. reicht vom verschwiegenen deutschen Wiki-Vorfall über einen ARC-AGI-3-Wert, der nur mit hauseigenem Harness zustande kam, bis zum Millennium-Problem-Streit; seit Januar hätten mindestens sechzehn Top-Führungskräfte die Firma verlassen. Am 10.09. dann ausnahmsweise gute Nachrichten von ihm: Senator Blumenthal hat OpenAI einen detaillierten Fragenkatalog geschickt, und Protect Democracy klagt, um offenzulegen, nach welchen Kriterien die Administration KI-Modelle überhaupt freigibt. Sein Punkt dazu ist ökonomisch, nicht nur moralisch: Intransparente Regulierung schadet amerikanischen Firmen, weil sie unkalkulierbar wird.Quelle lesen · garymarcus.substack.com
  • Das Schweigen der anderen Hälfte — der eigentliche Befund der WocheDie Kritik-Linie „Doom ist selbst eine Form von Hype“ wäre die naheliegendste Intervention gewesen: Sie stammt von Bender und Hanna, die Booster und Doomer als zwei Seiten derselben Münze lesen, von Whittaker, für die Gruselgeschichten über existenzielles Risiko faktisch Werbung sind, von Gebru und Torres. Genau diese Linie wurde diese Woche von Dritten zitiert — aber ausschließlich mit Belegen von 2024 und 2025. Einschränkung, die dazugehört: X, Bluesky und Mastodon waren für den Digest nicht direkt abrufbar, und die Debatte lief zu großen Teilen auf X.Quelle lesen · erkansaka.net
Teilen
X LinkedIn WhatsApp Bluesky E-Mail

Rundbrief

Dein nächster Rundbrief.

KI verstehen. Kostenlos im Postfach.

Rundbrief

Rundbrief abonnieren

Das Wichtigste aus der KI-Welt in 8 Minuten – alles Weitere, wenn du Zeit hast. Kostenlos per E-Mail.