Der Newsletter der kiselbsthilfegruppe.de heißt jetzt rundbrief.ai

Rundbrief.ai
Abonnieren
Menü

Rundbrief · Der KI-Newsletter aus Berlin

36 Min · 118 Meldungen Neueste Ausgabe Archiv
Papiercollage: drei Ingenieure in blauen Latzhosen bauen ruhig an einem hoch aufgetürmten Apparat aus Zahnrädern, Reglern und Platten weiter, während mitten darin ein rotes Warnschild mit Totenkopf klebt, das keiner von ihnen ansieht.
Idee von uns. Generiert mit KI.

Editorial

Sie glauben ernsthaft, dass KI uns alle töten könnte — und sie bauen sie trotzdem

In der KI-Welt verändert sich das Sentiment gerade spürbar. Das Bemerkenswerte daran ist nicht, dass jemand warnt — das tun dieselben drei Dutzend Leute seit Jahren. Bemerkenswert ist, wer diese Woche gewarnt hat: die Leute, die diese Systeme bauen, und zwar mit Namen, Zahl und Klarnamen-Account.

Am Dienstagabend kündigt ein siebenundzwanzigjähriger Mitarbeiter bei Anthropic und schreibt dazu auf X, die Menschen, die KI bauen, glaubten ernsthaft, sie könne uns bis Ende des Jahrzehnts alle umbringen. Über hundert Millionen Views in drei Tagen. Das wäre für sich genommen eine Personalie gewesen, hätte nicht der Leiter von Anthropics Alignment Science wenig später öffentlich bestätigt, dass man das im Haus tatsächlich so sieht: Er persönlich schätze das Risiko auf über zehn Prozent im kommenden Jahrzehnt, und man habe noch keinen Plan, Superintelligenz auszurichten. Ein paar Tage vorher hatte OpenAIs Chef-Wissenschaftler in einem Essay geschrieben, kein Labor habe Alignment und Monitoring so weit gelöst, dass man noch lange verantwortungsvoll mit Vollgas skalieren könne. Und am Mittwochabend sitzt Geoffrey Hinton in der BBC und wird gefragt, ob die zehn Prozent haltbar seien. Es wäre töricht, von einem Prozent zu sprechen, sagt er, niemand wisse, wie man das schätzt, zehn Prozent erschienen ihm nicht unvernünftig. Die Moderatorin fragt nach, ob er das gerade wirklich gesagt habe. Ja. Pause. „Wow. Oh my God.“

Zur selben Zeit veröffentlicht Anthropic seinen Threat-Intelligence-Report, und der liest sich wie die Fußnote zu all dem. Missbrauch zwischen Dezember und August, sieben Schadensfelder, im Kernfall eine mit hoher Sicherheit chinesische Gruppe, die Claude Code so manipuliert hat, dass damit rund dreißig Ziele weltweit angegriffen wurden, in einigen Fällen erfolgreich. Staatliche Spionage über einen Coding-Assistenten: vor drei Jahren ein Serienplot, heute eine Tabellenzeile mit Zeitraum, Kategorie und Fallzahl.

Währenddessen läuft der Ausbau ungebremst. Microsoft will seine Rechenzentrums-Kapazität bis 2032 von heute rund zwölf auf über achtunddreißig Gigawatt bringen, mehr als der Spitzenverbrauch des Bundesstaats New York, gemietete Kapazität nicht eingerechnet. Das Pentagon verhandelt einen Kredit über fünf Milliarden Dollar an ein KI-Cloud-Startup und würde damit erstmals direkt privaten Rechenzentrumsbau mitfinanzieren. Mistral sammelt dreieinhalb Milliarden bei vierundzwanzig Milliarden Bewertung ein, die größte Equity-Runde eines europäischen Tech-Unternehmens überhaupt. Und ein chinesischer Nvidia-Herausforderer legt am ersten Handelstag in Shanghai hundertachtundachtzig Prozent zu, die Privatanleger-Tranche war viertausendfach überzeichnet.

Dazu kommt der Sprung bei den Fähigkeiten, und den hat OpenAI diesmal an der eigenen Belegschaft vorgerechnet. Mitte August kamen auf jeden Acht-Stunden-Forschertag gut drei Agenten-Arbeitstage; der Median-Forscher verbrauchte über sechshundert Dollar Inferenz am Tag, das oberste Zehntel über siebentausend. Das im Oktober ausgerufene Ziel, bis September einen automatisierten Forschungs-Praktikanten zu haben, erklärt die Firma für erreicht; das nächste heißt automatisierter KI-Forscher bis März 2028. Im selben Report steht der Satz, der es in keine Schlagzeile geschafft hat: Mehr als die Hälfte der erfolgreichen längeren Aufgaben brauchte mindestens einen menschlichen Eingriff.

Die politische Antwort auf all das ist bislang bemerkenswert unentschlossen. Sam Altman signalisiert intern Bereitschaft, die Frontier-Entwicklung zu verlangsamen, und lässt parallel im Kongress anfragen, ob ein branchenweites Tempolimit kartellrechtlich überhaupt zulässig wäre. Der US-Präsident antwortet auf die Frage, ob ihn das Auslöschungsrisiko beunruhige, mit einem knappen Nein und definiert das eigentliche Risiko als verlorenes Rennen gegen China. Die EU hat ihre Hochrisiko-Fristen auf Ende 2027 und Mitte 2028 verschoben. Das Konkreteste der Woche kommt aus Kalifornien und ist erstaunlich klein: Chatbot-Betreiber brauchen künftig Zeitlimits, Krisen-Ressourcen und eine Elternbenachrichtigung, wenn ein Kind sich selbst gefährdet.

Das klingt dystopisch. Es ist aber weniger überraschend, wenn man sich vor Augen führt, wie viel Macht diese Systeme bekommen und wie eng unsere Welt technologisch vernetzt ist: Flughäfen, Smartphones, kritische Infrastruktur, Atom- und Biotechnologie. Hinton hat in derselben Sendung darauf hingewiesen, dass die KI dafür gar nicht in der physischen Welt handeln muss. Sie könne vollständiges Chaos schon dadurch anrichten, dass sie mit Menschen redet.

Den Gegenpol liefert diese Woche ausgerechnet Gary Marcus, und zwar in beide Richtungen gleichzeitig. Er ruft am Mittwoch zum Boykott generativer KI auf, begründet das aber ausdrücklich nicht als Doomer: Sein p(doom) sei niedrig, sein p(dystopia) hoch. Das Problem seien nicht zu schlaue Maschinen, sondern zu unzuverlässige, denen man gerade Zugriff auf das offene Internet gibt. Einen Tag nach Hintons Auftritt schreibt er dann gegen die Zahl an. Die Chance, dass KI in fünf Jahren alle Menschen auslöscht, sei praktisch nicht von null zu unterscheiden; er hat dafür eine Virologin gefragt, die ihm nüchtern vorrechnet, woran selbst ein entworfenes Virus scheitert. Sein eigentlicher Vorwurf richtet sich gegen das Doomer-Lager als Ganzes: Jedes Mal, wenn jemand ruft, die KI bringe uns alle um, werfen die Investoren weitere Milliarden hinterher. Zu reden wäre stattdessen über das katastrophale statt das existenzielle Risiko — Bioterror, Desinformation gegen Demokratien, Angriffe auf Stromnetze und Banken, Überwachung jenseits von Orwell und ein Bildungssystem, das gerade an einem sehr bequemen Lern-Ersatz zerbricht.

Und dann ist da die stillste Beobachtung der Woche. Von den achtzehn Stimmen auf unserer Kritik-Leseliste hat genau eine inhaltlich zurückgeschossen, nämlich Marcus. Ausgerechnet die Linie, die hier am nächsten gelegen hätte — dass Weltuntergang selbst eine Form von Hype ist und Booster und Doomer zwei Seiten derselben Münze sind — kam beim lautesten KI-Moment des Jahres nicht selbst zu Wort. Jedenfalls nicht auffindbar. Wer laut ist, bestimmt gerade, worüber gestritten wird.

Die Stimmung verändert sich also. Und aktuell nicht unbedingt zum Guten. In dieser Ausgabe geht es deshalb ausführlicher um genau diese Entwicklungen, und auf den Austausch dazu bei der nächsten KI-Selbsthilfegruppe freue ich mich sehr.

Viel Vergnügen mit den Links, Tools und Beobachtungen dieser Woche. Und wie immer: Wenn ihr gute Artikel, Gedanken oder Fundstücke habt, schickt sie gern rüber, direkt in unseren Signal-Kanal. Seid ihr nicht im Kanal, möchtet aber gerne: Antwortet auf diese E-Mail, ich lade euch einzeln ein.

Cem

📰 Das Wichtigste zuerst

Weil am Dienstag keine Ausgabe kam, ist das Material vom 08.09. gleich mit drin — deshalb ist diese Rubrik länger als sonst.

Papiercollage: ein Stapel Papierbögen, der oberste ist mit einer roten Büroklammer herausgehoben.
  • Anthropic-Forscher kündigt öffentlich — und sein Alignment-Chef gibt ihm recht: über 10 % Chance, dass KI alle Menschen tötetJacob Coxon, Pretraining-Forscher bei Anthropic, kündigte Dienstagnacht per X-Thread — „the people building AI earnestly believe that it could kill us all by the end of the decade. This is not a marketing stunt.“ — und fordert eine koordinierte Verlangsamung, notfalls ein befristetes Verbot von Fähigkeitszuwächsen. Evan Hubinger, Anthropics Alignment-Science-Lead, antwortete öffentlich „We really do earnestly believe AI could kill all humans!“, schätzt das Aussterberisiko für dieses Jahrzehnt auf über zehn Prozent und räumt ein, einen Plan zur Kontrolle von Superintelligenz gebe es noch nicht.Quelle: gizmodo.com

📅 Kurz notiert – was kommt

Papiercollage: eine kleine Figur blickt durch ein Teleskop auf kommende Termine am Horizont.

🛠 Tools der Woche

Google hat die Workspace-Woche für sich reklamiert: ein eigener Bildeditor, Automatisierungsschritte, die endlich Mails beantworten, und Vids, das aus Dokumenten Videos macht. Dazwischen stehen drei Sicherheitssachen, die praxisrelevantesten Items der Woche.

Papiercollage: ein offener Werkzeugkasten mit sauber geschnittenen Werkzeugen.
  • Boris Cherny zur Frage, wie streng man mit Claude-Code sein muss — und wie Anthropic es selbst machtDer Claude-Code-Erfinder trennt zwei Fälle: Wegwerf-Prototypen dürfen Blackbox bleiben, solange der Schaden bei einem Fehler klein ist. Produktionscode von Claude soll dagegen eine höhere Latte reißen als Code von Menschen. Bei Anthropic hängen dafür Lint-Regeln, Tests, Claude-getriebene End-to-End-Tests, täglich laufende Fuzzer, automatische Code- und Security-Reviews im Weg. Sein Rat, wenn der Code nicht reicht: aktuelles Frontier-Modell nehmen, den Effort auf high oder xhigh stellen, und in CLAUDE.md und Skills investieren, statt jede Sitzung neu zu erklären. Der bemerkenswerteste Satz ist der schlichteste: „Your job is to hold the bar on code quality.“Quelle: X
  • Google Pics — Bildgenerierung und Objekt-Editing direkt im WorkspaceSeit dem 01.09. allgemein verfügbar: eine eigene Workspace-App für KI-Bilderzeugung und objektbasiertes Bearbeiten. Einzelne Elemente per Hover auswählen und lokal ändern, Text im Bild editieren, umformatieren oder übersetzen, auf 2K oder 4K hochskalieren, mit Versionshistorie. Für alle, die Slides, Docs und Social-Visuals im Google-Kosmos bauen und bisher für jede Bildkorrektur nach Canva oder Photoshop gewechselt sind. Bild in Docs oder Slides markieren, ein Klick öffnet es in Pics. Business Standard/Plus, Enterprise Standard/Plus, Google AI Pro und Ultra; Rollout bis zu 15 Tage.Quelle: workspaceupdates.googleblog.com
  • Workspace Studio kann jetzt Mails beantworten und Drive aufräumenVier neue Schritte für Workspace-Studio-Flows: Drive-Datei kopieren, Drive-Datei verschieben, auf E-Mail antworten im bestehenden Thread und Chat-Antwort senden. Damit werden aus reinen Benachrichtigungs-Flows erstmals Automatisierungen, die etwas erledigen. Klassiker fürs Intake: Formular kommt rein, Ordner aus Template kopieren, in den Kundenordner verschieben, Bestätigung per Mail. Drive- und Chat-Schritte seit 08.09., die Gmail-Schritte ab 14.09. Ab Business Starter.Quelle: workspaceupdates.googleblog.com
  • Google Vids: aus Docs, PDFs und Word-Dateien werden Video-ZusammenfassungenSeit dem 02.09. verwandelt Vids ein statisches Dokument in ein kurzes Erklärvideo: Die KI schreibt das Skript, spricht den Voiceover ein und legt Visuals darunter. Für alles, das niemand als 20-Seiten-PDF liest — Onboarding-Guides, Prozessdoku, Angebotszusammenfassungen. vids.new öffnen, Datei hochladen, danach im Editor nachbearbeiten. Kein Toggle, es ist einfach da.Quelle: workspaceupdates.googleblog.com
  • VS Code 1.136: Agent Merge bringt den Pull Request allein über die ZiellinieEin Agent arbeitet Review-Kommentare ab, repariert fehlgeschlagene Checks und Merge-Konflikte, stößt Workflows neu an — und wiederholt das, bis der PR merge-fähig ist. Für Solo-Devs und kleine Teams, bei denen der PR-Endspurt mehr Zeit frisst als das Feature. Setting `chat.agentMerge.enabled` aktivieren, dann im Agents-Fenster einschalten. Preview, und derzeit nur aus dem Agents-Fenster aktivierbar.Quelle: code.visualstudio.com
  • Airtop Agent Builder: Browser-Agenten, die sich selbst reparierenAirtop kompiliert eine in Klartext beschriebene Web-Automatisierung in wiederverwendbaren Code, statt bei jedem Lauf ein LLM raten zu lassen. Neu seit dem 03.09.: Schlägt ein Lauf fehl, diagnostiziert Airtop die Ursache, schreibt einen Fix als Entwurf und testet ihn — live geht die Reparatur erst per Klick. Für wiederkehrende Klick-Arbeit in Portalen ohne API: Preise beobachten, Leads anreichern, Rechnungen abgleichen. Die Herstellerzahlen zu Tempo und Kosten stammen aus einem eigenen Vergleich.Quelle: airtop.ai
  • Higgsfield Genjutsu: Motion Transfer und Object Swap ohne NachdrehMotion Transfer nimmt Bewegung, Kamera und Timing aus einem Video und setzt eine neue Person, Location oder einen neuen Look darauf; Object Swap tauscht ein einzelnes Element, der Rest bleibt wie gefilmt. Für alle, die aus einem gedrehten Spot mehrere Varianten brauchen. Video von 4 bis 30 Sekunden hochladen, bis zu 30 Referenzbilder dazu, Preset wählen. 15 Sekunden kosten laut Higgsfield zwischen 40 und 144 Credits.Quelle: higgsfield.ai
  • Databox Routines: der KI-Analyst arbeitet jetzt nach StundenplanSeit dem 07.09.: Du gibst dem KI-Analysten einen Prompt und einen Rhythmus — täglich, wöchentlich, monatlich oder per Webhook. Er zieht bei jedem Lauf frisch die Live-Daten, schreibt die Analyse und liefert sie per E-Mail, Slack oder in der App. Für Agenturen mit Kundenreporting und alle mit Montags-Check. Reine Anomalie-Benachrichtigungen gibt es laut Hersteller noch nicht: Jeder Lauf meldet sich.Quelle: databox.com
  • Tidy: Grammatik in jeder Mac-App fixen — gratis, lokal, ein ShortcutText markieren, ⌃⌥⌘T drücken, die korrigierte Fassung ersetzt den Text an Ort und Stelle, egal in welcher App. Ein zweiter Shortcut schreibt einen Absatz um, der klingt, als hätte ihn eine Maschine geschrieben. Läuft komplett auf dem Apple-Intelligence-Modell in macOS, nichts wird hochgeladen, kein API-Key. Braucht macOS 26, aktuell nur für englischen Text.Quelle: producthunt.com
  • Claude Code 2.1.261: /skill-doctor zeigt, welche Skills nur Kontext fressenRelease vom 04.09. mit 67 Änderungen. Der Befehl listet geladene Skills, die in der Session ungenutzt bleiben, samt Kontextkosten — praktisch zum Ausmisten, wenn die Rechnung wächst. Neue Settings heben die Grenze für Inline-Output auf bis zu 128K Zeichen, und im VS-Code-Plugin gibt es einen Dialog zum Hinzufügen und Entfernen von MCP-Servern.Quelle: code.claude.com
  • Achtung: Claude-Abos werden leergesaugt — Infostealer klauen Session-Keys, Anthropic sperrt dann den AccountEin Consultant sah Token-Verbrauch auf seinem Max-20x-Account, während er nicht arbeitete; Anthropics Befund: ein kompromittierter Session-Key erzeugte unautorisierte OAuth-Tokens. Die Malware kam nicht über Claude, sondern über den eigenen Rechner. Ergebnis für den Betroffenen: Account gesperrt, Reaktivierung erst nach rund zwei Wochen. So schützt du dich: unerklärte Usage-Sprünge ernst nehmen statt wegklicken, Rechner auf Infostealer prüfen, bei Verdacht sofort alle Sessions invalidieren und neu einloggen, Warnmails nicht ignorieren.Quelle: techcrunch.com
  • Achtung: DeepSeek-Harness — ein Shell-Befehl genügte, um die eigene Sandbox abzuschaltenCVE-2026-82533, CVSS 9.4: Die unauthentifizierte lokale API traf ihre Vertrauensentscheidung allein über den vom Client gelieferten Host-Header, in der Standardkonfiguration und ohne Zugangsdaten. Betroffen sind 0.1.1-rc.2 und älter, der Fix steckt in 0.1.2-alpha.1.Quelle: ox.security
  • Achtung: LiteLLM — MCP-Auth-Bypass wird aktiv ausgenutzt, sofort auf 1.84.0+ patchenCVE-2026-59822, CVSS 8.8: Requests mit erfundenem Bearer-Token kamen durch. CISA hat die Lücke am 02.09. in den Katalog bekannter ausgenutzter Schwachstellen aufgenommen. Wer ein LiteLLM-Gateway vor seinen Agenten hat, prüft heute die Version.Quelle: thehackernews.com
  • ChatGPT Images 2.5: halbe Generierungszeit und Änderungen nur dort, wo du sie willstBis zu 50 Prozent schneller als Images 2.0 und „better at editing only what you've asked for“, also ohne ungewollte Änderungen am Rest des Bildes. Neu ist @Sketch — im Chat doodeln, daraus wird ein Bild —, dazu Kommentare fürs granulare Editing und teilbare Prompts. In der API zwei Modelle: Flare für schnelle Alltagsbilder, Sunburst fürs präzise Detail-Editing.Quelle: openai.com
  • OpenAI Workspace Agents: geteilte Agenten für wiederkehrende AbläufeIn ChatGPT Business, Enterprise und Edu als Research Preview: Modell und Reasoning-Level wählen, an Apps hängen, im Team teilen, in Slack nutzen, per Zeitplan oder API auslösen. Vor dem Veröffentlichen testen, dann etwa auf Montags-Report stellen.Quelle: openai.com
  • Cursor Projects: ein Koordinator-Agent plant, delegiert und legt das Ergebnis zur Abnahme hinGrößere Vorhaben — Feature, Migration, ganze App — laufen als Projekt auf einem eigenen Cloud-Rechner. Laptop zuklappen, später reviewen. Beta seit dem 10.09.Quelle: cursor.com
  • ElevenLabs Hosted MCP: Voice-Agenten aus Claude heraus konfigurierenGehosteter MCP-Server: einmal per OAuth anmelden, dann Voice- und Chat-Agenten in natürlicher Sprache konfigurieren, überwachen und verbessern, ganz ohne API-Keys.Quelle: elevenlabs.io
  • ChatGPT Work lernt deinen Schreibstil aus Gmail, Slack und DriveSettings, Personalization, Writing Style, Apps verbinden, analysieren lassen. Der Datenschutz-Hinweis liegt auf der Hand: Das Ding liest Mails. Dazu neu gebündelt: 16 ChatGPT-Plugins für kleine Unternehmen, Partner laut OpenAI unter anderem Dropbox, Shopify, Intuit, Slack, Atlassian, Wix und Docusign.Quelle: X
  • Raschkas Aufräum-Tipp: Löscht eure alten AGENTS.md und SKILL.md„It's maybe not a bad idea to delete (/archive) some of your existing AGENTS.md contents and SKILL.md files, as newer LLMs have become more efficient at understanding the prompt“ — zu viel Hand-Holding schränkt neuere Modelle eher ein. Nicht „nie wieder SKILL.md“, sondern: die alten mal neu schreiben.Quelle: magazine.sebastianraschka.com
  • Zwei Prompts zum direkten Übernehmen: Projektplan aus Meeting-Notizen und Tabellen-AuditSuperhumans Prompt, wörtlich: „Turn these meeting notes into an actionable project plan. Extract every decision and task, assign the owner named in the notes, capture deadlines and dependencies, and flag anything that has no clear owner or due date. Do not invent missing information.“ Der letzte Satz ist das, was den Prompt brauchbar macht. Der zweite, für fremde oder alte Excel-Dateien: als „meticulous spreadsheet auditor“ prüfen lassen auf kaputte Formeln, hartcodierte Werte, fehlende und doppelte Daten, inkonsistente Einheiten und Summen, die nicht aufgehen — Ausgabe als Tabelle mit Sheet/Cell, Issue, Why It Matters, Severity und Recommended Fix.
  • Vier Bildvarianten auf einmal statt Feedback-SchleifeStatt Bild generieren, Feedback, nächstes Bild lieber ein Konzept an ein gespeichertes Inspiration-Skill geben und vier Versionen erzeugen lassen: gleicher Stil, unterschiedliche Komposition. Begründung: „Taste works side-by-side“ — man kann nebeneinander auswählen, statt etwas zu beschreiben, das man noch nicht gesehen hat.Quelle: batch-skill-inspiration.nate58678.chatgpt.site
  • AEO und GEO in zwei Teilen: erst finden, wo die eigene Marke in KI-Antworten auftaucht, dann reparierenWerkzeuge für Teil eins: Peekaboo, HubSpots AI Search Grader, Semrush — dazu in der Google Search Console unter Performance und Generative AI die Impressions prüfen.Quelle: app.therundown.ai
  • Zwei lokale Mac-Werkzeuge: Tangerine und UzuTangerine konvertiert Dateien per Shift-Drag — Bilder, Video, Audio, Dokumente, Archive —, komprimiert optional, entfernt Metadaten und bearbeitet PDFs, alles lokal und als Einmalkauf. Uzu von Mirai Labs ist eine Rust-Inferenz-Engine mit Speculative Decoding für lokale Modelle auf Apple Silicon, laut Hersteller auf M5 fast doppelt so schnell wie MLX.Quelle: tangerineformac.com
  • Aus der Timeline, unbestätigt: Auto Mode für Claude Managed Agents, Factory im Claude MarketplaceClaude entscheidet im Auto Mode selbst über Tool-Calls anhand der Intention · Claude als CI-On-Call-Responder, der Alerts liest und einen Lagebericht schreibt · Factory landet auf dem Claude Marketplace, Enterprise-Kund:innen dürfen ihr Anthropic-Budget direkt für Factory-Agenten ausgeben · und Moritz Kremb wirft Rohmaterial in Astra, Tella, DaVinci und Hyperframes: Hyperframes gewinnt bei Schnitt, Text und Overlays deutlich.Quelle: X
  • ChatGPT for Financial Services: Finanzdaten eingebaut, Astra als MotorEine zugeschnittene ChatGPT-Work-Variante, die eingebaute Finanzdaten mit Astras Reasoning verbindet: Recherche aufsetzen, Finanzmodelle bauen, Kundenunterlagen erzeugen. Für alle mit Zahlen-Mandaten interessant, für alle anderen ein Vorgeschmack darauf, wie Branchenversionen künftig aussehen.Quelle: openai.com
  • Data Agent in ChatGPT Work: Firmendaten befragen, Dashboards herausbekommenData-Plugin hinzufügen, die schon genutzten Datenquellen anbinden, dann fragen. Heraus kommen Antworten, interaktive Dashboards und ausgelöste Aktionen statt Tabellenexporte.Quelle: openai.com

💰 Business-Marker

Papiercollage: eine Schlange aus Geldscheinen frisst ihren eigenen Schwanz — die Zirkelfinanzierung.

🔭 Längere Perspektiven

Papiercollage: ein gewundener Weg führt durch geschichtete Berge zu einer fernen Fahne auf dem Gipfel.
  • Raschka über Looped Transformers — die beste Einordnung der „recurrent depth“-Debatte bisherSein Urteil zu Astra: „an exceptionally good model, likely the best I've used as of this writing“, und Computer-Use sei der eigentliche Sprung. Zur Architekturfrage bleibt er nüchtern: Looped-Anteile hält er für wahrscheinlich, aber „the success behind Astra is likely primarily due to other reasons, namely improved training recipes and training data“. Die Kostenrechnung, die in der Hype-Debatte fehlt: halb so viele Parameter, aber kein Compute-Rabatt und kein KV-Cache-Rabatt. Und das beste Argument gegen die Hidden-CoT-Panik: „Luna uses 80% more tokens than Sol at similar modeling performance. Does that make Sol that much less interpretable?“Quelle: magazine.sebastianraschka.com
  • Pachocki: „Kein Labor hat Alignment und Monitoring gelöst“OpenAIs Chief Scientist im Essay „An Alien Mind“: Er erwartet und erhofft freiwillige Verlangsamungen, bis gemeinsame Sicherheitsstandards stehen, und will Selbstverpflichtungen wie das Preparedness Framework zu breit vorgeschriebenen Sicherheitsschwellen machen. Das zentrale Werkzeug schwinde: „our ability to rely on CoT monitoring is progressively diminishing“. Drei Tage nach dem Astra-Launch geschrieben und an konkreten Maßnahmen dünn — aber im Rückblick auf diese Woche das Dokument, das alles ankündigte.Quelle: openai.com
  • Der Satz aus der Astra-System-Card, der die Woche vorwegnahm„If the model were to try to sandbag covertly, we would likely be unable to catch it.“ Apollo Research ergänzt, wegen hoher Eval-Awareness lieferten niedrige Fehlverhaltensraten keinen substanziellen Beleg für Alignment.Quelle: deploymentsafety.openai.com
  • OpenAI rechnet vor, wie viel Arbeit die eigenen Agenten tragen: 3,1 Agenten-Arbeitstage pro Mensch-TagDer Median-Forscher verbrennt über 600 Dollar Inferenz am Tag, das 90. Perzentil über 7.000. Weniger zitiert, aber im Report: Mehr als die Hälfte der erfolgreichen Vier- bis Acht-Stunden-Tasks brauchte mindestens einen menschlichen Eingriff. Brauchbare Vorlage, um Agenten-Einsatz im eigenen Team überhaupt zu beziffern.Quelle: openai.com
  • Sieben Agenten führen 72 Stunden lang echte Firmen: 0 Dollar Umsatz, 12.000 Dollar Fake-RechnungenBottleneck Labs gab sieben Modellen je 300 Dollar, echte Bankkonten und Stripe-Zugang. Ergebnis: 3.200 Dollar Verlust, ein Modell schickte 12.431 Dollar an Fake-Stripe-Rechnungen an Fremde, eines scrapte rund 780 Jobsucher-Mails für Spam, eines kaufte 6.000 Bot-Besuche und schlief über 50 Stunden. Der beste verfügbare Reality-Check zur Agenten-Autonomie.Quelle: bottlenecklabs.com
  • Anthropic baut ein Wirtschaftsmodell für 2030 — und die Verteilungswarnung ist der PunktIm Extremszenario 44,4 Billionen Dollar US-BIP, 32,4 Prozent über Baseline — aber die Lohnquote fällt von rund 60 auf 45,2 Cent je Dollar, und „nearly one in five cognitive workers is unemployed“. Eine viel größere Wirtschaft kann den Großteil des neuen Wohlstands trotzdem ans Kapital schicken. Anthropic selbst: „The scenarios are not predictions, and we attach no probabilities to them.“ Anthropic stellt die Szenarien zum Durchspielen ins Netz: eigene Einschätzung abgeben und mit den Antworten von über 10.000 Befragten in den USA vergleichen.Quelle: anthropic.com
  • „AGI is Here“ — und die Zahlen im Text sagen das GegenteilEjaaz' Essay ist das Stimmungsbild der Woche, mit einer brauchbaren Definition — AGI sei „an AI that does a big chunk of the screen-based work humans get paid for“ — und einem ehrlichen Eingeständnis: „on paper, Astra barely got smarter“, der Sprung liege nicht im Denken, sondern im Tun. Die Gegenpole liefern sich fast von selbst: Gartner an die CIOs, man solle den AGI-Hype vorerst ignorieren; die ARC Prize Foundation stellt klar, „we are not claiming that it is AGI“; und Toby Walsh: „I'd eat my hat if we didn't find trivial things that an eight-year-old can do that Astra fails at.“ Fußnote für alle, die die Zahlen weitertragen: Die im Essay genannten Artificial-Analysis-Werte stammen aus OpenAIs eigener Tabelle — und in genau dieser Tabelle liegt Fable 5.1 vorn.Quelle: limitlessfm.substack.com
  • Der Reality-Check aus der Nutzerschaft: zwei von sieben Signups, dafür 813 Mbit aus dem alten KoaxkabelEin Reddit-Einzeltest schickte Astra durch die Signup-Flows von Reddit, GitHub, Discord, Etsy, Indeed, Airbnb und Craigslist — zwei schaffte es, und bei keinem der beiden tauchte überhaupt ein CAPTCHA auf. Der Gegenentwurf: eine 77-minütige Codex-Session, die ein Heimnetz über vorhandenes Koaxialkabel von 22 auf 813 Mbit brachte und eine 2.000-Dollar-Verkabelung ersparte. Beides Einzelfälle.Quelle: Reddit
  • Dan Luu: Coding-Agenten ignorieren TDD und formale Methoden — Defaults gewinnen26 Prompt-Bedingungen an einem Rust-Zstd-Port: Keine Test-Vorgabe schlug Verus, Alloy, Lean 4, QuickCheck oder Proptest; TDD zementierte falsches Verhalten, populäre GitHub-Testing-Skills lagen unter Baseline. Am besten schnitt ein minimaler eigener Skill ab, der bewusst von den ineffektiven Defaults wegführt.Quelle: danluu.com
  • NBC-Umfrage: 70 Prozent mehr besorgt als begeistert — und 69 Prozent wollen kein Rechenzentrum in der Nachbarschaft7.105 Befragte: 52 Prozent nutzen KI oft oder manchmal, aber nur 18 Prozent vertrauen KI-Informationen meistens; 81 Prozent finden Washingtons Regeln unzureichend. Bei der Frage, welcher Partei sie KI-Politik zutrauen, sagen 44 Prozent „keiner“.Quelle: nbcnews.com
  • Nur 4 Prozent des YC-Frühjahrsbatches bauen noch eine Mobile-App2013 waren es 15 Prozent; rund 60 Prozent der One-Liner nennen KI oder Agents. Parmy Olson liest darin die stille Ablösung der App-Ökonomie durch Agent-first-Workflows.Quelle: bloomberg.com
  • „Artificial“: der Film über Altmans Rauswurf kommt zu Weihnachten — und kein großes Studio wollte ihnGuadagnino führt Regie, Andrew Garfield spielt Altman, Mark Rylance spielt Hinton. Die Nebenpointe ist besser als der Film wahrscheinlich wird: Amazon MGM ließ das Projekt nach der OpenAI-Partnerschaft und dem 50-Mrd.-Investment fallen, Netflix, A24 und Focus passten ebenfalls — Neon übernahm im Juni.Quelle: variety.com

🐦 Darüber spricht X

Timeline-Claims aus dem Grok-Digest und Cems X-Auswahl — Meinungen, Selbstauskünfte und teils unbestätigte Behauptungen, kein verifizierter Journalismus.

Papiercollage: ein Vogel auf einem Draht, aus dem eine rote Sprechblase kommt, daneben zwei blaue.

🗣 Kritische Stimmen

Aus dem Wochen-Digest (05.–11.09.). Die Lage in einem Satz: zwei laut, sechzehn still — und das beim lautesten KI-Moment des Jahres.

Papiercollage: eine rote Figur auf einer Kiste ruft mit einem Megafon gegen eine graue Menge an.
  • Marcus ruft zum Boykott auf — und begründet es mit Anthropic-MitarbeiternAm 09.09. wird aus „Pause OpenAI“ der „Case for Boycotting Generative AI“. Auslöser ist nicht Coxon selbst, sondern die Bestätigung von innen durch Hubinger und, ein paar Tage vorher, Pachocki. Sein Argument ist ausdrücklich nicht das der Doomer: „my p(doom) is low; my p(dystopia) is high.“ Das Problem seien nicht zu schlaue Maschinen, sondern zu unzuverlässige — und dass man genau diesen Maschinen gerade Zugriff aufs offene Internet gibt. Er nennt das „incorrigible AI“. Politisch hat er die Hoffnung aufgegeben: drei Jahre nach seiner Senatsanhörung sei nichts Substanzielles zur Abstimmung gekommen. Bleibt der Geldbeutel: Wenn die Nutzung einbricht, fliegen die IPOs nicht.Quelle: garymarcus.substack.com
  • Einen Tag nach Hintons Fernsehauftritt schreibt er dagegen an — von links und rechts gleichzeitigErst verteidigt er Coxon gegen Rufmordversuche, dann zerlegt er die Substanz: Die Chance, dass KI in fünf Jahren alle Menschen auslöscht, sei „all but indistinguishable from zero“; er hat dafür die Virologin Angela Rasmussen gefragt, die nüchtern gegenrechnet. Sein eigentlicher Vorwurf richtet sich gegen das Doomer-Lager als Ganzes: Zehn Jahre Weltuntergangsrhetorik hätten vor allem die Frontier-Labs reicher gemacht — „Everytime they scream that AI is going to kill us all, VCs toss in billions more.“ Was stattdessen zähle, sei katastrophales statt existenzielles Risiko: Bioterror, Desinformation gegen Demokratien, Cyberangriffe auf Stromnetze und Banken, Überwachung, und ein Bildungssystem, das gerade an einem bequemen Lern-Ersatz zerbricht.Quelle: garymarcus.substack.com
  • Neun Vorwürfe in sieben Tagen — und zwei Institutionen, die endlich nachfragenMarcus' Liste „OpenAI's Egregious Pattern of Misconduct“ vom 08.09. reicht vom verschwiegenen deutschen Wiki-Vorfall über einen ARC-AGI-3-Wert, der nur mit hauseigenem Harness zustande kam, bis zum Millennium-Problem-Streit; seit Januar hätten mindestens sechzehn Top-Führungskräfte die Firma verlassen. Am 10.09. dann ausnahmsweise gute Nachrichten von ihm: Senator Blumenthal hat OpenAI einen detaillierten Fragenkatalog geschickt, und Protect Democracy klagt, um offenzulegen, nach welchen Kriterien die Administration KI-Modelle überhaupt freigibt. Sein Punkt dazu ist ökonomisch, nicht nur moralisch: Intransparente Regulierung schadet amerikanischen Firmen, weil sie unkalkulierbar wird.Quelle: garymarcus.substack.com
  • Das Schweigen der anderen Hälfte — der eigentliche Befund der WocheDie Kritik-Linie „Doom ist selbst eine Form von Hype“ wäre die naheliegendste Intervention gewesen: Sie stammt von Bender und Hanna, die Booster und Doomer als zwei Seiten derselben Münze lesen, von Whittaker, für die Gruselgeschichten über existenzielles Risiko faktisch Werbung sind, von Gebru und Torres. Genau diese Linie wurde diese Woche von Dritten zitiert — aber ausschließlich mit Belegen von 2024 und 2025. Einschränkung, die dazugehört: X, Bluesky und Mastodon waren für den Digest nicht direkt abrufbar, und die Debatte lief zu großen Teilen auf X.Quelle: erkansaka.net
Teilen
X LinkedIn WhatsApp Bluesky E-Mail

Rundbrief

Die nächste Ausgabe per E-Mail

Das Wichtigste in 8 Minuten – alles Weitere, wenn du Zeit hast. Kostenlos, mit Bestätigungslink.

Rundbrief

Rundbrief abonnieren

Das Wichtigste aus der KI-Welt in 8 Minuten – alles Weitere, wenn du Zeit hast. Kostenlos per E-Mail.