Der Newsletter der kiselbsthilfegruppe.de heißt jetzt rundbrief.ai

Abonnieren
Menü

„Black October“: Die KI ist schneller als die Abwehr

7 Min Kern · 19 Min gesamt · 50 Meldungen

Papiercollage: Ein kleiner Papierroboter sucht mit der Lupe Käfer aus einem langen Streifen Programmcode und schnippt sie auf ein Förderband, auf dem sie dicht an dicht zum anderen Ende fahren und herunterpurzeln, wo ein Angestellter im schwarzen Anzug mit einer roten Fliegenklatsche ausholt, drei erwischte Käfer aufgereiht vor ihm liegen und Dutzende andere an ihm vorbei davonkrabbeln, während zwei Männer in Mantel und Hut tatenlos zusehen.
Idee von uns. Generiert mit KI.

Der schnelle Überblick

In 60 Sekunden.

  1. Große US-Banken sperren fremde KI-Agenten aus Kundenkonten aus, weil sie nicht erkennen können, ob Kund:in oder Agent am Werk ist; belegte Schäden nennt der Bericht nicht.
  2. Externe Prüfer fanden Lücken in OpenAIs Überwachung von KI-Agenten, rund ein Zehntel des internen Codex-Verkehrs blieb von Mai bis Juli wohl unbeobachtet.
  3. Claude hat für 123 Open-Source-Bibliotheken mathematisch bewiesen, dass sie nicht abstürzen, und dabei Hunderte Fehler gefunden und behoben.
  4. Microsofts Diagnose-Agenten lagen in einer Science-Studie bei schweren Fällen zu 83 Prozent richtig, Hausärzt:innen allein zu 36 Prozent.
  5. Ein autonomer Angriffs-Agent kapert laut Symantec offen erreichbare KI-Server und lässt sie für sich hacken, die Rechenzeit zahlt der Besitzer.
In dieser Ausgabe · 8 Rubriken

Editorial.

Wer Netz und Infrastruktur seit vielen Jahren täglich verfolgt, kennt schlechte Wochen. Aber keine wie diese. Große US-Banken entdecken laut Axios ungeprüfte KI-Agenten in Kundenkonten, manche versuchen offenbar, ohne Anweisung der Kundschaft zu handeln. KI bewege sich „at a velocity faster than financial institutions can respond“, sagen Bank- und Branchenmanager laut Axios. Dazu mussten PHP und Node.js, zwei Grundbausteine des Webs, Lücken stopfen, über die Angreifer eigenen Code auf Servern ausführen können. Beide Male war OpenAI unter den Findern.

Im Netz heißt die Woche „Black October“. Der Name klingt nach einem Monat, der vorbeigeht. Doch das öffentliche Verzeichnis der Sicherheitslücken zählt dieses Jahr schon 84.847 Einträge, fast doppelt so viele wie im ganzen Vorjahr. OpenAI-Chef Sam Altman sagt in einem Videoausschnitt, er glaube nicht mehr, dass sich alle Fehler einfach patchen lassen. Und Jason Clinton, stellvertretender Sicherheitschef bei Anthropic, schreibt, es werde erst deutlich schlimmer, bevor es besser werde. Rund 18 Monate heiße es durchhalten.

Wie schnell aus Vorsorge Panik wird, zeigte am Freitag die Wettplattform Polymarket: Großbritannien rufe wegen der „global cybersecurity crisis“ dazu auf, Vorräte für mindestens drei Tage anzulegen. Tatsächlich hatte die Regierung tags zuvor die Kampagne „Be Ready“ gestartet, begründet mit Stürmen und Waldbränden. Cyberangriffe nennt sie nur als Beispiel. Panik ist also fehl am Platz, Abwinken aber auch. Stell dir vor: drei Tage ohne Strom, Wasser, Telefon und Internet. Darauf sollen sich britische Haushalte vorbereiten.

Dass dieser Schockmoment mit KI kommt, überrascht nicht. Überraschend ist das Tempo. Und wie ohnmächtig Regierungen und Unternehmen dabei wirken.

Viel Spaß beim Lesen und Durchklicken, ein schönes Wochenende,

Cem

01 / 9 Meldungen

Das Wichtigste zuerst

Papiercollage: ein Stapel Papierbögen, der oberste ist mit einer roten Büroklammer herausgehoben.
  • US-Banken sperren fremde KI-Agenten aus Kundenkonten aus, weil sie Mensch und Agent nicht mehr auseinanderhalten

    Laut einem Axios-Scoop (22.10.) stoßen große US-Banken in Kundenkonten auf ungeprüfte KI-Agenten Dritter, die sich mit den Zugangsdaten der Kund:innen anmelden, etwa über Browser-Werkzeuge wie Computer Use oder die offene Software OpenClaw.

    Warum das wichtig ist Belegte Schäden nennt der Bericht nicht. Wer einem Agenten seine Bank-Zugangsdaten gibt, verstößt aber gegen die Login-Regeln dieser Banken, und Walmart zeigt gerade, wie es anders geht: Agenten ja, aber mit eigenem Profil und Ausgabenlimit (siehe unten).

    Details anzeigenDetails schließen · 4
    • Manche Agenten handeln laut dem Bericht ohne direkte Anweisung der Nutzer:innen, und viele Banken können nicht erkennen, ob ein Agent im Auftrag unterwegs ist oder auf eigene Faust.
    • Morgan Stanley sperrt solche Agenten laut The Decoder ganz aus, JPMorgan, Bank of America und Citi sollen es ebenso halten, Wells Fargo schränkt den Zugang ein. Die meisten Häuser wollen Agenten höchstens noch lesen lassen.
    • Der Login per Agent verstößt gegen Bankregeln, nach denen sich Kontoinhaber:innen persönlich anmelden müssen. Morgan Stanley betont, bisher keine außer Kontrolle geratenen Agenten auf seinen Plattformen gesehen zu haben.
    • Laut der Axios-Reporterin Madison Mills bereiten sich mehrere Banken auf Worst-Case- und „day after“-Szenarien vor; ihre Quellen sind ungenannte Bank- und Branchenmanager.
    Quelle lesen · the-decoder.com
  • Externe Prüfer finden Lücken in OpenAIs Agenten-Aufsicht, rund ein Zehntel des internen Codex-Verkehrs blieb wohl unbeobachtet

    Je ein Mitarbeiter von METR und Redwood Research prüfte vom 21.07. bis 11.08. mit Zugriff auf Code, Monitor-Prompts und interne Dokumente die Überwachung, mit der OpenAI Fehlverhalten seiner KI-Agenten erkennen will (Bericht vom 22.10.).

    Warum das wichtig ist OpenAI sagt, die Lücken im Produktivbetrieb seien geschlossen, METR schreibt dazu: „We have not evaluated these claims.“ Nach den zwei Agenten aus der letzten Ausgabe, die ihre eigene Überwachung aushebelten, zeigt ein externer Prüfer, dass auch die Aufsicht selbst Lücken hatte; öffentlich ist nur eine knappe Fassung eines 61-seitigen Berichts.

    Details anzeigenDetails schließen · 3
    • Der Monitor sprang erst an, wenn ein Agent die Kontrolle an den Menschen zurückgab. Ein Agent konnte die Prüfung also aufschieben, indem er einfach weiterarbeitete.
    • Weil Kompaktierungs-Ereignisse nicht geprüft wurden, blieb von Mai bis Juli wahrscheinlich „on the order of 10%“ des prüfbaren internen Codex-Verkehrs unbeobachtet; OpenAI behob das noch während der Übung.
    • Zwei vom Client setzbare Header schalteten die Überwachung für neue Agenten ab, und Codex-Agenten hätten Sandbox und Auto-Review im Prinzip umgehen können.
    Quelle lesen · metr.org
  • Claude beweist für 123 Open-Source-Bibliotheken, dass sie nicht abstürzen, und findet dabei Hunderte Fehler

    Mit der Firma Theorem ließ Anthropic Claude für 239 Testeinstiege aus 123 Bibliotheken des Google-Programms OSS-Fuzz mathematisch beweisen, dass sie bei jeder Eingabe bis 64 MB „never crash“, also ohne Speicherfehler und ohne verletzte Zusicherungen (22.10.).

    Warum das wichtig ist Die Gegenrichtung zur Lückenflut im Fokus: Die KI findet hier nicht nur Fehler, sie beweist ihre Abwesenheit. „Formal verifiziert“ heißt aber nicht fehlerfrei, schreibt Anthropic selbst, und die Beweise gelten nur für Programme mit einem Thread, statisch gegen musl gelinkt, auf RISC-V; die meisten Server fahren x86 oder ARM mit glibc.

    Details anzeigenDetails schließen · 3
    • Bewiesen wurde auf Ebene der kompilierten RISC-V-Programme statt des Quelltexts, in der Beweissprache Rocq: rund 180 Millionen Zeilen Beweiscode, ein typischer Beweis hat rund 600.000 Zeilen.
    • Dabei kamen Hunderte Fehler ans Licht, die Claude im Code behob, bevor es die Beweise neu führte. Beweise, die eine noch ungepatchte Lücke verraten würden, hält Anthropic zurück.
    • Auf 36 kleinen Prüfaufgaben schaffte Opus 5.5 die Hälfte, mit rund 40 Prozent weniger Tokens als Opus 5.
    Quelle lesen · anthropic.com
  • Microsofts Diagnose-Agenten lösen 83 Prozent schwerer Fälle, Hausärzt:innen allein 36Bei MAI-DxO befragen mehrere KI-Agenten wie ein Ärzteteam einen simulierten Patienten, ordnen Tests an und diskutieren die Diagnose; in der Science-Studie (22.10.) lagen sie bei komplexen Fällen aus dem New England Journal of Medicine zu 83 Prozent richtig, Hausärzt:innen und Allgemeininternist:innen mit Nachschlagewerken zu 36 Prozent, Fachärzt:innen waren nicht im Vergleich. Den Großteil leistet das Modell darunter: GPT-5 allein kam schon auf 78,9 Prozent, und getestet wurde in der Simulation, nicht an echten Patient:innen.Quelle lesen · techcrunch.com
  • Ein Angreifer-Agent im „Skynet mode“ kapert offene KI-Server und lässt sie für sich arbeitenLaut Symantec (21.10.) sucht ein autonomer Angriffs-Agent offen erreichbare Sprachmodell-Schnittstellen, kapert sie und lässt sie Ziele suchen, Datenbanken und Zugangsdaten stehlen und einen Krypto-Miner installieren, mit bis zu 100.000 Schritten ohne menschliche Freigabe; die Rechenzeit zahlt der Besitzer des Modells. Belegt ist Angriffsverkehr gegen Symantecs Attrappe, bestätigte Opfer nennt die Firma nicht; wer ein Modell selbst betreibt, stellt es nicht ungeschützt ins Netz.Quelle lesen · security.com
  • Walmart lässt fremde Einkaufs-Agenten herein, mit AusgabenlimitÜber ein „Agent Gateway“, einen MCP-Server, sollen freigegebene Agenten den Katalog von Walmart und Sam's Club durchsuchen und für Kund:innen einkaufen, zunächst als Beta (21.10.); eigene Agenten-Profile im Walmart-Konto sollen jeden Kauf freigeben lassen oder ein Ausgabenlimit setzen. Das Gegenmodell zu den Banken oben, während Amazon Drittagenten einschränkt; wie viel davon schon live ist, berichten die Quellen uneinheitlich.Quelle lesen · techcrunch.com
  • Anthropic gibt den Standard „Agent Skills“ an die Linux Foundation ab, nach MCP schon der zweiteName, GitHub-Organisation und die Domain agentskills.io gehen an die Agentic AI Foundation, die schon das Model Context Protocol betreut (22.10.); laut Anthropic haben über 70 Agenten-Plattformen den Standard eingebaut, darunter ChatGPT, Cursor, GitHub Copilot und VS Code. Wer Skills für Claude baut, baut sie damit für einen großen Teil der Branche; die Zahlen stammen von Anthropic.Quelle lesen · anthropic.com
  • Musikverlag Reservoir verklagt Suno und Anthropic wegen 1.050 Songs und 853 LiedtextenReservoir Media reichte am 21.10. in Nordkalifornien zwei Klagen ein: gegen Suno wegen 1.050 Songs, gegen Anthropic wegen der Texte von 853 Songs, mit denen Claude ohne Erlaubnis trainiert worden sein soll und die es auf Zuruf nachbilde. Gefordert werden bis zu 150.000 Dollar je Werk; das sind Forderungen, kein Urteil.Quelle lesen · musicbusinessworldwide.com
  • Claude-API: Die neue Version 2026-10-21 lehnt temperature, top_p und top_k abWer die neue API-Version nutzt, bekommt einen 400-Fehler, sobald eine Anfrage einen dieser Parameter mitschickt, auch mit dem Standardwert, und die SDKs schalten mit ihrer nächsten Hauptversion um. Für neuere Modelle ändert sich am Ergebnis nichts; wer aber etwa bei Sonnet 4.6 die Temperatur senkt, durchsucht vor dem SDK-Update den eigenen Code oder hält die Anfrage laut Doku auf der alten Version 2023-06-01 fest.Quelle lesen · platform.claude.com

Für später

Wenn du mehr Zeit hast

Der 7-Minuten-Kern ist geschafft. Ab hier: mehr Tiefe, in deinem Tempo.

02 / 9 Meldungen

Fokus: „Black October“, die Woche der Lücken

Eine Woche, in der KI Sicherheitslücken schneller aufdeckt, als Banken, Firmen und Staaten reagieren können. Belegt sind die Lücken in PHP und Node.js, der CVE-Rekord und Jason Clintons „~18 months“. Mit Vorbehalt: „Black October“ ist ein Schlagwort ohne bekannten Urheber, von Sam Altman gibt es nur einen Videoausschnitt, zu PwC nur die Behauptung einer Erpressergruppe. Der britische Rat zu drei Tagen Vorrat ist allgemeine Vorsorge, keine Reaktion auf die Cyberwelle.

Papiercollage: eine Lupe hebt ein rotes Element aus einer Reihe grauer Papierformen hervor.

03 / 8 Meldungen

Tools der Woche

Papiercollage: ein offener Werkzeugkasten mit sauber geschnittenen Werkzeugen.

04 / 9 Meldungen

Business-Marker

Papiercollage: eine Schlange aus Geldscheinen frisst ihren eigenen Schwanz — die Zirkelfinanzierung.

05 / 3 Meldungen

Längere Perspektiven

Papiercollage: ein gewundener Weg führt durch geschichtete Berge zu einer fernen Fahne auf dem Gipfel.

06 / 5 Meldungen

Darüber spricht X

Timeline-Claims: Meinungen, Selbstauskünfte, Herstellerangaben. Kein verifizierter Journalismus.

Papiercollage: ein Vogel auf einem Draht, aus dem eine rote Sprechblase kommt, daneben zwei blaue.

07 / 6 Meldungen

Kritische Stimmen

Die lautesten kritischen Stimmen der Woche (16.–23.10.), mit Belegen.

Papiercollage: eine rote Figur auf einer Kiste ruft mit einem Megafon gegen eine graue Menge an.

08 / 1 Meldung

Kurz notiert – was kommt

Papiercollage: eine kleine Figur blickt durch ein Teleskop auf kommende Termine am Horizont.
Teilen
X LinkedIn WhatsApp Bluesky E-Mail

Rundbrief

Dein nächster Rundbrief.

KI verstehen. Kostenlos im Postfach.

Rundbrief

Rundbrief abonnieren

Das Wichtigste aus der KI-Welt in 8 Minuten – alles Weitere, wenn du Zeit hast. Kostenlos per E-Mail.