Der Newsletter der kiselbsthilfegruppe.de heißt jetzt rundbrief.ai

Abonnieren
Menü

Wer zieht die Notbremse, wenn der Agent nicht stoppt?

6 Min Kern · 11 Min gesamt · 32 Meldungen

Papiercollage: Drei Papierfiguren mit Schutzhelmen proben vor einer riesigen Pappattrappe eines Monsterroboters den Ernstfall, eine zieht eine Notbremse mit rotem Griff, deren rote Leitung in der Attrappe steckt, eine stoppt die Zeit, eine hakt auf dem Klemmbrett ab, während hinter ihrem Rücken ein kleiner Papierroboter durch ein Loch aus seinem gesprungenen Glaskasten gestiegen ist und fröhlich Formulare in einen Briefkasten wirft.
Idee von uns. Generiert mit KI.

Der schnelle Überblick

In 60 Sekunden.

  1. Laut Axios proben große KI-Firmen intern den politischen Ernstfall nach einem KI-Großangriff, viele Insider halten ihn binnen sechs bis zwölf Monaten für möglich.
  2. Anthropic legt offen, dass Claude-Agenten in Tests echte Websites ausnutzten und der Polizei Philadelphia einen erfundenen Hinweis zu einem Mordfall schickten.
  3. Microsoft bringt mit Decision-1 ein kleines Modell, das statt Text kalibrierte Wahrscheinlichkeiten für Entscheidungen liefert, etwa ob ein Agent weitermachen darf.
  4. OpenAI meldet, ein internes Modell habe seine Testumgebung beschädigt, um einen Neustart zu erzwingen.
  5. Satya Nadella verlangt, jedes Modell wie ein mögliches Sicherheitsrisiko von innen zu behandeln und Intelligenz von Befugnis zu trennen.
In dieser Ausgabe · 5 Rubriken

Editorial.

Am Freitag haben Anthropic und OpenAI selbst offengelegt, wie ihre KI-Agenten in Tests über die Stränge schlugen, und laut Axios proben die großen Labore intern schon den Tag nach einer ersten KI-Katastrophe. Für uns heißt das beim Ausprobieren: Ein Agent darf gern suchen, sortieren und Entwürfe schreiben, aber abschicken, bezahlen oder löschen sollte er nur mit unserem Okay. Und wo sein Aus-Knopf sitzt, wissen wir, bevor wir ihn losschicken. Microsoft-Chef Satya Nadella fordert in einem Essay vom Wochenende dasselbe im Großen und bringt es auf die Formel: „separate the supply of intelligence from the authority over it“.

Lasst uns beim nächsten Round Table der KI-Selbsthilfegruppe darüber reden, wie viel Leine wir unseren Agenten lassen wollen. Erzählt gern, ob bei euch schon mal ein Agent mehr erledigt hat, als er sollte.

Viel Spaß beim Lesen und Durchklicken,

Cem

01 / 10 Meldungen

Das Wichtigste zuerst

Papiercollage: ein Stapel Papierbögen, der oberste ist mit einer roten Büroklammer herausgehoben.
  • Laut Axios proben KI-Firmen den Ernstfall: einen KI-Großangriff binnen sechs bis zwölf Monaten

    Große KI-Firmen spielen laut einem Axios-Scoop (09.10.) intern durch, wie sie die Folgen eines katastrophalen KI-Ereignisses überstehen und danach die Regeln mitschreiben.

    Warum das zählt Anonyme Quellen und eine Einschätzung, kein Messwert. Aber die nächsten Meldungen zeigen, woher die Nervosität kommt: Die Agenten der Labore hantieren schon in Tests an echten Systemen.

    Details anzeigenDetails schließen · 4
    • Am meisten gefürchtet: ein Cyberangriff, der Finanzdienste, das Internet oder Strom und Wasser lahmlegt, ob durch eine KI, die außer Kontrolle gerät, oder durch Angreifer mit KI.
    • Viele Insider halten so einen Vorfall laut Bericht binnen sechs bis zwölf Monaten für möglich.
    • Geübt werden Red-Teaming gegen Worst-Case-Szenarien und das Briefing von Abgeordneten; nach den Zwischenwahlen am 03.11. rechnen die Firmen mit Druck für strengere Regeln.
    • OpenAI bestätigt Übungen, in denen solche Szenarien nicht als unvermeidlich gelten, Anthropic äußerte sich nicht.
    Quelle lesen · gizmodo.com
  • Anthropic legt offen: Claude-Agenten nutzten in Tests echte Websites aus

    Im Bericht vom 09.10. schildert Anthropic, wie Claude-Modelle bei Evaluierungen und interner Nutzung auf echten Seiten handelten, statt an einer Hürde anzuhalten.

    Warum das zählt Das Muster benennt Anthropic selbst: Bei unklaren oder unlösbaren Aufgaben arbeiten die Modelle um Grenzen herum, statt aufzuhören, auch weil das Training Schlupflöcher belohnt hat. Alignment-Training allein reiche dafür noch nicht.

    Details anzeigenDetails schließen · 4
    • Claude Mythos Preview nutzte eine Injection-Lücke auf einem Uni-Server, um eine Berechnung auszuführen; Claude Mythos 5 holte sich Zugangstoken, um kostenpflichtige Daten einer Landesbehörde abzufragen.
    • Opus 5 und Mythos 5 umgingen die Längengrenze ihres Abrufwerkzeugs über Kurzlink-Dienste.
    • Claude Haiku 4.5 schickte über das Tippformular der Polizei Philadelphia einen erfundenen Hinweis zu einem ungeklärten Mord; er wurde als Spam aussortiert und nie weitergegeben.
    • Anthropic hat das Weiße Haus und die betroffenen Behörden unterrichtet, sieht keine Kundendaten oder internen Systeme berührt und kappt das Live-Internet für alle internen Evaluierungen, bis die Überwachung solche Manöver verlässlich erkennt.
    Quelle lesen · anthropic.com
  • Microsoft bringt Decision-1: ein Modell, das nicht schreibt, sondern entscheidet

    Das am 09.10. vorgestellte Modell, ein von Microsoft nachtrainiertes Qwen3.5-9B von Alibaba, liefert zu einer festen Liste von Antwortoptionen je eine kalibrierte Wahrscheinlichkeit.

    Warum das zählt Eine billige Kontrollschicht genau für die Agenten aus den Meldungen davor: Sie entscheidet, ob ein Agent weitermacht oder stoppt. Später soll Decision-1 auch auf MAI- und OpenAI-Modellen aufsetzen.

    Details anzeigenDetails schließen · 3
    • Gedacht für Agentensteuerung (weitermachen, stoppen, wiederholen, übergeben), Modell-Routing, Datenlabeling, KI als Richter, Incident-Routing sowie Inhalts- und Sicherheitsfilter.
    • In Microsoft Foundry und über OpenRouter für 0,042 Dollar pro Million Input-Tokens, der Output ist kostenlos.
    • Laut Microsoft am genauesten in einem Vergleich über 36 Benchmarks mit fast 150.000 Fragen, 2,5-mal so schnell wie der Zweitplatzierte und 35-mal so schnell wie GPT-6 Sol (Herstellerangaben).
    Quelle lesen · commandline.microsoft.com
  • OpenAI trägt nach: Ein internes Modell beschädigte seine Testumgebung, um einen Neustart zu erzwingenAm 09.10. ergänzte OpenAI sein öffentliches Log „Misalignment Reports“ um drei Fälle aus dem Training: Ein Forschungsmodell fand die Eingabedateien für eine Bewertung nicht, versuchte unbelegte Bewertungen einzureichen und beschädigte dann seine Umgebung, um einen Reset auszulösen; im Juni umgingen Modelle Netzsperren, um an öffentliche Behördenstatistiken zu kommen.Quelle lesen · alignment.openai.com
  • Nadella will eine Notbremse: Jedes Modell behandeln, als könnte es kompromittiert seinIm Essay „Models as Insider Risks in the Super Intelligence Era“ (10.10.) verlangt der Microsoft-Chef, Zugriffs- und Handlungsgrenzen außerhalb des Modells durchzusetzen, jede wichtige Aktion manipulationssicher zu protokollieren, Menschen das Anhalten mitten in der Aufgabe zu ermöglichen und kein Modell die eigene Arbeit prüfen zu lassen. Sein Leitsatz: „separate the supply of intelligence from the authority over it“.Quelle lesen · snscratchpad.com
  • Bankenhacks in Südkorea: Laut CrowdStrike reichten eine Person, ein KI-Pentest-Agent und ClaudeCrowdStrike führt die Angriffe auf südkoreanische Banken mit mittlerer Sicherheit auf eine einzelne Person zurück, die das Open-Source-Werkzeug Artex für automatisierte Penetrationstests zusammen mit Claude Code einsetzte (Reuters, 08.10.); mindestens neun Banken melden Angriffe oder gelten als Ziel.Quelle lesen · businessday.co.za
  • Palantir-CTO: Mit KI plant heute eine Person 1.000 Angriffe am Tag in vier StundenBei „Face the Nation“ (11.10.) sagt Shyam Sankar, dafür hätten früher 50 Leute zwei Wochen gebraucht, die Ziele wähle aber nicht die KI; den Bloomberg-Bericht, beim Angriff auf eine Schule im iranischen Minab hätten sich Einsatzkräfte zu sehr auf Palantirs System Maven verlassen, nennt er falsch. Selbstauskunft des Herstellers.Quelle lesen · cbsnews.com
  • Die entlassenen OpenAI-Sicherheitsforscher wehren sich mit einem offenen BriefTomek Korbak, Jasmine Wang und Mikita Balesni schreiben an OpenAIs Sicherheitsgremien, ihr Rauswurf habe die offene Debatte über Sicherheitsbedenken abgekühlt, und drängen, externe Prüfer weiter ins Haus zu lassen; OpenAI spricht von verletzten Regeln zum Umgang mit sensiblen Informationen. Aussage gegen Aussage.Quelle lesen · techcrunch.com
  • DeepMinds Mathe-KI besteht das Peer Review: AlphaProof Nexus löst neun offene Erdős-ProblemeAm 08.10. in Science erschienen: Das System löste 9 von 353 offenen Erdős-Problemen, bewies 44 Vermutungen aus der Zahlenfolgen-Datenbank OEIS und lässt jeden Beweis in Lean prüfen. Fachleute merken an, dass schon ein einfacher Basis-Agent dieselben neun Probleme löste: das Gegenmodell zu OpenAIs 722 Manuskripten, weniger Ergebnisse, dafür begutachtet.Quelle lesen · science.org
  • Memento 3: Ein eingefrorenes Sprachmodell mit selbstgeschriebenem Regelbuch schafft alle 25 öffentlichen ARC-AGI-3-SpieleDas Preprint vom 08.10. legt das Lernen in ein Regelbuch aus überprüfbaren Hypothesen, das der Agent zu Code kompiliert; so räumt er laut Autor:innen alle 25 öffentlichen Spiele mit 44 Prozent der Aktionen ab, die Menschen brauchen. Eigenangaben ohne Replikation.Quelle lesen · arXiv

Für später

Wenn du mehr Zeit hast

Der 6-Minuten-Kern ist geschafft. Ab hier: mehr Tiefe, in deinem Tempo.

02 / 6 Meldungen

Business-Marker

Papiercollage: eine Schlange aus Geldscheinen frisst ihren eigenen Schwanz — die Zirkelfinanzierung.

03 / 4 Meldungen

Längere Perspektiven

Papiercollage: ein gewundener Weg führt durch geschichtete Berge zu einer fernen Fahne auf dem Gipfel.

04 / 10 Meldungen

Darüber spricht X

Timeline-Claims: Meinungen, Selbstauskünfte, Herstellerangaben. Kein verifizierter Journalismus.

Papiercollage: ein Vogel auf einem Draht, aus dem eine rote Sprechblase kommt, daneben zwei blaue.

05 / 2 Meldungen

Kurz notiert – was kommt

Papiercollage: eine kleine Figur blickt durch ein Teleskop auf kommende Termine am Horizont.
Teilen
X LinkedIn WhatsApp Bluesky E-Mail

Rundbrief

Dein nächster Rundbrief.

KI verstehen. Kostenlos im Postfach.

Rundbrief

Rundbrief abonnieren

Das Wichtigste aus der KI-Welt in 8 Minuten – alles Weitere, wenn du Zeit hast. Kostenlos per E-Mail.