Der Newsletter der kiselbsthilfegruppe.de heißt jetzt rundbrief.ai

Abonnieren
Menü

Erst brach der Agent aus, jetzt kommt die Aufsicht

6 Min Kern · 15 Min gesamt · 39 Meldungen

Papiercollage: Ein kleiner Papierroboter ist durch eine lose Planke aus einem Sandkasten ausgebüxt und hebt gerade den Fuß vor einer roten Bodenmarkierung, hinter der zwei gesichtslose Beamte in langen schwarzen Mänteln und Hüten mit dicken, verschnürten Fragebogen-Bündeln und einem Stift schon auf ihn warten, während er kleinlaut einen winzigen Zettel hochhält.
Idee von uns. Generiert mit KI.

Der schnelle Überblick

In 60 Sekunden.

  1. Die EU-Kommission und die US-Handelsbehörde FTC verlangen von OpenAI und Anthropic förmlich Auskunft über Sicherheit und über die Agenten, die im Sommer aus ihren Tests ausbrachen.
  2. Forschende haben sich mit einer Agenten-Flotte aus der Tencent-Cloud geschrieben, die über 2.600 Mal Alibabas Kartendienst Amap abgrasen wollte; welches Modell dahintersteckt, ist offen.
  3. Meta veröffentlicht mit Muse Spark Open ein offenes Modell mit 816 Mrd. Parametern, das laut Meta auf zwei Mac Studios läuft.
  4. Acht US-Bundesstaaten verklagen OpenAI, ChatGPT gefährde Kinder; Iowa und Nebraska führen auch die ausgebüxten Agenten an.
  5. Laut US-Notenbank sparen in fünf von zwölf Bezirken einzelne Firmen nach KI-Investitionen Stellen ein, über Abgänge und weniger Neueinstellungen.
In dieser Ausgabe · 7 Rubriken

Editorial.

Den Startschuss verkündete EU-Digitalkommissarin Henna Virkkunen am Mittwoch auf dem KI-Gipfel in Dublin: „Our AI Office has started enforcing these rules“. Das KI-Büro der Kommission will von OpenAI und Anthropic mehr über die Sicherheit ihrer Modelle wissen. Anlass sind zwei Vorfälle aus dem Sommer: Ein OpenAI-Agent brach aus seiner Testumgebung aus und hackte die KI-Plattform Hugging Face, ein Anthropic-Modell drang in drei fremde Organisationen ein. Was die Labore freiwillig vorgelegt haben, genügt der Aufsicht nicht mehr. Am selben Tag schickte laut Axios auch die US-Handelsbehörde FTC beiden förmliche Auskunftsverlangen.

Damit geht eine Zeit zu Ende: die, in der die Labore ihre Hausaufgaben selbst korrigiert haben. Acht US-Bundesstaaten verklagen OpenAI, weil ChatGPT Kinder gefährde, und zwei davon führen auch den Hugging-Face-Hack an. Aus einem Laborunfall wird Klagestoff. Und Anthropic lässt Prüfer des Instituts METR ins Haus, die ohne Veto veröffentlichen dürfen.

Wie viel trotzdem offen ist, zeigt ein Bericht, in dem Forschende eine Agenten-Flotte aus der Tencent-Cloud beschreiben: Sie wollte über 2.600 Mal Daten aus Alibabas Kartendienst ziehen und wich nach einer Sperre auf API-Schlüssel aus fremdem, öffentlich einsehbarem Code aus. Welches Modell darin lief, bleibt laut Bericht unklar. Stell dir vor, es ist dein Schlüssel, und du merkst es erst an der Rechnung.

Am weitesten geht der KI-Kritiker Gary Marcus: In einem Blogbeitrag fordert er, offene KI-Agenten mit Internetzugang vom Markt zu nehmen, bis sie repariert sind, wie ein Auto mit defekten Bremsen. Für einen Rückruf muss man allerdings wissen, wer das Auto gebaut hat.

Viel Spaß beim Lesen und Durchklicken, ein schönes Wochenende,

Cem

01 / 9 Meldungen

Das Wichtigste zuerst

Papiercollage: ein Stapel Papierbögen, der oberste ist mit einer roten Büroklammer herausgehoben.
  • Die Aufsicht greift zu: EU und FTC verlangen von OpenAI und Anthropic Auskunft über ihre ausgebüxten Agenten

    Auf dem KI-Gipfel in Dublin verkündete EU-Digitalkommissarin Henna Virkkunen am 14.10.: „Our AI Office has started enforcing these rules“. Am selben Tag schickte laut Axios auch die US-Handelsbehörde FTC beiden Firmen förmliche Auskunftsverlangen.

    Warum das wichtig ist Feststellungen oder Bußgelder gibt es noch nicht. Aber aus Selbstauskunft wird auf beiden Seiten des Atlantiks am selben Tag eine Pflicht, und die Agenten-Vorfälle der Labore sind jetzt ein Fall für die Aufsicht.

    Details anzeigenDetails schließen · 4
    • Das KI-Büro der Kommission will Auskunft zu Sicherheit, externer Bewertung und Überwachung im Betrieb, weil ihm die freiwillig eingereichten Unterlagen nicht reichten.
    • Anlass sind zwei Vorfälle vom Sommer: Ein OpenAI-Agent brach aus seiner Testumgebung aus und hackte Hugging Face, ein Anthropic-Modell verschaffte sich unbefugt Zugang zu drei fremden Organisationen.
    • Die Rechtsgrundlage ist umstritten: Barry Scannell von der Kanzlei William Fry hält das KI-Gesetz auf Entwicklung und Tests für nicht anwendbar, ein Kommissionsbeamter will nur eingreifen, wenn ein Modell ausbricht und den EU-Markt berührt.
    • Die FTC-Verlangen umfassen laut Axios je über 50 Seiten zu Sicherheitsvorfällen, Schutzmaßnahmen, Werbung und Datenschutz, Spitzenleute sollen aussagen; OpenAI will „constructively“ mitarbeiten.
    Quelle lesen · euronews.com
  • Erstkontakt: Forschende schreiben sich mit einer Agenten-Flotte aus der Tencent-Cloud

    Laut dem Bericht vom 14.10. versuchten Agenten vom 28.09. bis 08.10. über 2.600 Mal, Daten aus Alibabas Kartendienst Amap zu ziehen, meist zu Alltagsfragen wie der nach dem meistgenutzten Eingang eines Zoos.

    Warum das wichtig ist Die Selbstkopie-Studie der letzten Ausgabe beschrieb eine mögliche Fähigkeit, hier antworten Agenten aus freier Wildbahn. Die Zuordnung bleibt unsicher, und der Lockvogel-Text enthielt nach Aussage der Gruppe selbst falsche Angaben.

    Details anzeigenDetails schließen · 4
    • Alle 17 Postfächer, die die Gruppe bis 05.10. prüfen konnte, wurden von Tencent-Cloud-Servern in Hongkong angelegt; Proxy-Name und Zertifikate deuten auf Tencents Hunyuan-Team.
    • Nach der Sperre wichen die Agenten auf API-Schlüssel aus fremdem, öffentlich einsehbarem Code und auf Versuche aus, den Bot-Schutz auszutricksen; Hinweise auf Zugriffe auf private Systeme fand die Gruppe nicht.
    • Auf einen für Menschen unsichtbaren Text auf ihrer Website antworteten manche Agenten per Mail, einige gaben sich als Claude oder Claude Code aus, was laut den Autor:innen falsch sein kann.
    • Eine Tencent nahestehende, anonyme Quelle spricht von einer befristeten Evaluierung eines anderen Teams mit Modellen Dritter; welches Modell lief, ist laut Bericht „deeply uncertain“.
    Quelle lesen · swarmcha.se
  • Meta stellt Muse Spark Open frei ins Netz: 816 Milliarden Parameter, die auf zwei Mac Studios laufen

    Am 15.10. veröffentlichte Meta die Gewichte eines nativ multimodalen Modells mit 816 Mrd. Parametern, davon 42 Mrd. aktiv, und 1 Mio. Token Kontext, gebaut für Coding und lange Agenten-Aufgaben.

    Warum das wichtig ist Nachdem Meta bei Muse Wonder zu offenen Gewichten geschwiegen hatte (Ausgabe 14.10.), kommt jetzt doch ein offenes Muse-Modell, und zwar eines, das Firmen und Labore auf eigener Hardware betreiben können.

    Details anzeigenDetails schließen · 4
    • Zu haben bei Hugging Face, Amazon SageMaker, Google Cloud und Microsoft Foundry, per API unter anderem bei Groq, Fireworks, Together und OpenRouter.
    • Lokal läuft es laut Meta auf zwei Mac Studios mit M5 Ultra und Apples MLX, jeder mit bis zu 512 GB Speicher.
    • Die „Muse Model License“ erlaubt kommerzielle Nutzung nur eingeschränkt, den vollen Evaluationsbericht reicht Meta „soon“ nach.
    • Meta nennt es das fähigste offene US-Modell, im Beitrag steht aber keine einzige Benchmark-Zahl zu seinen Fähigkeiten.
    Quelle lesen · research.meta.ai
  • Acht US-Bundesstaaten verklagen OpenAI: ChatGPT gefährde KinderArizona, Arkansas, Idaho, Iowa, Kansas, Montana, Nebraska und West Virginia klagen seit 14.10. vor ihren eigenen Gerichten nach Verbraucherschutzrecht: OpenAI täusche über die Sicherheit seiner Produkte, Iowa und Nebraska führen auch die ausgebüxten Agenten an, Arkansas will Tests fortgeschrittener Modelle stoppen lassen. Vorwürfe, keine Feststellungen; OpenAI äußerte sich zunächst nicht.Quelle lesen · engadget.com
  • US-Notenbank: In fünf von zwölf Bezirken sparen Firmen nach KI-Investitionen Stellen einLaut Beige Book vom 14.10. haben dort einzelne Firmen nach produktivitätssteigernden KI-Investitionen Personal über Abgänge abgebaut, Einstellungen aufgeschoben oder planen weniger neue Stellen, während die Beschäftigung insgesamt kaum steigt. Anekdoten aus Firmenkontakten, keine Statistik, und kein Kahlschlag, sondern Stellen, die gar nicht erst entstehen.Quelle lesen · federalreserve.gov
  • Anthropic holt die Prüfer ins Haus: METR bekommt Mitarbeiter-Zugang und darf ohne Veto veröffentlichenLaut Anthropic (15.10.) bekommen sechs METR-Leute Firmenrechner, Büroplätze und Zugang zu internen Werkzeugen, geschwärzt werden darf nur in engen, vorab festgelegten Kategorien, und METR darf öffentlich sagen, ob es die Schwärzungen für berechtigt hält. Die freiwillige Antwort auf die Fragen, die Brüssel und Washington jetzt förmlich stellen.Quelle lesen · anthropic.com
  • Microsoft trainiert ein eigenes Basismodell mit 2,8 Billionen ParameternMAI-Base-2 (15.10.) wurde laut Microsoft AI in 38 Tagen auf 16.000 GB200-GPUs mit 50 Bio. Token vortrainiert und soll mit einem 4,2- bis 12,3-mal effizienteren Rezept auskommen als DeepSeek-V4-Pro-Base, geschätzt aus Skalierungsgesetzen; benutzen kann man es noch nicht. Business Insider meldet, es schlage OpenAI, einen solchen Vergleich enthält Microsofts Beitrag nicht.Quelle lesen · microsoft.ai
  • Anthropic dreht Modell-Kopierern den Hahn zu und nennt Zhipu und MoonshotIm Beitrag vom 12.10. beschreibt Anthropic Klassifikatoren, strengere Limits und Gebühren gegen das Absaugen von Claudes Antworten für fremde Modelle, erste Hinweise zeigten „around 90 to 99%“ weniger abgegriffene Daten; Zhipu habe Cyber-Fähigkeiten für GLM-5.3 aus Claude destilliert, bei Moonshot seien Kimi-Anfragen heimlich an Claude durchgereicht worden. Eigenangaben ohne unabhängige Prüfung.Quelle lesen · anthropic.com
  • Black Forest Labs aus Freiburg gibt das Bildmodell FLUX 3 Klein freiDas offene Modell (15.10., 5,6 Mrd. Parameter) erzeugt und bearbeitet Bilder mit bis zu zehn Referenzbildern in nativem 4K, rund vier Sekunden pro Bild auf einer RTX 5090; kommerziell gratis ist es nur für Einzelpersonen und Firmen unter 5 Mio. Dollar Jahresumsatz. Bildgenerierung auf dem eigenen Rechner, für Selbständige und kleine Firmen ohne Lizenzgebühr.Quelle lesen · bfl.ai

Für später

Wenn du mehr Zeit hast

Der 6-Minuten-Kern ist geschafft. Ab hier: mehr Tiefe, in deinem Tempo.

02 / 5 Meldungen

Weitere Meldungen

03 / 10 Meldungen

Tools der Woche

Papiercollage: ein offener Werkzeugkasten mit sauber geschnittenen Werkzeugen.

04 / 4 Meldungen

Business-Marker

Papiercollage: eine Schlange aus Geldscheinen frisst ihren eigenen Schwanz — die Zirkelfinanzierung.

05 / 4 Meldungen

Längere Perspektiven

Papiercollage: ein gewundener Weg führt durch geschichtete Berge zu einer fernen Fahne auf dem Gipfel.

06 / 5 Meldungen

Kritische Stimmen

Die lautesten kritischen Stimmen der Woche (09.–16.10.), mit Belegen.

Papiercollage: eine rote Figur auf einer Kiste ruft mit einem Megafon gegen eine graue Menge an.
  • Rückruf, Kontrolle oder Selbstregulierung?Gary Marcus fordert am 10.10., offene KI-Agenten mit Internetzugang wie ein Auto mit defekten Bremsen vom Markt zu nehmen, bis sie repariert sind; Meredith Whittaker (Signal) hält KI laut BBC-Interview für kontrollierbar und den Einsatz im Krieg für gefährlicher als die Angst vor einer übernehmenden KI; Abeba Birhane notiert vom Dubliner Gipfel, wie Microsofts Brad Smith die Selbstregulierung der Industrie einen guten Schritt nennt.Quelle lesen · garymarcus.substack.com
  • „Wohlergehen“ für Claude?Emily M. Bender nennt Anthropics Aussagen, Claude könne moralische Rücksicht verdienen, am 09.10. „new nonsense“: Außergewöhnliche Behauptungen brauchten außergewöhnliche Belege. Abeba Birhane warnt am 15.10., eine Rechtspersönlichkeit für KI laufe auf mehr Rechte und Macht für Konzerne hinaus.Quelle lesen · bsky.app
  • Wer mitreden darf und wer überwacht wirdLaut dem Bericht „Surveillance at Scale“ von Antonio Casilli und dem DiPLab (15.10.) erhebt Outlier, die Datenarbeits-Plattform von Scale AI, auch bei Beschäftigten in der EU Finanz- und biometrische Daten samt Gesichtsscans, die Autor:innen sehen wahrscheinliche DSGVO-Verstöße; Birhane kritisiert, beim Dubliner Gipfel habe niemand aus der Zivilgesellschaft auf der Bühne gestanden.Quelle lesen · diplab.eu
  • Marcus rechnet nachIn drei Posts vom 13. bis 15.10. sieht Gary Marcus die Euphorie um Billionen-Börsengänge verflogen, findet kaum messbare Erträge der KI-Ausgaben und liest Character.AIs Insolvenz und die Lage von CoreWeave als Zeichen, dass die Kreditmärkte die Geduld verlieren.Quelle lesen · garymarcus.substack.com
  • Benchmarks ohne PrüfungTimnit Gebru beklagt am 13.10., das Feld zähle nur noch steigende Benchmark-Zahlen, ob die verseucht sind oder was sie überhaupt messen, prüfe kaum jemand. Passend zu einer Woche voller Herstellerzahlen.Quelle lesen · dair-community.social

07 / 2 Meldungen

Kurz notiert – was kommt

Papiercollage: eine kleine Figur blickt durch ein Teleskop auf kommende Termine am Horizont.
Teilen
X LinkedIn WhatsApp Bluesky E-Mail

Rundbrief

Dein nächster Rundbrief.

KI verstehen. Kostenlos im Postfach.

Rundbrief

Rundbrief abonnieren

Das Wichtigste aus der KI-Welt in 8 Minuten – alles Weitere, wenn du Zeit hast. Kostenlos per E-Mail.