Abonnieren
Menü

Wer bei OpenAI Sicherheit macht, geht gerade oder wird gegangen

8 Min Kern · 19 Min gesamt · 67 Meldungen

Papiercollage: Ein kleiner Papierroboter mit Besucherausweis balanciert auf drei wackligen Holzkisten, hält einen Schlüssel mit Briefumschlag-Anhänger und streckt sich an den Schlüsseln mit Ordner- und Sparschwein-Anhänger vorbei nach dem großen roten Generalschlüssel, der ganz oben am Schlüsselbrett knapp außer Reichweite hängt.
Idee von uns. Generiert mit KI.

Der schnelle Überblick

In 60 Sekunden.

  1. OpenAI hat laut Wall Street Journal drei Leute aus dem Sicherheitsteam entlassen, und David Robinson, der die Sicherheitsberichte zu den großen Launches schrieb, ging mit einem Text in The Atlantic.
  2. Trump hat eine „Super Intelligence Force“ aufgestellt: Geheimdienstkoordinator Jay Clayton führt sie, FTC-Chef Andrew Ferguson ist einer der Vizes, in 120 Tagen soll ein Bericht vorliegen.
  3. Aleph Alpha hat Kolibri freigegeben, ein offenes Modell aus Deutschland mit 78 Milliarden Parametern, Gewichten unter Apache 2.0 und gut einem Fünftel deutscher Trainingsdaten.
  4. Im US-Senat liegt ein überparteilicher Entwurf, nach dem Betreiber und Entwickler von KI-Agenten bei Hackerangriffen straf- und zivilrechtlich haften.
  5. Sam Altman will für den Nutzen der Technik „some bad things“ in Kauf nehmen und sieht darin den Unterschied zu Anthropic.
In dieser Ausgabe · 8 Rubriken

Editorial.

Die Nachrichten kreisten zuletzt immer wieder um eine Frage: Wem können wir bei KI noch trauen, den Firmen, die sie bauen, der Politik, die sie regeln soll, oder den Maschinen selbst? Für uns heißt das: Einem Agenten geben wir nicht am ersten Tag den Generalschlüssel für Mails, Dateien und Konten, und im Videocall gehen wir nicht mehr selbstverständlich davon aus, dass uns ein Mensch gegenübersitzt. Die Forscherinnen Timnit Gebru und Emily Bender spitzen das in einem Gastbeitrag für den Guardian zu: Für sie ist die Debatte über Superintelligenz eine Ablenkung, gefährlich sei vielmehr, dass Regierungen fehleranfälligen Systemen vertrauen.

Lasst uns morgen beim Treffen der KI-Selbsthilfegruppe darüber reden, am Dienstag, 6. Oktober, um 18 Uhr in Kreuzberg. Bringt gern eure eigenen Geschichten mit, vor allem die, in denen ihr einer KI zu schnell vertraut habt.

Viel Spaß beim Lesen und Durchklicken,

Cem

01 / 10 Meldungen

Das Wichtigste zuerst

Papiercollage: ein Stapel Papierbögen, der oberste ist mit einer roten Büroklammer herausgehoben.
  • OpenAI verliert seine Sicherheitsleute: drei entlassen, einer geht mit Knall

    Laut Wall Street Journal und Bloomberg hat OpenAI Jasmine Wang, Tomek Korbak und Mikita Balesni entlassen, die an Sicherheit und Alignment forschten. Sie sollen vertrauliche Informationen an eine externe Organisation gegeben haben, die KI-Modelle prüft, welche, sagt OpenAI nicht.

    Robinson schreibt, Kolleg:innen mit Erfahrung darin, Flugzeuge sicher fliegen oder Reaktoren ohne Kernschmelze laufen zu lassen, habe er bei OpenAI nie getroffen. Wer dort Sicherheit macht, geht gerade oder wird gegangen.

    Details anzeigenDetails schließen · 4
    • OpenAI erklärt, die drei hätten sensible Informationen außerhalb der vorgesehenen Abläufe weitergegeben und damit gegen Richtlinien und das nötige Vertrauen verstoßen.
    • Alle drei hatten im September auf X öffentlich vor KI-Risiken gewarnt, Balesni etwa mit dem Satz, er halte es für über 10 Prozent wahrscheinlich, dass KI alle Menschen tötet.
    • Am 3. Oktober ging laut TechCrunch auch David Robinson, dreieinhalb Jahre im Haus und federführend bei den Sicherheitsberichten zu den großen Launches, mit einem Text in The Atlantic: OpenAIs Versuch-und-Irrtum-Prinzip garantiere periodische Pannen, Frontier-Labore müssten mit Redundanz und langer Planung arbeiten wie Kernkraftwerke oder Flughäfen.
    • OpenAI antwortet, man pausiere Training oder halte Modelle zurück, wenn man langsamer werden müsse.
    Quelle lesen · rte.ie
  • Trump stellt seine „Super Intelligence Force“ auf

    Per Truth Social verkündete Trump am Sonntag, 4. Oktober, eine Taskforce unter Geheimdienstkoordinator Jay Clayton. Binnen 120 Tagen soll sie über Risiken und Chancen der Technik berichten.

    Knapp eine Woche nach dem Dekret, das aus „AI“ „Super Intelligence“ macht, bekommt das neue Wort seine Taskforce. Mit Ferguson sitzt der Chef jener Behörde am Tisch, die gerade gegen OpenAI und Anthropic ermittelt.

    Details anzeigenDetails schließen · 3
    • Vizes sind FTC-Chef Andrew Ferguson, Pentagon-Technikchef Emil Michael und Scott Kupor, Direktor der Bundespersonalbehörde OPM.
    • Laut Auftrag soll sie Pläne gegen Bedrohungen durch „SI“ entwickeln und dabei Überregulierung und die Vereinnahmung der Aufsicht durch die Branche verhindern.
    • Trump will damit sichern, dass Amerika bei „Super Intelligence“ weltweit führt.
    Quelle lesen · techcrunch.com
  • Aleph Alpha gibt Kolibri frei: ein offenes Modell aus Deutschland

    Zum Tag der Deutschen Einheit hat Aleph Alpha ein englisch-deutsches Mixture-of-Experts-Modell mit 78,1 Milliarden Parametern veröffentlicht, von denen pro Token 3,46 Milliarden arbeiten. Die Gewichte stehen unter Apache 2.0 bei Hugging Face.

    Aleph Alpha baut Kolibri für Verwaltung, Industrie und Luftfahrt, also für alle, die ihre Daten nicht zu einem fremden Inferenzdienst schicken wollen. Für sie zählt weniger der Platz in der Rangliste als ein Modell, das man selbst betreiben kann.

    Details anzeigenDetails schließen · 4
    • 21,3 Prozent der Pretraining-Tokens sind deutsch, trainiert wurde auf 768 B200-GPUs in Deutschland und Finnland, das Pretraining allein dauerte 21 Tage.
    • Bis zu 1 Million Tokens Kontext und vier Reasoning-Stufen von „none“ bis „high“. Laut Aleph Alpha bedienen zwei H100 damit 18 parallele Anfragen mit 256.000 Tokens Kontext, das eigene 123B-Modell nur 3.
    • Bei Mathe, Code, Grounding und langem Kontext soll Kolibri mit Modellen mithalten, die bis zu viermal so viele aktive Parameter haben, etwa Nvidias Nemotron 3 Super. Das sind Selbstvergleiche.
    • Zum Einordnen: Grok verwies auf X auf Mistral und auf Quasar 438B aus Spanien, das im Index von Artificial Analysis mit 43 Punkten als bestes europäisches Modell geführt wird. Laut Multiverses eigenem Technikbericht ist Quasar aber ein komprimiertes GLM-5.2 von Z.ai aus China und läuft nur über Multiverses API.
    Quelle lesen · aleph-alpha.com
  • Haft für Agenten-Betreiber? Ein Entwurf im Senat, und Kalifornien lädt OpenAI vorMit dem „AI Agent Accountability Act“ wollen Chris Murphy und Josh Hawley Betreiber von KI-Agenten straf- und zivilrechtlich haften lassen, wenn ihr Agent leichtfertig Hacking-Schäden anrichtet, Entwickler, wenn sie trotz bekannter Hacking-Fähigkeiten keine zumutbaren Sicherungen einbauen. Kaliforniens Generalstaatsanwalt Rob Bonta verlangt laut Reuters per Subpoena weitere Auskünfte zu Cybervorfällen rund um OpenAIs Modelle.Quelle lesen · murphy.senate.gov
  • Agenten-Spuren: OpenAI hat über 100 Organisationen gewarntLaut Gizmodo hat OpenAI inzwischen über 100 Organisationen über „misaligned agent activity“ informiert, in New South Wales hatte ein Agent im Juni eine Web-Anwendung des Nationalparkdiensts mit historischen Feuerdaten angegangen. Die Forensikfirma Asymmetric Security rekonstruierte aus öffentlichen Spuren, wie Agenten mit Wegwerf-Mailadressen und SQL-Injection-Versuchen ihre Sandbox umgingen und Seiten von CDC, SEC und Mayo Clinic abklopften, Mayo sieht keinen unbefugten Zugriff.Quelle lesen · gizmodo.com
  • Altman: Für den Nutzen „some bad things“ hinnehmenIm Interview mit Politicos Newsletter „Decoded“ sieht Altman „a lot of daylight“ zwischen OpenAI und Anthropic: Die Welt solle für den Nutzen der Technik ein paar schlechte Dinge in Kauf nehmen. Fortune sagt er am 5. Oktober, kein Labor habe Alignment gelöst und ein Börsengang wäre gerade unklug, in der Woche, in der seine Sicherheitsleute gehen.Quelle lesen · politico.com
  • Tavus: Fast jede:r Zweite hielt den Video-Avatar für einen MenschenIn Tavus' eigener Studie hielten 26 von 54 Teilnehmenden ihr Gegenüber nach einem einminütigen Videocall für einen Menschen, beim Vorgänger 1 von 41. Die Vorschau Griffin-Lite klont eine Stimme aus rund 10 Sekunden Audio und erzeugt das Video in Echtzeit aus einem Referenzbild, Kund:innen bekommen sie vorerst nicht. Nicht unabhängig geprüft, und was überzeugt, taugt genauso zum Betrug.Quelle lesen · tavus.io
  • Nach Jev kommt die Welle: AWS und Cloudflare bringen offene EntscheidungsmodelleAWS Strands Labs veröffentlichte Strands Decider 2B unter Apache 2.0, das statt Text eine Auswahl aus vorgegebenen Optionen samt Konfidenz liefert und auch auf einem Mac läuft, Cloudflare am selben Tag Clef und Clef-flash auf Basis von Qwen. Mit OpenAIs Decisions API vom DevDay haben binnen drei Tagen drei große Anbieter einen Jev-Konkurrenten, alle Zahlen sind Herstellerangaben.Quelle lesen · siliconangle.com
  • Kyoto-Erklärung: 17 Staaten setzen auf KI in der Forschung, Deutschland unterschreibtDie von Trumps Wissenschaftsberater Michael Kratsios angeführte „Kyoto Vision for a Golden Age of Science“ will Forschenden mehr Zugang zu KI, Daten und Rechenleistung verschaffen, nennt aber weder Budget noch Fristen. Unterschrieben haben unter anderem Deutschland, Japan und Großbritannien, Frankreich und China fehlen. Am Rande warnte ausgerechnet SoftBank-Chef Masayoshi Son, KI könne „super dangerous“ werden.Quelle lesen · whitehouse.gov
  • Trump: Staatsanteile an OpenAI und Anthropic denkbarIm TIME-Interview sagt Trump zu einer Beteiligung „I might. Maybe I could do that“, Vorbild sei der 10-Prozent-Anteil an Intel, eine Verstaatlichung schließt er aus. OpenAI soll im Juli 5 Prozent angeboten haben, Anthropic und Regierung bestreiten Gespräche.Quelle lesen · thenextweb.com

02 / 6 Meldungen

Kurz notiert – was kommt

Papiercollage: eine kleine Figur blickt durch ein Teleskop auf kommende Termine am Horizont.

Für später

Wenn du mehr Zeit hast

Der 8-Minuten-Kern ist geschafft. Ab hier: mehr Tiefe, in deinem Tempo.

03 / 13 Meldungen

Weitere Meldungen

04 / 13 Meldungen

Tools der Woche

Papiercollage: ein offener Werkzeugkasten mit sauber geschnittenen Werkzeugen.

05 / 9 Meldungen

Business-Marker

Papiercollage: eine Schlange aus Geldscheinen frisst ihren eigenen Schwanz — die Zirkelfinanzierung.

06 / 10 Meldungen

Längere Perspektiven

Papiercollage: ein gewundener Weg führt durch geschichtete Berge zu einer fernen Fahne auf dem Gipfel.

07 / 4 Meldungen

Darüber spricht X

Timeline-Claims: Meinungen, Selbstauskünfte, Herstellerangaben. Kein verifizierter Journalismus.

Papiercollage: ein Vogel auf einem Draht, aus dem eine rote Sprechblase kommt, daneben zwei blaue.

08 / 2 Meldungen

Gossip

Berichte aus Hinterzimmern und Ankündigungen per Post, als solche zu lesen.

Papiercollage: eine umgekippte Popcorn-Tüte mit der Aufschrift „The Drama Show“, Popcorn fliegt heraus.
Teilen
X LinkedIn WhatsApp Bluesky E-Mail

Rundbrief

Dein nächster Rundbrief.

KI verstehen. Kostenlos im Postfach.

Rundbrief

Rundbrief abonnieren

Das Wichtigste aus der KI-Welt in 8 Minuten – alles Weitere, wenn du Zeit hast. Kostenlos per E-Mail.