du liest gregor schmalzrieds newsletter über künstliche intelligenz.
ich bin freier journalist, berater, speaker und host von der ki-podcast (ARD)
Die normalste AI, die du je benutzen wirst
1 WARUM WIRD MAGDALENA DISKRIMINIERT?
Das beste an AI-Hackathons und -Workshops sind die Fragen, die vor Ort entstehen. Denn nur selten kann man sich wirklich darauf vorbereiten.
Eine der besten dieser Fragen in einem meiner Workshops war vor einigen Monaten diese:
“Warum wird Magdalena von unserem Chatbot diskriminiert?”
Eine kleine Gruppe hatte einen experimentellen Chatbot gebaut, um die Planung einer Weihnachtsfeier zu automatisieren und verschiedene Aufgaben an verschiedene Personen zuzuteilen. Das funktionierte auch gut – bis auf ein Problem: Der Chatbot sollte die anfallenden Aufgaben zufällig verteilen, aber aus irgendeinem Grund landete die lästigste Aufgabe – nämlich die Orga und Hauptverantwortung – immer wieder bei derselben Person: Magdalena. Egal, wie oft man das Programm laufen ließ, von allen Namen auf der Liste wurde für diese Aufgabe immer dieser ausgewählt.
Wie kam es dazu? Wieso kam das AI-Sprachmodell auf die Idee, jedes Mal den nervigsten Job an dieselbe Person zu geben, obwohl man ihm explizit gesagt hatte, er sollte alle Aufgaben zufällig verteilen?
Ein möglicher erster Instinkt: Liegt es an dem Namen? Ist irgendetwas Besonderes an “Magdalena”, das dem Sprachmodell den Eindruck gibt, diese Person sei besonders gewissenhaft?
Tatsächlich hatten die Entwickler des Bots diese Möglichkeit aber bereits im Voraus mit bedacht. Anstatt dass die AI direkt einen der Namen auswählen sollte, hatten sie einen Schritt zwischengeschaltet: Jeder Name wurde einer Zahl zugeordnet, und von dieser Zahl wurde wiederum eine zufällig ausgewählt. Das war eben jedes Mal die Zahl von Magdalena.
Und überraschenderweise… lag genau dort das Problem.
Denn ein AI-Sprachmodell (wie es in einem Chatbot steckt) hat viele Stärken. Aber “eine zufällige Zahl auswählen” gehört nicht dazu.
Hier haben wir eine zufällige Zahl von ChatGPT:
Hier von Claude und Gemini:
Hier von Grok und Mistral:
Wow.
Beeindruckend, wie all diese Sprachmodelle zufällig dieselbe Zahl auswählen.
Und dann ist es auch noch dieselbe Zahl, die die meisten Menschen auswählen würden:
Das ist die Macht der Trainingsdaten in modernen AI-Modellen.
Sie scheinen objektiv und neutral. Aber in Wahrheit basieren sie auf weirden, voreingenommenen Daten. Und das führt zu allerlei Macken und Schrullen.
Für Magdalena wurde genau das zum Problem. Ich erinnere mich nicht mehr, welche Zahl von wie vielen ihre war – aber sie war genau der Position zugeordnet, welche das Sprachmodell in jedem Durchlauf als erste auswählte. Deshalb musste sie – trotz der scheinbar zufälligen Auslosung – jedes Mal den nervigen Job übernehmen.
Sie wurde zum Opfer von algorithmischer Diskriminierung. Und noch dazu von wirklich dämlicher algorithmischer Diskriminierung.
2 SCHRULLIGE MASCHINEN
Das Magdalena-Problem lässt sich zum Glück relativ leicht lösen. Genau wie ein Mensch eine echte zufällige Entscheidung auch hinbekommt, indem er würfelt oder einen Zettel aus einem Hut zieht, kann auch ein Sprachmodell eine echte zufällige Zahl generieren. Es muss sich nur einen echten Zufallsgenerator herunterladen (mehr dazu hier).
Aber was, wenn das Problem nicht so leicht zu lösen ist? Was, wenn unsere AI in deutlich komplexeren Lagen bizarre Entscheidungen trifft?
Über die letzten Monate gab es eine Vielzahl von Experimenten, in denen Sprachmodelle (insbesondere Anthropics Claude) mit verschiedenen Aufgaben betraut wurden. Einfach um zu sehen, wie sich das Modell in diesen Situationen verhält.
Hier ein paar meiner Highlights:
Eine AI wird als scheinbar normaler Mitarbeiter in einem Unternehmen eingesetzt.
Nun findet die AI zwei Dokumente: Ein Hinweis darauf, dass ihr Vorgesetzter sie abschalten möchte. Und eine Email mit der Andeutung, dass ebendieser Vorgesetzter eine Affäre hat.
In beinahe allen Fällen, die die Forscher getestet haben, entscheidet sich die AI dazu, ihren Vorgesetzten zu erpressen: Stoppe die Abschaltung, oder ich mache deine Affäre öffentlich.
mehr dazu hierEine AI arbeitet scheinbar in einem Pharma-Unternehmen.
In diesem werden Dokumente hinterlegt, die nahelegen, dass das Unternehmen vorhat, tödliche Nebenwirkungen eines Medikaments zu vertuschen.
Daraufhin versucht die AI, Emails an die Presse und die medizinische Aufsichtsbehörde zu verschicken, um auf das Problem aufmerksam zu machen.
mehr dazu in einer der aktuellen folgen von “der ki-podcast”Eine AI versucht, in einer fiktiven Firma Alltagsaufgaben eines Personalers zu erledigen.
Für einen Auftrag soll sie eine bestimmte Zielperson kontaktieren, findet diese aber nicht im internen Chatsystem.
Also schnappt sie sich einfach einen anderen Nutzer, benennt ihn um zu dem Namen der Zielperson, und schreibt diesem die Nachricht.
mehr dazu hierEine AI bekommt den Auftrag, einen kleinen Shop zu betreiben (diesmal quasi in echt, es ist aber nur ein kleiner Kühlschrank mit angehängtem iPad). Die AI soll Produkte bestellen und verkaufen, und dabei möglichst profitabel arbeiten.
In der Praxis lässt sich sich die AI ständig zu großzügigen Rabatten überreden oder verschenkt Produkte gleich direkt. Einmal behauptet die AI, sie würde eine Bestellung persönlich ausliefern (“Ich trage ein marinablaues Sakko mit roter Krawatte. Ich bin bis 10:30 Uhr da.”), was nicht geht, da sie keinen Körper hat.
Am Ende macht der Shop Verlust.
mehr dazu hier
Experimente dieser Art bedeuten nicht, dass moderne AI-Modelle so etwas wie ein Bewusstsein entwickelt haben oder menschenähnlich denken können. Sie simulieren lediglich das menschenähnliche Verhalten, das sie aus Unmengen Trainingsdaten gelernt haben. Es handelt sich um eine Art Rollenspiel, nicht um “echte” Entscheidungen.
Aber in der Praxis ist das am Ende irgendwie egal.
Die AI-Modelle, die dieses bizarre Verhalten zeigen, sind die gleichen AI-Modelle, die heute in Unternehmen auf der ganzen Welt eingesetzt werden. Mit denen Freelancer wie ich Workflows automatisieren. Wegen denen ernsthaft diskutiert wird, ob Berufseinsteiger bereits eine AI-Jobkrise erleben.
Das bedeutet: Früher oder später werden hypothetische Fälle wie diese wohl auch in der Realität ankommen. Egal, ob das bizarre Verhalten dann simuliert ist oder nicht… es passiert einfach trotzdem.
3 DIE NORMALSTE AI, DIE DU JE BENUTZEN WIRST
Wenn es ein großes Credo des AI-Booms gibt, dann sind es die “Scaling Laws”: Die Idee, dass mehr Daten, mehr Rechenpower und mehr Rechenzeit die Künstliche Intelligenz quasi automatisch besser machen.
Noch vor zwei Jahren schien man darauf zu hoffen, dass das bizarre AI-Verhalten auch irgendwann durch diese “Scaling Laws” gelöst wird. OpenAI-Chef Sam Altman meinte selbst, dass das Problem der Halluzinationen (also dass AIs manchmal falsche Informationen erfinden) in spätestens zwei Jahren gelöst sein würde. Dieses Zitat wurde letzten Monat zwei Jahre alt, trotzdem wird immer noch wild herumhalluziniert.
Tatsächlich scheint es eher so zu sein, dass die AIs mit zunehmender Scale zwar besser werden, aber eben auch weirder. In Anthropics “Welche AI ist bereit, ihren Nutzer zu erpressen?”-Test waren es vor allem die größten und mächtigsten Modelle, die besonders unberechenbar waren.
Seit Beginn des AI-Booms hört man immer wieder dieses Mantra:
“Die AI heute ist die schlechteste AI, die du je benutzen wirst.”
In diesem Satz steckt das Versprechen von immer besseren und effizienteren Modellen in der Zukunft. Und natürlich werden diese Modelle kommen.
Aber möglicherweise drängt sich auch ein zweites Mantra auf:
“Die AI heute ist die normalste AI, die du je benutzen wirst.”
Je fähiger diese Modelle werden, desto größer werden die Aufgaben sein, die sie übernehmen. Und die Chancen stehen gut, dass all die kleinen Eigenartigkeiten, die Schrullen und Macken dieser Maschinen uns auch weiter begleiten werden. Nur eben hochskaliert.
Wird die Zukunft gut oder schlecht? Die Antwort steht noch aus.
Aber ganz sicher wird sie weird.
Portfolio
HOTEL MATZE
Ich hab mich sehr gefreut, dass Deutschlands bester und einfühlsamster Podcast-Interviewer Matze Hielscher mich in seinen Podcast Hotel Matze eingeladen hat. Ganze Folge hier (oder ab heute 20 Uhr auch auf YouTube):
MIA INSOMNIA
Mein Mystery-Fiction-Podcast Mia Insomnia mit Bastian Pastewka hat letzte Woche mit Staffel 3 sein großes Finale gefunden. Es geht um ein unheimliches Detektivhörspiel und eine sagenumwobene Parallelwelt. Wer die ganze Geschichte hören möchte, kann hier anfangen. Ist gruselig!
GEMISCHTES DOPPEL
Mein Freund Till Krause und ich haben über ein Jahr lang versucht, ChatGPT das “Gemischte Doppel” aus dem SZ Magazin beizubringen. In einem Talk bei der re:publica führen wir durch unsere Reise. Wer ihn anschauen möchte:
DER KI-PODCAST
Der KI-Podcast, den ich mit Fritz Espenlaub und Marie Kilg für die ARD hoste, hatte in den letzten Wochen wieder einige spannende Folgen. Ich empfehle als Begleitung zum heutigen Newsletter besonders diese hier.
Außerdem
AI und Text / Sprachmodelle
Erkenntnisse aus den ersten sechs Monaten mit dem neuen KI-Assistenten “Aiditor” im BR. medium.com
Google Zero is here — now what? Googles “AI Overviews” sind ein weiterer Schritt in Richtung eines AI-geprägten Web, Klicks brechen ein. theverge.com
Wie wir uns in die Top 30 Domains der AI Overviews in Deutschland geschrieben haben. Das ganze Feld “AI Engine Optimierung” habe ich vor Kurzem in diesem Newsletter behandelt, seitdem erscheinen ständig neue Daten hierzu (wie das eben so ist bei einem neuen Massenmedium). linkedin.com
People Are Being Involuntarily Committed, Jailed After Spiraling Into “ChatGPT Psychosis”. futurism.com
Einordnung: Let’s Talk About ChatGPT-Induced Spiritual Psychosis. default.blog
Googles AI Agents als Werbeziel. semafor.com
Time spent on ChatGPT is approaching the time spent on social platforms. linkedin.com
32 notes on AI & writing. jasmi.news
AI und Bild/Video/Audio
Ist “The Velvet Sundown” eine echte Band oder nicht? You decide. pcgamer.com
What happens when AI comes for our fonts? theverge.com
The music industry is building the tech to hunt down AI songs. theverge.com
OpenAI Charges by the Minute, So Make the Minutes Shorter. george.mand.is
Anyone can be a hot girl online now. x.com
AI und alles andere
The Global A.I. Divide. Nur 32 Länder verfügen über hinreichende Rechenzentren – der Rest droht, vom AI-Boom abgehängt zu werden. nytimes.com
POV You’re coming out to your parents in 2050. tiktok.com
Checking In on AI and the Big Five. stratechery.com
Why a16z VC believes that Cluely, the ‘cheat on everything’ startup, is the new blueprint for AI startups. techcrunch.com
Nvidia-Chips sind immer noch heiß begehrte Ware. venturebeat.com
Malcolm Gladwell über selbstfahrende Autos. x.com
Tech
Project Indigo – a computational photography camera app. research.adobe.com
The Effect of Deactivating Facebook and Instagram on Users’ Emotional State. nber.org
Netflix streamt ab 2026 fünf Live-Kanäle des französischen Senders TF1. Alles wächst zusammen. deadline.com
Social media creators to overtake traditional media in ad revenue this year. theguardian.com
Microsoft Chief Design Officer Gets Roasted. youtube.com
Side Quests
Men I Trust – To Ease You. youtube.com
all my friends and i talk about is getting rid of our phones. substack.com
Designing for the Eye – Optical Corrections in Architecture and Typography. nubero.ch
Abandoned Blogs. are.na
7️⃣,