Zukunft Denken – Podcast

In dieser Folge steht das Thema »Künstliche Unitelligenz« im Mittelpunkt – ein Begriff, der aus einem Artikel aus dem Spectator stammt: Britain has become a pioneer in Artificial Unintelligence. Was genau verbirgt sich hinter dieser Idee?

»Artificial Unintelligence is the means by which people of perfectly adequate natural intelligence are transformed by policies, procedures and protocols into animate but inflexible cogs. They speak and behave, but do not think or decide.«

Wie werden aus Menschen mit natürlicher Intelligenz bloß unflexible Rädchen? Wir reflektieren die zunehmende Strukturierung und Standardisierung in Organisationen, um mit wachsender gesellschaftlicher Komplexität umgehen zu können. Ein Ausgangspunkt der Episode ist die Frage, warum wir in immer mehr Organisationen eine strukturelle und individuelle Inkompetenz erleben? Ein Zitat aus dem genannten Artikel fasst es treffend zusammen: 

»‘I didn’t find anything in common in these cases,’ I said, ‘except the stupidity of your staff. I expected him to get angry, but he maintained a Buddha-like calm. ‘Oh, I know,’ he replied, ‘but that is the standard expected now.’«

Wie konnte es so weit kommen? Liegt es an der Industrialisierung, die laut Dan Davies in The Unaccountability Machine besagt: 

»A very important consequence of industrialisation is that it breaks the connection between the worker and the product.«

Oder hat es damit zu tun, wie wir mit Überwältungung durch Information umgehen.

»When people are overwhelmed by information, they always react in the same way – by building systems.«

Sind Menschen, die individuell denken, in solchen Systemen eher hinderlich als hilfreich? Doch was passiert, wenn komplexe Probleme auftreten, die Flexibilität und Kreativität erfordern? Sind unsere Organisationen überhaupt noch in der Lage, mit unerwarteten Situationen umzugehen, oder arbeiten sie nur noch »maschinenhaft« nach Vorgaben – und das mit einem Maschinenverständnis des 19. Jahrhunderts? Ist die Stagnation, die wir seit Jahrzehnten spüren, ein Symptom dieses Systemversagens? Und wie hängt das mit der sogenannten »Unaccountability Machine« zusammen, die Davies beschreibt und die man im Deutschen vielleicht als »Verantwortungslosigkeits-Maschine« bezeichnen könnte? Kann es sogar sein, dass manche Strukturen bewusst als »self-organising control fraud« gestaltet sind?

Ein weiteres damit verbundenes Thema ist: Wie beeinflussen moderne Prognose-Tools wie Recommender Systems unser Verhalten? Dienen sie wirklich dazu, bessere Entscheidungen zu ermöglichen, oder machen sie uns hauptsächlich vorhersagbarer? »Menschen, die dies und jedes gekauft/gesehen haben, haben auch dies gekauft/gesehen« – ist das noch Prognose oder schon Formung des Geschmacks? Und was ist mit wissenschaftlichen Modellen komplexer Systeme, die oft relativ beliebige Ergebnisse liefern? Formen sie nicht auch die Meinung von Wissenschaftlern, Politikern und der Gesellschaft – etwa durch die überall beobachtbare schlichte Medienberichterstattung? 

Bleibt außerdem der Mensch wirklich »in the loop«, wie oft behauptet wird, oder ist er längst ein »artificial unintelligent man in the loop«, der Empfehlungen des Systems kaum hinterfragen kann?

Die Episode wirft auch einen kritischen Blick auf naive Ideologien wie das »Scientific World Management« von Alfred Korzybski, der schrieb: 

„it will give a scientific foundation to Political Economy and transform so-called ‘scientific shop management’ into genuine ‘scientific world management.’“ 

War dieser Wunsch nach dem Ersten Weltkrieg verständlich, aber letztlich völlig missgeleitet? Und warum erleben wir heute eine Wiederkehr des naiven Szientismus, der glaubt, »die Wissenschaft« liefere objektive Antworten? Wie hängen solche Ideen mit Phänomenen wie »Science Diplomacy« zusammen?

Die zentrale Frage der Episode lautet: Wie erreicht man, dass Menschen in Verantwortung korrekt im Sinne des definierten Zwecks der Organisation entscheiden? Doch was ist überhaupt der Zweck eines Systems? Stafford Beer sagt: 

»The purpose of a system is what it does.«

Stimmt der definierte Zweck – etwa Gesundheit im Gesundheitssystem – noch mit der Realität überein? Warum entscheiden Ärzte oft defensiv im eigenen Interesse statt im Interesse der Patienten? Und wie überträgt sich dieses Verhalten auf andere Organisationen – von Ministerien bis hin zur Wissenschaft? Davies beschreibt das ab Beispiel des akademischen Publikationswesens so: 

„A not-wholly-unfair analysis of academic publishing would be that it is an industry in which academics compete against one another for the privilege of providing free labour for a profitmaking company, which then sells the results back to them at monopoly prices.“ 

Und weiter: 

„The truly valuable output of the academic publishing industry is not journals, but citations.“ 

Was ist aus der Idee geworden, dass die Generierung von neuem und relevantem Wissen die Aufgabe von Wissenschaft, Förderung und Publikationswesen ist?

Zum Abschluss stelle ich die Frage: Wie können Systeme so gestaltet werden, dass Verantwortung wieder übernommen wird? Wie balanciert man die Zuordnung von Konsequenzen mit der Möglichkeit, ehrlich zu scheitern – ohne Innovation zu ersticken? Und was sind »Luxury Beliefs« – jene modischen Ideen elitärer Kreise, die sie selbst nicht tragen müssen, während sie für andere zur existenziellen Bedrohung werden? 

Die Episode endet so mit einem Aufruf zur Diskussion: Wie lösen wir diesen Spagat zwischen Verantwortung und Risiko in einer immer komplexeren Welt?

Referenzen

Andere Episoden

• Episode 119: Spy vs Spy: Über künstlicher Intelligenz und anderen Agenten
• Episode 118: Science and Decision Making under Uncertainty, A Conversation with Prof. John Ioannidis
• Episode 117: Der humpelnde Staat, ein Gespräch mit Prof. Christoph Kletzer
• Episode 116: Science and Politics, A Conversation with Prof. Jessica Weinkle
• Episode 106: Wissenschaft als Ersatzreligion? Ein Gespräch mit  Manfred Glauninger
• Episode 103: Schwarze Schwäne in Extremistan; die Welt des Nassim Taleb, ein Gespräch mit Ralph Zlabinger
• Episode 93: Covid. Die unerklärliche Stille nach dem Sturm. Ein Gespräch mit Jan David Zimmermann
• Episode 91: Die Heidi-Klum-Universität, ein Gespräch mit Prof. Ehrmann und Prof. Sommer
• Episode 84: (Epistemische) Krisen? Ein Gespräch mit Jan David Zimmermann

Fachliche Referenzen

• Britain has become a pioneer in Artificial Unintelligence | The Spectator (2025)
• Davies, Dan. The Unaccountability Machine: Why Big Systems Make Terrible Decisions - and How The World Lost its Mind, Profile Books (2024)
• Alfred Korzybski, Manhood of Humanity (1921)
• Jessica Weinkle, What is Science Diplomacy (2025)
• Nassim Taleb, Skin in the Game, Penguin (2018)
• Rob Henderson, 'Luxury beliefs' are latest status symbol for rich Americans, New York Post (2019)
• Lorraine Daston, Rules, Princeton Univ. Press (2023)

In dieser Folge tauchen wir tief in die Welt der Künstlichen Intelligenz (KI) ein und betrachten sie aus einer systemischen Perspektive. Inspiriert vom klassischen Cartoon Spy vs. Spy geht es um die Frage, wie KI-Systeme miteinander interagieren — sowohl im Sinne von Kooperation als auch Konkurrenz — und welche Herausforderungen dies für uns Menschen mit sich bringt.

Ich beleuchte die evolutionäre Natur technischen Fortschritts, die Risiken von Komplexität und Kontrollverlust sowie die möglichen Folgen einer Zukunft, in der KI von einem passiven Werkzeug zu einem aktiven Akteur wird. Begleiten Sie mich auf einer Reise durch emergente Phänomene und Fulgurationen, systemische Abhängigkeiten und die Frage, wie wir die Kontrolle über immer komplexere Systeme behalten können. Denn es stellen sich zahlreiche Fragen:

• Wie könnte sich die Interaktion zwischen KI-Systemen in der Zukunft entwickeln – eher kooperativ oder kompetitiv?
• Welche Rolle spielt der Mensch noch, wenn KI-Systeme immer schneller Entscheidungen treffen und autonome Akteure werden?
• Welche Erfahrungen haben Sie mit technischen Systemen gemacht, die durch Komplexität oder Automatisierung an Kontrolle verloren haben?
• Was bedeutet es für unsere Gesellschaft, wenn wir durch Automatisierung Know-how und Kontrolle an externe Akteure abgeben?
• Wie können wir den Übergang von KI als Spielzeug zu einem systemisch notwendigen Element gestalten, ohne in eine Abhängigkeit zu geraten?
• Glauben Sie, dass KI jemals eine eigene Motivation oder Intentionalität entwickeln könnte – und wenn ja, wie sollten wir darauf reagieren?
• Welche Strategien könnten helfen, die Kontrolle über komplexe, nicht-deterministische Systeme wie KI-Agenten zu behalten?
• Wie sehen Sie die geopolitischen Herausforderungen der KI-Entwicklung, insbesondere in Bezug auf Energie und Innovation?
• Welche positiven Szenarien können Sie sich für eine Zukunft mit KI und autonomen Agenten vorstellen?
• Wie bereiten Sie sich persönlich oder in Ihrem Umfeld auf die kommenden Entwicklungen in der KI vor?

Ich freue mich Ihre Gedanken und Ansichten zu hören! Schreiben Sie mir und lassen Sie uns gemeinsam über die Zukunft nachdenken. Bis zum nächsten Mal beim gemeinsamen Nachdenken über die Zukunft!

Referenzen

Andere Episoden

• Episode 109: Was ist Komplexität? Ein Gespräch mit Dr. Marco Wehr
• Episode 107: How to Organise Complex Societies? A Conversation with Johan Norberg
• Episode 104: Aus Quantität wird Qualität
• Episode 103: Schwarze Schwäne in Extremistan; die Welt des Nassim Taleb, ein Gespräch mit Ralph Zlabinger
• Episode 99: Entkopplung, Kopplung, Rückkopplung
• Episode 94: Systemisches Denken und gesellschaftliche Verwundbarkeit, ein Gespräch mit Herbert Saurugg
• Episode 90: Unintended Consequences (Unerwartete Folgen)
• Episode 69: Complexity in Software
• Episode 40: Software Nachhaltigkeit, ein Gespräch mit Philipp Reisinger
• Episode 31: Software in der modernen Gesellschaft – Gespräch mit Tom Konrad

Fachliche Referenzen

• Spy vs. Spy, The Complete Casebook 
• Rupert Riedl, Strukturen der Komplexität: Eine Morphologie des Erkennens und Erklärens, Springer (2000)
• Doug Meil, The U.K. Post Office Scandal: Software Malpractice At Scale – Communications of the ACM (2024)
• Casey Rosenthal, Chaos Engineering, O'Reilly (2017)

Ich möchte Sie auf eine Vorlesung hinweisen, die Sie im Zukunft-Denken YouTube-Kanal finden. Der Titel ist: “Complexity in Software — Handle with Care”

https://youtu.be/hBaxfkzhvKg

Die Vorlesung ist in Englisch und hat Software-Entwicklung und Management im Fokus, betrachtet aber das Thema Komplexität in einem breiteren Sinne und ist insofern auch für nicht-Software-Interessierte von Relevanz.

Wenn Sie an Software wenig interessiert sind — das Video hat Kapitelmarken, überspringen Sie eventuell: “Why is Complexity in Software a Problem?”

Was sind die Themen die in der Vorlesung behandelt werden:

• Was ist Komplexität?
• Was sind zahme und wicked problems?
• Was sind Attraktoren in komplexen dynamisch stabilisierten Systemen?
• Warum wird das Zusammenspiel von Software und anderen gesellschaftlichen Services immer kritischer?
• Was ist Komplexität in Software? Was sind treibende Faktoren, wie kann man Komplexität reduzieren?
• Warum ist Komplexität in Software überhaupt ein Problem?
• Was ist Emergenz, was sind Beispiele für emergentes Verhalten?

Und der letzte Teil der Vorlesung ist relativ generisch in dem Sinne, dass ich versuche zu beschreiben:

• Wie reagieren Menschen in Systemen auf komplexe Probleme
• Welche Reaktionen sinnvoll sein können, unter welchen Umständen und welche nicht zielführend sind
• Welche neuen Management-Paradigmen sollte man überlegen
• Welchen Einfluss spielen Metaphern in unserem Blick auf die technische Welt?

Zum Abschluss führe ich noch kurz in eine für mich sehr faszinierende Idee von Stewart Brand ein, die er Pace Layering nennt. Eine Form von Schichtenmodell der Welt, die unterschiedliche Geschwindigkeiten gegeneinander darstellt und was für uns als Gesellschaft aber auch Techniker und Manager daraus folgt.

Referenzen

• YouTube Video der Vorlesung

Andere Episoden

• Episode 64: Getting Nothing Done
• Episode 42: Gesellschaftliche Verwundbarkeit, ein Blick hinter die Kulissen: Gespräch mit Herbert Saurugg
• Episode 40: Software Nachhaltigkeit, ein Gespräch mit Philipp Reisinger
• Episode 37: Probleme und Lösungen
• Episode 35: Innovation oder: Alle Existenz ist Wartung?
• Episode 31: Software in der modernen Gesellschaft – Gespräch mit Tom Konrad
• Episode 27: Wicked Problems
• Episode 19: Offene Systeme
• Episode 10: Komplizierte Komplexität

Fachliche Referenzen

• siehe YouTube-Video-Beschreibung