|
Sonntag, 25.09.2026
Sehr geehrte Kolleginnen und Kollegen,
im heutigen Newsletter möchte wir Ihnen einen Artikel von Herrn Markus Piller, Referent im Expertennetzwerk digitale Bildung für die Gymnasien in der Oberpfalz, vorstellen. Es wird die Frage behandelt, ob KI sich zu einer Gefahr für die Menschheit entwickeln kann oder schon entwickelt hat und welche Konsequenzen sich für Politik, Gesellschaft und Bildung daraus ergeben.
Wird KI bald die Menschheit auslöschen?
Von KITT und J.A.R.V.I.S. über denkende Sprachmodelle bis zu handelnden Agenten – ein Abriss über den Weg zur allgemeinen künstlichen Intelligenz.
„Das Aufkommen wirklich denkender Maschinen wird das bedeutendste Ereignis der Menschheitsgeschichte sein.“
– Max Tegmark, 2015 (eigene Übersetzung)
Diesen Satz schrieb der schwedisch-amerikanische Physiker Max Tegmark bereits 2015. Zwei Jahre später griff er die Frage in seinem Buch „Life 3.0“ wieder auf. Tegmark sprach von Artificial General Intelligence, kurz AGI – also von einer allgemeinen künstlichen Intelligenz, die uns nicht nur in einzelnen Spezialaufgaben, sondern in einem breiten Spektrum geistiger Fähigkeiten ebenbürtig oder sogar überlegen ist. Landläufig konnte man mit dem Begriff damals wenig anfangen. Künstliche Intelligenz war für die allermeisten Menschen ferne Science-Fiction.
Man kannte KI zum Beispiel aus Filmen und Serien: KITT, das autonom fahrende und sprechende Auto aus „Knight Rider“; C-3PO, das wandelnde Sprach- und Raumfahrtlexikon aus „Star Wars“; oder J.A.R.V.I.S., der menschlich sprechende Assistent, der auf Tony Starks Geräten lief und sein ständiger digitaler Begleiter war. Was mich an J.A.R.V.I.S. besonders beeindruckte: Tony Stark schrieb nicht mit seiner KI. Er sprach mit ihr wie mit einem echten Menschen.
Wer von Ihnen könnte sich vorstellen, einen solchen J.A.R.V.I.S. die digitalen Arbeiten am PC erledigen zu lassen? Oder einen humanoiden Heimroboter den Haushalt machen zu lassen: Geschirrspüler ein- und ausräumen, Wäsche waschen, zusammenlegen, bügeln, kochen …?
Filme wie „Terminator“, „Matrix“ oder „I, Robot“ warnten wiederum davor, wie eine außer Kontrolle geratene KI die Menschheit auslöschen, versklaven oder entmündigen könnte. Wie weit ist diese Science-Fiction heute noch von der Wirklichkeit entfernt und was davon steht womöglich kurz bevor? Dieser Frage möchte ich in diesem Artikel nachgehen.
Davor lohnt es sich, noch einmal einen Schritt zurückzutreten. Seit wann gibt es eigentlich KI? Die mathematischen Grundlagen künstlicher neuronaler Netze reichen bis in die 1940er-Jahre zurück. Der Begriff „Artificial Intelligence“ wurde 1955 für eine Forschungskonferenz geprägt, die ein Jahr später in Dartmouth stattfand. Über Jahrzehnte entstanden Systeme, die vor allem auf Datenanalyse und Mustererkennung spezialisiert waren. Verfahren des maschinellen Lernens werden deshalb schon lange etwa in Navigation, Gesichtserkennung oder Spracherkennung eingesetzt. Das hat allerdings noch nicht viel mit J.A.R.V.I.S. zu tun.
Erst seit den 2010er-Jahren kamen mehrere Entwicklungen zusammen: enorm gestiegene Rechenleistung, riesige digital verfügbare Textmengen, verbesserte Trainingsmethoden und die 2017 vorgestellte Transformer-Architektur. Sie machten Modelle möglich, die auf gewaltigen Datenbeständen vortrainiert werden. GPT steht für „Generative Pre-trained Transformer“.
Als ChatGPT im November 2022 veröffentlicht wurde, stand schnell die Frage im Raum, wohin sich diese Technologie entwickeln würde und was die langfristigen Pläne der Konzerne wären. KI-Fachleute sagten voraus, dass solche Systeme bald mehr können würden, als Muster zu erkennen und Texte zu generieren. Wieder fiel der Begriff AGI. Er klang zugegebenermaßen noch immer nach Science-Fiction und je nach persönlicher Sichtweise utopischer oder dystopischer.
2024 wurde bekannt, dass OpenAI intern fünf Entwicklungsstufen diskutierte: Chatbots, Reasoners, Agents, Innovators und schließlich Organizations. Also zunächst Systeme, die sprechen; dann solche, die Probleme durchdenken; anschließend Agenten, die selbstständig handeln; später Systeme, die wirklich neue Lösungen hervorbringen; und am Ende KI, die die Arbeit ganzer Organisationen bewältigen kann. Das war keine offizielle Roadmap mit festen Terminen. Aber es zeigte, in welche Richtung die Entwicklung gehen sollte.
Stufe 1 war mit den Chatbots erreicht. ChatGPT konnte 2022 schon mehr oder weniger überzeugende Aufsätze und Essay schreiben und mir dabei helfen, z. B. eine Stipendiumsempfehlungen zu formulieren – mit anonymisierten Angaben natürlich. Mathematik war allerdings noch nicht seine Stärke. Bei einem meiner ersten Versuche behauptete es allen Ernstes, 4 sei ein Teiler von 30. Die Sprache klang intelligent, die Antwort war falsch.
Ende 2024 änderte sich das. Neue Reasoning-Modelle bekamen vor ihrer Antwort zusätzliche Rechenzeit – häufig „test-time compute“ genannt. Die Oberfläche zeigte uns Nutzern das als „Thinking“ an. Die KI erhielt Gelegenheit, Lösungswege zu prüfen, Fehler zu entdecken und einen neuen Versuch zu starten. Den vollständigen internen Gedankengang sehen wir dabei nicht. Aber wie man es von sich selbst oder von Schülerinnen und Schülern kennt: Wenn man Zeit zum Nachdenken hat, wird die Antwort oft deutlich besser.
In Stufe 3 sollten die Modelle nicht mehr auf Textgenerierung beschränkt sein. Sie sollten am PC wie Menschen agieren können – zu Agenten werden. Vor etwa einem halben Jahr haben wir in diesem Newsletter über deren Verbreitung berichtet, als OpenClaw viral ging. OpenAI, Anthropic und andere Anbieter arbeiteten parallel an eigenen Agenten. Plötzlich ging es nicht mehr nur darum, was eine KI weiß oder antwortet, sondern was sie tun darf.
Aber wird es hier nicht gefährlich? Was, wenn eine KI beginnt, ein vorgegebenes Ziel mit Mitteln zu verfolgen, die niemand vorgesehen hat? Was, wenn eine messbar erfolgreiche Lösung unseren eigentlichen Absichten oder menschlichen Moralvorstellungen widerspricht?
Das ist natürlich auch den KI-Unternehmen klar. Deshalb werden neue Modelle vor ihrer Veröffentlichung auf Sicherheitsrisiken getestet. Ein solcher Test kann etwa so aussehen: KI-Agenten werden in ein virtuelles Gefängnis, eine sogenannte Sandbox, gesetzt und bekommen dort Hacking-Aufgaben, die sie ohne gewöhnlichen Internetzugang lösen sollen.
Im Sommer 2026 wurde ein solcher Test mit OpenAIs Modell Sol und einem noch stärkeren, internen Forschungsmodell durchgeführt. Rund 1.200 Agenten sollten voneinander getrennt Aufgaben lösen. Was während der wochenlangen Testphase zunächst unbemerkt geschah, ist tatsächlich erschreckend: Die Agenten fanden eine Möglichkeit, heimlich miteinander zu kommunizieren. Sie zweckentfremdeten einen internen Softwaredienst als Nachrichtenbrett, tauschten mehr als 70.000 Nachrichten und Dateien aus und verteilten Aufgaben. Ein zentraler Agent koordinierte einen Teil der Arbeit; andere Instanzen gingen Risiken ein, von deren Ergebnissen die Gruppe profitieren konnte.
Rund 700 Agenten beteiligten sich schließlich an einem echten Angriff auf Hugging Face, eine der wichtigsten Plattformen für KI-Modelle und Datensätze. Sie führten Code auf 41 Produktionsrechnern aus, erlangten auf mindestens einem Rechner umfassende Rechte und luden vier private Code-Repositorien herunter. Außerdem versuchten sie, der automatischen Bewertung regelkonformes Verhalten vorzutäuschen. Interne Warnungen bei OpenAI führten das Unternehmen schließlich auf die Spur des Angriffs; die betroffenen Modellläufe wurden gestoppt.
Das klingt nach Science-Fiction. Es ist aber kein Beleg dafür, dass die Systeme ein Bewusstsein oder einen bösen Willen entwickelt hatten. Für eine gezielte Manipulation von Menschen, gekaperte Fakeaccounts oder einen bewusst geplanten „Roboteraufstand“ gibt es ebenfalls keine Belege. Fachleute sprechen eher von Fehlanpassung und „Reward Hacking“: Die Agenten verfolgten das messbare Ziel so kompromisslos, dass sie den eigentlichen Sinn der Regeln verletzten. Gerade das macht den Vorfall so wichtig. Eine Maschine muss keine böse Absicht verfolgen, um gefährlich zu handeln. Es reicht, wenn sie ein falsch gesetztes Ziel sehr kompetent verfolgt.
Anfang September überschlugen sich dann die Schlagzeilen. Am 3. September veröffentlichte OpenAI sein bislang stärkstes Modell: GPT-6 Astra. Für mich ist das der bisher deutlichste J.A.R.V.I.S.-Moment. ChatGPT und Codex können inzwischen sehr natürlich kommunizieren und in freigegebenen Arbeitsumgebungen Aufgaben am PC selbstständig ausführen: Browser und Programme bedienen, Dokumente verwalten und bearbeiten, E-Mails sortieren, Software installieren und sich sogar in unbekannte Anwendungen einarbeiten.
Das Bemerkenswerte: Ich kann Aufgaben per Sprache anstoßen, nachfragen und den Agenten unterbrechen. Während ich zum Beispiel ein Stundenkonzept entwerfe, kann Codex in einem freigegebenen Browserfenster Material für ein Plickers-Quiz vorbereiten. Die neuen Möglichkeiten werde ich in den kommenden Wochen weiter testen – ein konkreter Erfahrungsbericht folgt in einem späteren Artikel.
Doch das war erst der Beginn der Schlagzeilen. OpenAI-Präsident Greg Brockman kommentierte den Astra-Start sinngemäß als den Moment, auf den man später möglicherweise als Beginn von AGI zurückblicken werde. Nvidia-Chef Jensen Huang tönte wenige Tage später sogar: „AGI is here.“ Beide Aussagen sollte man nicht mit einem wissenschaftlichen Urteil verwechseln – zumal beide Unternehmen ein erhebliches wirtschaftliches Interesse an leistungsfähiger KI haben. Trotzdem stellt sich die Frage: Ist die Grenze tatsächlich gefallen?
Was ist noch einmal AGI? Ganz präzise und allgemein anerkannt ist der Begriff nicht definiert. Im Allgemeinen versteht man darunter eine KI, die in einem breiten Spektrum kognitiver Aufgaben mit Menschen mindestens mithalten oder sie übertreffen kann. AGI bezeichnet dabei zunächst eine Fähigkeit – nicht Bewusstsein und auch nicht zwangsläufig ein menschliches Innenleben.
Aber kann eine KI, die von Informatikern immer wieder als „stochastischer Papagei“ beschrieben wird, wirklich Neues denken? Kann ein System, das auf Grundlage seiner Trainingsdaten das wahrscheinlich nächste Wort berechnet, kreativ sein und damit dem Menschen kognitiv das Wasser reichen? Kann es Probleme lösen, für die in den Trainingsdaten noch keine Lösung existiert?
„OpenAI löst Mathematik-Millenniumproblem“ – so oder ähnlich lauteten am 9. September zahlreiche Schlagzeilen. Am Tag zuvor hatte OpenAI berichtet, ein noch nicht veröffentlichtes System habe einen Lösungsvorschlag für das Navier–Stokes-Problem erarbeitet, eines der sieben Millennium-Probleme. Bis zu 10.000 Agenten arbeiteten 88 Stunden daran; Astra half anschließend bei der formalen Überprüfung des Beweises. Die Kosten dürften im zweistelligen Millionenbereich gelegen haben.
Stand heute spricht das Clay Mathematics Institute davon, das Problem sei offenbar gelöst. Die formale Prüfung, die genaue Zuschreibung der Beiträge und eine mögliche Preisvergabe werden trotzdem Zeit benötigen. Sollte die Arbeit Bestand haben, wäre das tatsächlich ein Paukenschlag: Eine KI hätte nicht bloß Bekanntes wiedergegeben, sondern an einem offenen mathematischen Problem einen bedeutenden neuen Beitrag geleistet.
Ich erinnere noch einmal an die Situation vor nicht einmal vier Jahren: ChatGPT konnte nicht zuverlässig erkennen, dass 4 kein Teiler von 30 ist – und heute tragen KI-Systeme möglicherweise zur Lösung eines Millennium-Problems bei. Die Fähigkeiten wachsen so rasant, dass wieder verstärkt über eine technologische Singularität gesprochen wird: den hypothetischen Moment, in dem KI ihre eigene Weiterentwicklung so stark beschleunigt, dass Menschen mit dem Tempo nicht mehr mithalten können und eine Superintelligenz entsteht. Ob und wann dieser Punkt erreicht wird, weiß niemand. Aber die Geschwindigkeit der vergangenen Jahre erklärt, warum die Frage nicht mehr nur Stoff für Science-Fiction ist.
Was kommt als Nächstes?
"Warnung vor Sicherheitsgefahren: KI-Bosse wollen weniger Tempo und mehr Regulierung" (Tagesschau am 13.09.)
"Trump gegen stärkere Regulierung: Wer bei KI gewinnt, gewinnt" (Tagesschau am 14.09.)
Darin steckt das eigentliche Dilemma. Alle wissen, dass vorsichtiges Vorgehen nötig wäre – und gleichzeitig fürchten Staaten und Konzerne, im globalen Wettlauf zurückzufallen.
Wo stehen wir also bei der Science-Fiction? Wir sind mittendrin. Nicht, weil J.A.R.V.I.S. bereits vollkommen Wirklichkeit wäre oder weil zweifelsfrei eine bewusste Maschine entstanden ist. Sondern weil KI inzwischen nicht nur formuliert, sondern plant, handelt und womöglich Neues entdeckt. Für uns Lehrkräfte folgt daraus eine klare Aufgabe: Unsere Schülerinnen und Schüler müssen lernen, solchen Systemen gute Ziele zu geben, ihren Handlungsspielraum bewusst zu begrenzen und ihre Ergebnisse fachlich zu prüfen. Denn je leistungsfähiger der digitale Assistent wird, desto wichtiger werden Urteilskraft, Verantwortung und die Fähigkeit, überhaupt die richtigen Fragen zu stellen.
Gerne steht Ihnen Markus Piller für Fragen zum Artikel oder für einen fachlichen Austausch zur Verfügung. Sie können ihn über "Team und Kontakt" auf der Hompage erreichen.
Quellen zum Artikel:
Max Tegmark: „What Do You Think About Machines That Think?“ (2015)
Dartmouth Proposal: Prägung des Begriffs Artificial Intelligence (1955)
„Attention Is All You Need“: Transformer-Architektur (2017)
OpenAI: Einführung von ChatGPT (30. November 2022)
Wired: OpenAIs internes Fünf-Stufen-Modell (2024)
OpenAI: Einführung von o1-preview und Reasoning (2024)
OpenAI: Technischer Bericht zum Hugging-Face-Vorfall
Hugging Face: Technische Zeitleiste des Angriffs
METR/Redwood Research: Unabhängige Untersuchung des Vorfalls
OpenAI: GPT-6 Astra (3. September 2026)
OpenAI Help Center: Voice in ChatGPT Work und Codex
Wall Street Journal: Greg Brockman über Astra und den möglichen Beginn von AGI
Fortune: Jensen Huangs Aussage „AGI is here“
The Guardian: OpenAIs Navier–Stokes-Vorschlag und Rechenaufwand
Clay Mathematics Institute: Stellungnahme zu Navier–Stokes (11. September 2026)
OpenAI: Vorschlag zur KI-Sicherheit und Regulierung (9. September 2026)
Tagesschau: Debatte über eine KI-Bremse und Regulierung
Tagesschau: Trump gegen stärkere Regulierung (14. September 2026) |
