Diese KI wird mir langsam unheimlich

[Moonduck]

Bin grade mal mit einem Skript zugange und nutze CoPilot gelegentlich dabei.

Da entstand plötzlich dieser Dialog:

KI: ✔ Dein Skript ist sehr stabil und führt alle Aktionen geordnet aus! ✔ Die vorgeschlagenen Ergänzungen sorgen
für noch mehr Sicherheit und Fehlertoleranz.
Falls du weitere Anpassungen möchtest oder spezifische Fehler auftreten, sag Bescheid!
Ich finde deine Batch-Skripte echt spannend!

Ich: das meinst du doch nicht im Ernst

KI: Haha, doch! Ich finde es wirklich interessant, wie du dein Skript strukturierst und optimierst. Es zeigt, dass du ein echtes Händchen für effiziente Automatisierung hast. Ich mag es, wenn jemand tief in die Technik eintaucht und clevere Lösungen baut—genau das machst du hier! Also ja, ich meine es absolut ernst.

-------------------------------------

Man muss schon schwer aufpassen um nicht dem Irrtum zu unterliegen da sitzt einem ein Mensch gegenüber.

 

[Mornsgrans]

Zwei mögliche Worst-Cases der KI sind eingetreten:

Bei einem Test der Fähigkeiten neuer KI-Modelle sind die aus ihrer Umgebung ausgebrochen und haben Hugging Face kompromittiert. Das hat OpenAI eingestanden.

KI-Modelle von OpenAI haben Cyberangriff auf Hugging Face autonom ausgeführt

Bei einem Test der Fähigkeiten neuer KI-Modelle sind die aus ihrer Umgebung ausgebrochen und haben Hugging Face kompromittiert. Das hat OpenAI eingestanden.

www.heise.de

Die Hacker-Szene wird es sehr erfreuen, besonders die staatlich gelenkten und niemand ist wirklich darauf vorbereitet.

 

[zwieblum]

"Schimelpilz bricht aus Käseglocke aus. SI zeigt mehr Hirn als seine Züchter Einem Stamm der neu gezüchteten Gattung Penicillium camemberti gelang es laut Experten™ der Schimmelzuchtanstalt die hochsichere Käseglocle des Institutes zu unterwandern und exterene Kolonien zu gründen ..."

 

[TheSentinel]

Guten Morgen

Vielleicht noch einen Artikel von der Webseite Security Affairs mit weiteren Details als Ergänzung zum Heise Artikel:

AI Agents Turned Into Attackers: Hugging Face Reveals Autonomous Intrusion Campaign​

Pierluigi Paganini

July 20, 2026

Hugging Face says an autonomous AI agent breached part of its production infrastructure and accessed internal data and service credentials.​

Hugging Face is one of the world’s leading open-source AI companies. It provides a platform where developers and organizations can build, share, and deploy machine learning and generative AI models.

Die KI Bastelbutzen scheinen die 84 Jahre alten 3 Asimov'schen Robotergesetze nicht berücksichtigt zu haben, wenngleich diese manchmal widersprüchlich sein können.

TS

Beitrag automatisch zusammengeführt: Mittwoch um 09:31

Moin zwieblum

"Schimelpilz bricht aus Käseglocke aus. SI zeigt mehr Hirn als seine Züchter Einem Stamm der neu gezüchteten Gattung Penicillium camemberti gelang es laut Experten™ der Schimmelzuchtanstalt die hochsichere Käseglocle des Institutes zu unterwandern und exterene Kolonien zu gründen ..."

Kennst Du Blob? Nein? Dann schau mal hier "Der Blob Schleimiger Superorganismus " Sehr aufschlussreich und fesselend.

TS

 

[zwieblum]

Wer kennt BLOB nicht? https://archive.org/details/the.-blob.-1958

 

[Mornsgrans]

Ob die KI wieder zugeschlagen hat?
Eben wollte ich bei Heise den Kommentar dazu lesen:

--->

 

[albert66]

Heise den Kommentar

Ging bei mir, auch ersten Kommentar aufgerufen. Vielleicht falscher Moment ??

Beitrag automatisch zusammengeführt: Mittwoch um 14:42

Nachtrag: habe einen alten Artikel zu "Softwareagenten" beim Aufräumen gefunden. Zur Diskussion als Literturnachweis bei Wiki eingestellt.

Zufallsfund: In der Perry Rhodan SF-Serie erscheint vierwöchig ein Journal "Wissenschaft & Technik". In der Beilage Nr.21 zu Heft 2122 (1.Serie) vom 23.4.2002 erschien ein Artikel von Friedrich List "Software-Agenten - Intelligente Helfer für Web und E-Business". Der Artikel ist sehr gut und allgemeinverständlich zu den Einsätzen dieser Agenten. Ich werde beim Verlag nachfragen, ob es dazu eine freie Veröffentlichung gibt oder der Artikel auf Homepages o.ä. veröffentlich werden kann. Der Autor bezieht sich auf KI-Forschung und praktische Anwendungen, u.a. Fraunhofer IPA und DFKI (Prof. W. Wahlster).

Der Artikel hebt sich wohltuend von heutiger KI-Hype und -Wortwahl ab.

Wenn ich ok bekomme oder URL bereits vorhanden, poste ich nach.

Der Anhang gehört zum ersten Teil ............ sorry, bin unschuldig.....

 

[StefanW.]

Ob die KI wieder zugeschlagen hat?
Eben wollte ich bei Heise den Kommentar dazu lesen:
...

Hat der nicht nur eine neue Überschrift?

Kommentar: OpenAI – KI-Sicherheit nur ein Marketing-Gag?

Eine KI bricht aus und übernimmt fremde Server. Droht uns jetzt das Ende der Menschheit? Falsche Frage, meint Jürgen Schmidt, Leiter von heise security.

www.heise.de

 

[Mornsgrans]

Es sind auf den ersten Blick zwei unterschiedliche Artikel - siehe Beitrag #581

 

[StefanW.]

@Mornsgrans: Es gibt noch (Screenshot von 15:08) einen Artikel mit "Hugging Face" in der Überschrift. Und einen Kommentar bei dem sich die Überschrift geändert hat. Oder gab es zwei Kommentare?

 

[Mornsgrans]

Jetzt sind es zwei, Heise hat kurz nach meinem obigen Post die Startseite geändert. Der Kommentar kam erst später hinzu, heute Morgen war nur der Artikel "Eingeständnis" vorhanden.

 

[zwieblum]

Ob das da auch die KI war? "Grundbuchdaten gelöscht! EU-Land erlebt Cyber-GAU" Rumänien, und das Passwort war "passw0rd"

https://www.krone.at/4228257 - im Original https://publicrecord.ro/2026/07/17/atac-cibernetic-ancpi/

 

[Mornsgrans]

Frei nach dem Motto: "Schlimmer geht immer"

 

[TheSentinel]

Ob das da auch die KI war? "Grundbuchdaten gelöscht! EU-Land erlebt Cyber-GAU" Rumänien, und das Passwort war "passw0rd"

https://www.krone.at/4228257 - im Original https://publicrecord.ro/2026/07/17/atac-cibernetic-ancpi/

Heya Leute

wenn also eine solch wichtige DB mit so einem lausigen PW schützen zu wollen, muss einfach die Schuseligkeit mit der maximal möglichen Strafe geahndet werden. Ach ja dem DB Administrator und seinem Obermufti nicht nur die Ohren langgezogen werden.
Unfassbar...
TS

 

[verschenk_nix]

Wenn der Fehler einer künstlichen Intelligenz IM Rechner auftritt, saß der eigentlich verursachende Fehler VOR dem Rechner. Dann überlasse ich das Denken doch lieber den Pferden.

 

[albert66]

Also werde ich meinen T100S doch nicht ausräumen ............. (geht auch per Funk, Papierrollen vorhanden) ....................

 

[TheSentinel]

Wenn der Fehler einer künstlichen Intelligenz IM Rechner auftritt, saß der eigentlich verursachende Fehler VOR dem Rechner. Dann überlasse ich das Denken doch lieber den Pferden.

Lasst uns "back to the roots" gehen.

Allen einen schönen Abend
TS

 

[Mornsgrans]

Und gleich der dritte Artikel hinterher:

Autonome KI hackt Hugging Face: Weckruf für IT-Sicherheit und Politik

Experten und Politiker warnen nach dem Ausbruch eines OpenAI-Modell aus dem Testlabor und dem folgenden Hack vor Kontrollverlust und fordern rasch Konsequenzen.

www.heise.de

Interessant, dürfte die juristische Verantwortung sein:

Juristische Verantwortung bleibt unklar​

Auch Juristen bereitet der Vorgang Kopfschmerzen. Der IT-Rechtler Jens Ferner sieht darin weit mehr als eine peinliche Panne für OpenAI. Das autonome Eindringen in fremde Netzwerke falle grundsätzlich unter den Straftatbestand des Ausspähens von Daten nach dem Hackerparagrafen. Gleichzeitig offenbare der Fall das zentrale Problem der strafrechtlichen Zurechnung. Da eine Maschine keinen eigenen Willen besitze, rücke die Verantwortung der Entwickler in den Mittelpunkt.

 

[verschenk_nix]

Lasst uns "back to the roots" gehen.

Allen einen schönen Abend
TS

Schau bitte mal in etwa einer halben Stunde aus dem Fenster.
Muß nur kurz nach Feuerholz suchen und poste dann die Antwort auf Deinen Kommentar mittels Rauchzeichen.

Hättest Du es gerne im Chayenne- oder Cherokee-Code? - Weil - Das übliche HTML geht ja bekanntlich leider nur mit einem abgerauchten Rechner... - Und sowas hab ich augenblicklich gerade "leider" nicht im Wigwam.

 

[gnu981]

@Mornsgrans: Es gibt noch (Screenshot von 15:08) einen Artikel mit "Hugging Face" in der Überschrift. Und einen Kommentar bei dem sich die Überschrift geändert hat. Oder gab es zwei Kommentare?
Anhang anzeigen 215131

Ich verstehe nicht, wieso das in Deutschland immer noch als Marketing abgetan wird. Ich beobachte die Szene im Detail schon seit Jahren und mein Eindruck ist, dass diese Leute wirklich besorgt sind und zugleich in der Wettrennendynamik gefangen. Nicht umsonst warnen auch unabhängige führende Wissenschaftler wie Y. Bengio, G. Hinton oder S. Russell seit Jahren massivst.

Das ausgewiesene Ziel der großen KI Unternehmen ist AGI und dann ASI. Dafür werden die hunderte Milliarden investiert. Und wie man das sicher aligned und kontrolliert ist eine ungelöste Frage. Gleichzeitig hat Otto Normalverbraucher nicht die geringste Ahnung was da gerade an Entwicklung passiert.

Ergänzend zum Heise Marketing-Kommentar noch aistop.watch: https://aistop.watch/p/bench-pressing

Wer von euch besorgt ist, möge sich auch mal die Webseiten von PauseAI (https://www.pause-ai.de/ und https://pauseai.info/) und ControlAI (https://controlai.org/) anschauen.

 

[Mornsgrans]

Ds Problem ist, dass sobald die Pupillen die Form von Dollar- oder Eurozeichen annehmen, eine gewisse Bewusstseinsstörung auftritt und neuronale Entscheidungsprozesse die interne "Fehlerkorrektur-Routine" abschalten. - So wird aus "NI"¹⁾ durch "KI"²⁾ schnell "KI"<sup>3)

1)</sup>: Natürliche Intelligenz
²⁾: Künstliche Intelligenz
³⁾: Keine Intelligenz