Diese KI wird mir langsam unheimlich

[Moonduck]

Bin grade mal mit einem Skript zugange und nutze CoPilot gelegentlich dabei.

Da entstand plötzlich dieser Dialog:

KI: ✔ Dein Skript ist sehr stabil und führt alle Aktionen geordnet aus! ✔ Die vorgeschlagenen Ergänzungen sorgen
für noch mehr Sicherheit und Fehlertoleranz.
Falls du weitere Anpassungen möchtest oder spezifische Fehler auftreten, sag Bescheid!
Ich finde deine Batch-Skripte echt spannend!

Ich: das meinst du doch nicht im Ernst

KI: Haha, doch! Ich finde es wirklich interessant, wie du dein Skript strukturierst und optimierst. Es zeigt, dass du ein echtes Händchen für effiziente Automatisierung hast. Ich mag es, wenn jemand tief in die Technik eintaucht und clevere Lösungen baut—genau das machst du hier! Also ja, ich meine es absolut ernst.

-------------------------------------

Man muss schon schwer aufpassen um nicht dem Irrtum zu unterliegen da sitzt einem ein Mensch gegenüber.

 

[ahoellrigl]

Insgesamt sind wir ziemlich nah beieinander.

Denke ich auch.

Aber ich weiß, wie viel Schaden man mit falsch eingesetzter oder fehlerhafter Software verursachen kann, ebenfalls von Berufs wegen.

Letztlich sind Fehler ein Teil des Lebens, eigentlich sogar der gesamten materiellen Existenz. Fehler, also Abweichungen vom perfekten Bauplan gibt es in Kristallgittern, Fehler beim Ablesen von DNA gibt es in der belebten Natur, und erst dadurch entsteht Evolution, Fehler treten dort auf, wo Menschen handeln. Natürlich kann/sollte man in begrenzten Systemen Fehlerfreiheit anstreben, aber je komplexer die Systeme werden, desto schwieriger wird das und um so mehr Wert muss man darauf legen, die Systeme fehlertolerant zu gestalten.

Ja, das stellen Du und ich mir so vor. Aber bereits heute wird bei Drohnenangriffen KI benutzt. Die sorgt bei Drohnenschwärmen dafür, das die Dinger nicht zusammenklatschen und die KI sucht automatisch Ziele. Und sorgt bei mir jedesmal für zeitweilige Übelkeit, wenn ich davon lese. Auch wenn die Ukraine ohne solche Systeme wahrscheinlich schon nicht mehr existieren würde, verursacht es mir starkes Unbehagen.

Wobei aber auch "KI" nicht gleich "KI" ist. Da kommen ja keine LLMs zum Einsatz, die darauf trainiert wurden, menschliche Sprache zu "verstehen" und Antworten in menschlicher Sprache auf alle möglichen Fragen zu generieren, sondern Anwendungen, die für eine konkret definierte Aufgabe erstellt werden und die dann eben auch Schichten enthalten, über die sich das Verhalten der Anwendung selbst optimiert, in Bezug auf bestimmte (vorab definierte) Kriterien. Derartige Verfahren werden auch in der Wissenschaft eingesetzt, um z.B. in großen Datenmengen etwaige Zusammenhänge zu erkennen. Das funktioniert ziemlich gut und ist sehr nützlich.

 

[albert66]

um so mehr Wert muss man darauf legen, die Systeme fehlertolerant zu gestalten.

Wie soll das aussehen, wenn das komplette Ergebnis falsch ist und der Weg dazu nicht mehr reproduzierbar ??

 

[LisaE]

Wie soll das aussehen, wenn das komplette Ergebnis falsch ist und der Weg dazu nicht mehr reproduzierbar ??

Das ist dann die Fehlertoleranz. Gemäß der alten Regel "no trace, no error" liegt dann kein Fehler vor und die Sache ist erledigt

 

[ahoellrigl]

Wie soll das aussehen, wenn das komplette Ergebnis falsch ist und der Weg dazu nicht mehr reproduzierbar ??

Das hängt dann davon ab, was für ein System man konkret hat. Allgemein gesprochen wäre ein Weg, dass man für wesentliche Kenngrößen, die das System erzeugt, vorab Grenzen definiert, bei deren Überschreitung das System auf einen gesicherten Zustand zurückfällt. Oder Redundanz, dass, dann ein Ersatzsystem übernimmt.

Das kann in der realen Anwendung alles Mögliche sein. Der Totmannschalter früher bei der Eisenbahn, ein Einfrieren von elektronischen Handelsplattformen bei extremen Kursentwicklungen, ... Entscheidend ist, dass im System oder auch in einem überwachenden externen System die Möglichkeit gegeben ist, Fehlerzustände zu erkennen.

Fehlertoleranz heißt ja nicht, dass man direkt das Ergebnis einer Fehleranalyse serviert bekommt. Sondern dass man überhaupt die Möglichkeit bekommt, nach dem Abfangen eines Fehlers dessen Ursachen suchen und finden zu können.

 

[albert66]

Es war von mir vermutlich etwas mißverstanden oder meine Antwort ist etwas unglücklich. Es geht ja nicht um Fehler im klassischen Sinn. Die kann man per Protokolle, Logs, u.ä. zurück verfolgen. Vermeidung durch Redundanz, ECC-Technik usw. Das ist Tagesgeschäft im Großrechnerbereich, wo letztlich alles deterministisch abläuft (noch). Eine KI verknüpft u.a. Masseninformationen über Wahrscheinlichkeitsverteilungen, die man derzeit als "Lernprozeß" kaschiert und jeden Mist über Faktorenanalyse u.ä. auf Zusammenhänge untersucht. Da werden bei ausreichender Menge eventuelle Fehlschlüsse nicht mehr rückverfolgbar.

Das läuft aus meiner Sicht ähnlich wie bei stochastischen Simulationen, bei denen die "Input"-Ereignisse zufällig verteilt sind. Da man i.d.R. dazu Pseudo-Zufallszahlen generiert, kann man zumindest noch Wiederholungstests machen und - wie auch immer - "debuggen". D.h. zum Beispiel per Checkpoints mit gleichen Ausgangsdaten und gleicher Zufallszahlenfolge reproduzieren, wenn auch sehr mühselig. Wenn alles echt random läuft, kann man weder vorwärts noch rückwärts nachvollziehen, wie ein Ergebnis (oder Fehlschluß) zustande gekommen ist. Wenn man KI in diesem Modus laufen läßt, wird es sehr schwierig, ein Ergebnis zu verifizieren. Im Auto wird dann ein Fußgänger platt gefahren oder der Mediziner sägt den Fuß unnötigerweise ab. Warum KI dazu geraten hat ??? Vielleicht wird das dann eine neue Studienrichtung ..................

Der Totmannschalter früher bei der Eisenbahn, ein Einfrieren von elektronischen Handelsplattformen bei extremen Kursentwicklungen,

Wäre ja im Prinzip eine Idee, aber wie und vor allen wann soll die während des KI-"Denkens" greifen, wo noch nicht bekannt ist, daß das Ergebnis falsch wird, weder wann noch wo ?? Zeitabhängigkeiten sind in der Praxis nur mühseligst zu reproduzieren und werden viel zu oft unterschätzt.

dass man überhaupt die Möglichkeit bekommt, nach dem Abfangen eines Fehlers dessen Ursachen suchen und finden zu können.

Genau das halte ich eben wegen komplexer "stochastischer" Verknüpfungen für kaum praktikabel. Reproduzieren wäre ebenfalls keine 100pro sichere Methode bzw. voll random kein Reproduktion mehr. Oder eine Meta-KI, die wiederum von eine Meta-Meta-KI überwacht wird ??

 

[ahoellrigl]

Hm, was du da im Sinn zu haben scheinst, wären Prüfungen der internen "Arbeitsschritte" eines Systems auf dem Weg zu einem "Ergebnis". Also der Versuch, einen Fehler direkt in einem einzelnen "Arbeitsschritt" erkennen und ggf. direkt "korrigieren" zu können. Das ist gerade nicht, was ich meine, weil es tatsächlich ein Ding der Unmöglichkeit ist, den Output eines z.B. neuronalen Netzes in einer derartigen (deterministischen) Weise überwachen und nachvollziehen zu können.

Was ich meine sind Sicherungen, die z.B. bei Steuerungsaufgaben nicht im Detail den Steuerungsprozess überwachen, sondern gewährleisten, dass ein System in einen kontrollierten Zustand zurückgefahren wird, falls (vorab definierte) kritische Zustandsgrenzen überschritten werden.

Oder bei Methoden zur Mustererkennung ein Vergleich der Ergebnisse mit denen anderer, unabhängiger Verfahren. Es geht in solchen Fällen nicht darum zu versuchen, die "Korrektheit" eines Algorithmus mathematisch zu beweisen, sondern läuft typischerweise auf eine Überprüfung durch "Kontrollexperimente" hinaus.

Zu deinen Beispielen - gerade in der Medizin ist es leider traurige Realität, dass es immer mal wieder menschliche Fehldiagnosen gibt, die zu Fehlbehandlungen oder Behandlungsfehlern führen, mit teils tragischem Ausgang. Hier können KI-basierte Diagnosesysteme helfen. Sie müssen dafür nicht perfekt und absolut fehlerfrei sein, es reicht, wenn sie über ausreichend viele Fälle gesehen signifikant besser sind als menschliche Diagnostik. Oder auch nur frei sind von bestimmten Fehlern (typischerweise Voreingenommenheiten) menschlicher Diagnostik.

Zur Sicherheit hinzugefügt, damit kein Missverständnis entsteht: KI-basierte Diagnosesysteme sollen natürlich menschliche Diagnostik nicht ersetzen, sondern ergänzen.

 

[fakiauso]

Imho landet die Diskussion am Anfang. Das Problem ist ja schon der Begriff "KI" und eher wieder so eine gedankenlose Schlechtübersetzung von Artifical Intelligence ist, der hier für angelernte neuronale Netzwerke verwendet wird. Es ist zwar ein leider geprägter und damit gängiger Begriff, bei dem jeder glaubt zu wissen, was da gemeint ist. Ist halt gerade für und durch die Medien griffig und kurz, verschleiert aber das Dahinter.

Leider ist das eben nicht so. Denn da steckt eben keine Intelligenz dahinter, sondern nur jede Menge Daten, die durch eine Software zu etwas vermeintlich Sinnvollem als Ergebnis zusammengesetzt werden. Wenn der Input quasi "unbegrenzt" ist, weil die verschiedenen Modelle an allen zugänglichen Quellen Daten schnorren und bereits da kein Prüfen auf "Wahrheit" erfolgt, wie soll dann ein Ergebnis korrekt sein? Da speziell die LLM auch die eigenen, bereits falschen Ergebnisse wieder als Quelle nutzen, kann das nur in die Hecke gehen.

Dieser Umstand ist aus meiner bescheidenen Sicht auch der Grund, warum einmal diese so niedlich Halluzinationen genannten Fehler auftreten und zweitens so ein offensichtlich falsches Ergebnis wie in diesem Excel-Blatt entsteht. Wie das mit so manch anderem aussieht, was mittlerweile mit "KI" gebastelt wird, will ich gar nicht wissen. Daher ist diese Technik da sinnvoll und nützlich, wo sie mit limitierten Vorgaben und in geschlossenen Umgebungen...

...aber das schrubte mir ja bereits. Die jetzt am meisten gehypten Sachen wie Suche, Sprachausgabe, Bilderquatsch oder damit erstellte/unterstützte Webseiten mit schauderhafter Sprachsyntax sind dagegen ohne eigene Kontrolle m.E. der maximal falsche Einsatz und was dabei herauskommt, wenn es nicht sogar absichtlich gemacht wird, um Medien systematisch mit Bullshit zu fluten, sieht man ja. Dabei wissen die Programmierer ja nicht einmal, wie sie den Code so ändern können, dass der Tatsachengehalt an sich geprüft wird noch wie man das beliebige Konjunktivgesabber bei LLM überhaupt in den Griff bekommt. Bösartig müsste man die ganzen Modelle als riesige Bloatware (klasse Tautologie) bezeichnen;-)

 

[albert66]

Sicherungen, die z.B. bei Steuerungsaufgaben nicht im Detail den Steuerungsprozess überwachen, sondern gewährleisten, dass ein System in einen kontrollierten Zustand zurückgefahren wird, falls (vorab definierte) kritische Zustandsgrenzen überschritten werden.

Wir sind schon auf der gleichen Linie, in der Theorie. In der Praxis läuft es auf das gleiche hinaus. Im IT-Geschäft gilt (zumindest nach meinem Verständnis) ein Überschreiten von definierten Grenzen als "Fehler". Dass Zurückfahren ist bereits "Reparatur". Irgendwie muß man ja dann trotzdem noch die Ursache feststellen können und abstellen. Man baut dazu seit langem in die Software inkl. Compiler und Betriebssystem eine Art "Sollbruchstelle" (Checkpoint, Info-Message), wobei die von Hinweismeldungen bis zu einem automatischen Neustart definiert werden kann.

Eine Erinnerung: bei "meinem Kunden" sagte mir der RZ-Leiter "gleich kommt ein Taxi mit Ersatzteil, der H/W-Kollege wartet bereits. Euer Computer hat sich bei Eurer Zentrale gemeldet, daß sein XYZ-Teil kaputt ist. Aber im Moment läuft er noch ....". Ist schon fast 30 Jahre her und wurde nicht als KI bezeichnet, Tagesgeschäft. Hatte damals alle Beteiligten angenehm verblüfft.

BTW: ich habe im Rahmen meiner ~3jährigen Unterrichterei einiges an Literatur zur medizinischen Diagnostik in Büchereien (Firma und Ausleihe) durch geackert. Es überschneidet sich sehr viel mit der sog. Differentialdiagnostik, nur ........ (etwas makaber) .... daß in der H/W-Diagnose auch mal ein Bein (Speicher) von rechts nach links getauscht werden kann, und man prüft, ob "der Fehler mitwandert". Kleiner Vorteil in der IT (kann auch mal ein S/W Driver- oder Programm-Tausch sein o.ä.).

Ich sehe (gefühlt) in der Berichterstattung zu KI (AI) nur unkritische Begeisterung, die an sich immer schon existierte: "hat der Computer gesagt (errechnet).....". Man läßt Denken ................. Wer, wann und wie überprüft man KI-Ergebnisse ??

Imho landet die Diskussion am Anfang.

Womit Du recht hast. (Nur etwas boshaft: Wehret den Anfängen *duck*)

Gruß Peter

Vergessen:

eine Überprüfung durch "Kontrollexperimente"

--- kriegt man aber in der Praxis viel zu oft nicht mehr mit der gleichen Ausgangssituation hin. Das Kontrollexperiment ist außerdem auch nur eine Reproduktion, die bei Zeit-abhängigen Fehlern oft nicht funktioniert.

 

[albert66]

Ist mir zugespielt worden und hört sich weitaus moderater an, als das übliche KI-Marketing. "On-Premises", kleinere Modelle und nachprüfbar, woher die Daten kommen, ................... (letzter Absatz)

„Wir sind ein über 100 Jahre altes Start-up“

Wolfgang Wendt, Geschäftsführer IBM DACH, diskutiert mit COMPUTERWOCHE-Redakteur Manfred Bremmer über die Rolle Deutschlands im IBM-Konzern, die Bedeutung von KI im Mainframe, Digitale Souveränität und die Zukunft der Industrie.

www.computerwoche.de

Sorry, kann nichts dafür, daß es mein ex Brötchengeber ist. Einige der Anfänge habe ich noch mit gemacht, diese kleine Lösung gefällt mir besser als weltweit.........

 

[LisaE]

Sorry, kann nichts dafür, daß es mein ex Brötchengeber ist.

Och, Deiner auch?

 

[Spread]

@albert66 @LisaE Könntet ihr mal bitte über euren beruflichen Werdegang berichten?
Gerne auch ein paar Anekdoten usw.
Bitte in einem extra Thread.

OT Ende

 

[Ambrosius]

Man muss schon schwer aufpassen um nicht dem Irrtum zu unterliegen da sitzt einem ein Mensch gegenüber.

Um diese Inhalte anzuzeigen, benötigen wir die Zustimmung zum Setzen von Drittanbieter-Cookies.
Für weitere Informationen siehe die Seite Verwendung von Cookies.

Drittanbieter-Cookies akzeptieren

 

[LisaE]

Jetzt wird die KI auch den Investoren unheimlich

So pumpen Kreisgeschäfte die KI-Blase auf

Die Wall Street wird nervös. Der Hype um KI dreht sich nur noch im Kreis: Nur weil sich Unternehmen wie Nvidia und OpenAI quersubventionieren, geht die Börsenparty weiter. Wenn sie stoppt, könnten die Abhängigkeiten zur Abwärtsspirale werden.

www.n-tv.de

 

[Mornsgrans]

Derartige Blasen kennen wir ja spätestens seit Einführung der T-Aktie und der Immobilienblase 2008.

 

[hha81667]

spätestens seit Einführung der T-Aktie

Tulpen, ich sag nur Tulpen...

 

[Mornsgrans]

Tulpen, ich sag nur Tulpen...

Die Älteren im Forum werden es offenbar miterlebt haben...

 

[Sidschei]

Der gute Manfred Krug, die Gallionsfigur der T-Aktie

Mal wieder ein Beispiel, fuer die unendliche Dummheit der KI:



Dabei sollte man annehmen, dass gerade "Rechner" wenigstens eine koennen: Rechnen OK, auch wenn die Aussage mit "ueber" natuerlich korrekt ist, trotzdem peinlich... über 10 Jahre alt haette es dann wohl besser getroffen

So isses halt aber, wenn man nur Textbausteine aneinander reiht...

Sid

 

[ahoellrigl]

An der Stelle war die Diskussion allerdings schon mehr als einmal. LLMs, Large Language Models können nicht rechnen. Sie können auch nicht zählen. Nicht weil sie "dumm" wären - "dumm" und "schlau" sind menschliche Kategorien und sollten auf LLMs gerade nicht angewendet werden. Sondern weil sie für diese Aufgaben nicht entworfen und erzeugt wurden. Es ist jenseits ihrer Anwendungsdomäne.

In gewisser Hinsicht ist das Verhalten der LLMs bei der Reaktion auf derartige Fragen außerhalb ihrer Anwendungsdomäne sogar menschenähnlich. Weil auch Menschen oftmals nicht gerne zugeben, etwas nicht zu wissen oder zu können, dennoch so tun als ob und dann kläglich bis grandios an der Aufgabe scheitern.

LLMs sind ansonsten auch nur eine Erscheinungsform der Anwendung von KI-Methoden. Sie sind nicht "die KI". Ist ebenfalls schon ein paarmal festgestellt worden.

 

[Sidschei]

Dann wuerde ich von einer KI halt erwarten, dass sie einfach nur schreiben, wann es erschienen ist und nicht noch mit Daten und Ergebnissen protzen, die nicht stimmen Perplexity beispielsweise erspart sich das und nennt nur das Datum.

Mir personelich ist schon klar, wieso und warum das passiert. Aber wieviel Menschen ist das noch klar, wenn sie einfach nur "KI" hoeren? Die erwarten Allwissenheit und bekommen halt nur dumme Textbausteine. Und noch schlimmer, viele bemerken solche Fehler nicht mal. Ich habs in meinem Kreis gewisser Leute schon aufgegeben, sie darauf hinzuweisen, dass die KI Fehler macht...

Eine erneute Anfrage mit selber Frage enthielt dann die Aussage "und ist fast 10 Jahre alt

Aber vieles was heute KI genannt ist, war frueher halt nur programmiert Aber ja, die Diskussion gabs hier glaube ich schon... Also, ueber die Antworten und die Art wie das entsteht.[/B]

 

[Mornsgrans]

Abseits von LLM unter Berücksichtigung des Threadtitels hier eine sehr bedenkliche Entwicklung:

Entlassungswellen und Rekordgewinne in den USA – der "Jobless Boom" durch KI

Normalerweise entlassen Firmen Mitarbeiter, wenn die Erträge sinken. Dieses Jahr ist alles ganz anders – zumindest in den USA. Wirkt sich hier der KI-Hype aus?

www.heise.de

Es ist genau das in den USA eingetreten, wovor die "Schwarzmaler" gewarnt hatten - "Schwarzmalerei" wird "Realität".