KI Software?

[Gummiente]

Gibt es hier jemanden der mit KI Software vertraut ist?

Wie jedes mal wenn man neu einsteigt sehe ich den Wald vor lauter Bäumen nicht.

Python, Anaconda, Miniconda, Linux, Windows, WSL, Docker, Huggingface, GIT.

Um die Verwirrung perfekt zu machen gibt es Docker, Docker-compose, docker.io, snap Docker...

Dabei geht es nur um LLM und bei Generativen KI habe ich nicht mal angefangen.

Sicherlich ließe sich all das zusammen-googlen und nach einigen Experimenten werde ich auch einen gangbaren Weg finden aber ein paar freundliche Fingerzeigen wäre für den Einstieg sehr hilfreich...

 

[iks230]

Selbst noch nicht ausprobiert, aber mir kamen da direkt diese Videos in den Sinn, da ich das selbst mal testen wollte:

Und es lohnt sich auch nach Videos zu Ollama / Open WebUI zu suchen:

 

[Akira]

Ich nutze lokale LLMs per Ollama. Würde empfehlen da anzufangen, einfacher geht eigentlich nicht: https://ollama.com/

Auf meinem M2 Pro laufen 14B Modelle gut, alles darüber ist undenkbar. Bin grade dabei Teile für eine dedizierte Maschine zusammenzusuchen, damit ich die größeren Modelle benutzen kann.

 

[Gummiente]

Ich nutze auch Ollama auf dem Notebook.

Beim Experiment mit GPT4All auf einem Qualcomm X-Elite Notebook startete es nicht und monierte den fehlenden AVX2 Support. MS hat wohl in seinem Preview diesen im Prism Emulator nachgerüstet und unabhängig davon hat Nomic hat eine ARM Version zum Download aber den habe ich noch nicht getestet.

LM Studio scheint auch eine nette GUI zu haben und hat offenbar eine Anbindung zu Huggingface.

Vorerst hänge ich aber bei Ollama und versuche den im LAN verfügbar zu machen mit Open WebUI. Läuft auch aber die ganze Konfiguration gibt mir noch Rätsel auf. Daher würde ich gerne bis zu einem Punkt kommen wo ich meine zu ahnen, wie das ganze funktioniert.

 

[Akira]

Das liegt vielleicht eher an der Hardware dann, auf Apple Silicon oder NVIDIA läuft es wunderbar OOTB.

 

[Gummiente]

Mir sind die Zusammenhänge nicht ganz klar.

Ollama läuft ohne Probleme aber beim Aufsetzen von Open WebUI fängt meine Verwirrung an. Die kann man via PIP installieren. Setzt aber wohl ein laufendes Python voraus. Also entweder Python, Anaconda oder Miniconda. Dann gibt es die Docker Version. Installiert man Docker Desktop unter Windows, dann setzt es wohl auf WSL auf oder Hyper-V? Also dann doch lieber auf Ubuntu wechseln oder Debian? Dann heisst es docker.io, snap docker. Oder docker aus Docker Repo als 3rd Party Repo welches bei Debian den docker-compose ersetzt...

Dann gibt es noch nur die WebUI als Docker welches auf die bereits installierte Ollama nutzt oder ein Docker bei dem sowohl Ollama als auch Open WebUI integriert sind...

 

[elchmartin]

Also um alles zu verstehen, solltest Du vielleicht ein recht aktuelles debian verwenden und dann, so schmerzhaft es ist, alles Stück für Stück händisch installieren.
Dann hats Du vielleicht hinterher was übrigbehalten für zukünftige Ausflüge ;-)

Oder man findet ein docker-AIO, welches alles Küchenfertig serviert. Wie und ob das dann funktioniert, hängt hauptsächlich von maintainer ab.

Zumindest sehe ich das so.
Und Windows per WSL wird das glaube ich alles recht hakelig.
Dann lieber Debian in einer ausreichend großen VM.

 

[Gummiente]

Das schwant mir mittlerweile auch.

Wie üblich hat schon das Ausformulieren meines Problems eine ganz Menge gebracht.

Dennoch komme ich wohl nicht herum, die eine oder andere OS Installation durch orientierungslose Experimente zu zerschießen bis ich genug gelernt habe, um ein "Produktionssystem" halbwegs passend hinzubekommen.

Seufz.

Rechner zum Experimentieren habe ich ja genug dank MS und Windows 10 Supportende.

 

[elchmartin]

Dennoch komme ich wohl nicht herum, die eine oder andere OS Installation durch orientierungslose Experimente zu zerschießen bis ich genug gelernt habe, um ein "Produktionssystem" halbwegs passend hinzubekommen.

Dann versuche mal, was ich mir jedes Mal vornehme und dich nie mache:
Schreibe Deine Schritte zumindest rudimentär auf, quasi als Papier-Skript.
Dann muss man sich nicht jeden Schritt wieder neu raussuchen

 

[Ambrosius]

Dennoch komme ich wohl nicht herum, die eine oder andere OS Installation durch orientierungslose Experimente zu zerschießen bis ich genug gelernt habe, um ein "Produktionssystem" halbwegs passend hinzubekommen

warum nicht die Gelegenheit nutzen ein beliebiges Linux auf einem der x. Thinkpads zu installieren um mit Ollama zu spielen?

Die meisten Setup Guides und Teck Blogs die ich zu dem Thema gelesen sind auch eher so aufgebaut und nach alle dem was ich gelesen habe ziemlich easy nachzumachen

Source 1
Source 2

 

[stetze88]

Schau dir vllt auch mal Jan an

GitHub - janhq/jan: Jan is an open source alternative to ChatGPT that runs 100% offline on your computer

Jan is an open source alternative to ChatGPT that runs 100% offline on your computer - janhq/jan

github.com

 

[Flexibel]

Teste gerade https://chat.deepseek.com, E-Mail reichte zur Anmeldung.
Bei GitHub sollen die auch sein, um es sich lokal zu installieren.
YouTube: DeepSeek AI verändert ALLES - von Programmieren lernen

Auch via Amateurfunk ist es nun möglich ChatGPT zu fragen:
YouTube: KI trifft Funk ChatGPT über Funkgerät aktivieren - So geht's! - von Funkwelle
Funktioniert unter den Funk-Betriebsarten:
- DMR (BM): TG 262691
- D-Star: XLX169BL
- DMR (XLX169): TG 4002
- YSF: XLX169 (DG-ID 11)
- YSF: DE-Deutschland (DG-ID 98)

 

[Gummiente]

Ja, DeepSeek finde ich interessant. Interessant soweit, dass nach Release eine ganze Woche lang gar nichts passierte aber dann ein Erdbeben bei KI auslöste.

Interessant finde ich auch Qwen, die Alibaba etwa zwei Wochen nach DeepSeek und eine Woche nach dem Beben freigab. Die sogar ein Tick besser in für mich interessanten Bereich zu sein scheint.

Überraschend war auch die Zensur. DeepSeek redet ganz offen über Proteste in China aber wenn man "man standing in front of a tank" fängt sie an loszureden, löscht aber die angefangene Antwort und sagt darüber kann ich nicht sprechen.

Das scheint aber eine Variante dessen zu sein den man im Westen gerne den Chinesen vorwirft. Sie finden Wege dem Wortlaut zu entsprechen aber brechen den Geist den man im Vertragstext festhalten wollte.

So kursieren Screenshots wo erzähl mal über den Tieanmen Proteste aber in Leetspeak. 4 ist A, 3 ist e. Dann plappert DeepSeek drauflos. Als open Source Model wird sich sicher jemand finden der die offenbar halbherzig implementierte Zensur entfernt. D.h. wenn DeepSeek nicht in ein paar Monaten längst alter Hut und von neueren, besseren Modellen abgehängt wird.

Ganz anders dagegen die neue Qwen vom chinesischen Riesen Alibaba. Sie erzählt frei heraus was da los war, dass man in China das strikt zensiert, das Foto als "Tank Man" weltweit Ikonenstatus erreicht hat und es das Potenzial hat auch in China mit Stolz gezeigt werden wie die Bilder aus der US Bürgerrechtsbewegung.

In der Taiwanfrage fand ich ihre Antworten sogar etwas zu unkritisch. Sinngemäß: Xi soll seine Fantasterei in die Geschichte eingehen zu wollen durch Widervereinigung die tief in chinesichen Geist verwurzelt ist aufgeben und Taiwan einfach in Ruhe lassen. Damit wären alle Probleme gelöst.

TLDR;

Fühle mich wieder wie in 1980. Man giert nach Rechenleistung und bekam sie auch. Im Jahresrhythmus gab es deutliche Leistungssteigerung bzw. Preissenkung. Was jetzt aber passiert... Statt Jahre ist der aktuelle Takt 46 Tage und Preissenkung um Faktor 26.

Mein Wehmut, die Zeiten des Fortschritts erlebt man mit Glück nur einmal. Von wegen. Es war noch nie so aufregend.

 

[Schnitzel2k8]

Rein aus Neugier, was ist eure Motivation solche Modelle selbst zu betreiben?

Ist es

1. Datenschutz
2. Spieltrieb
3. wollt ihr PEFT, RAG oder sonstiges machen
4. oder ganz was anderes?

 

[Akira]

Rein aus Neugier, was ist eure Motivation solche Modelle selbst zu betreiben?

Ist es

1. Datenschutz
2. Spieltrieb
3. wollt ihr PEFT, RAG oder sonstiges machen
4. oder ganz was anderes?

Preis, schau mal was OpenAI verlangt. Immerhin ist DeepSeek günstiger aber es ist auch standard als Enthusiast nicht für Services zu zahlen.

Habe ja z.B. auch meinen eigenen Gaming Desktop statt für GeForce NOW zu zahlen.

 

[Ambrosius]

Mich hätte schon gern interessiert, ob jemand ein schlankes LL Model auf einem Thinkpad Nvidia Chip wie bpws. der MX150 zum Laufen bekommen hat?

 

[Gummiente]

In erster Linie Datenschutz.

Will vermeiden, dass meine Daten in der nächsten Version landet und die KI bei geschickter Frage ausplappert. Dann ist da das ungute Gefühl, dass ein Tonband mitläuft egal wie banal eine Unterhaltung auch sein mag.

Spieltrieb aber vor allem Neugier wird dabei natürlich auch angestachelt.

Warum wollte ich früher immer schnellere Computer haben? Was hat es mir gebracht, dass ich den Kernel in 8 Minuten kompiliert bekam statt in 30 Minuten?

Dann habe ich wohl auch Begründung immer mehr PS zu wollen. 1 KW Strom verbraten, um statt lächerliche 300 FPS noch lächerlichere 500 FPS zu haben? Schwer. Grafik auf Minimum, 60 FPS, 20 W und gut is.

Statt zwei Stunden für eine Antwort nur 20 Sekunden? Immer her damit. Deutlich bessere Antworten mit größeren Modellen? Ja, bitte.

Letztendlich, ich bin total geflasht von KI. Ich hielt das für ein Hype wo jeder so viel Geld einsackt solange sie heiss ist aber nach etwas probieren bin ich ehrlich überrascht. Als Sachbearbeiter würde ich ernsthaft Sorgen machen ob der Job in 10, 20 Jahren noch da ist oder ausgestorben wie Stenograph oder Datentypist.

Heute gerade. Bei einer Mail ein Grammatikfehler übersehen. Mit KI wäre das nicht passiert. Dann gebeten "Mail KI erstellt, Fehler vorbehalten" zu formulieren. Ich hätte da einige Stunden drübergesessen. phi-4 gebeten wegen Deutschkenntnisse. Perfekte Antwort in zwei Sekunden. Könnte ich bei jedem Brief unverändert drunterpacken.