Welche Notebooks (nicht zwangsweise Thinkpads) für lokale KI?

ubu

ubu

Well-known member
Registriert
23 Mai 2013
Beiträge
439
(Falls dies woanders einsortiert sein sollte gerne verschieben)

Möglichkeit 1: Apple M4 oder M5
Vorteile: - viel RAM verfügbar für große Modelle dank Unified Memory, sparsam beim Stromverbrauch
Nachteile: - MacOS, kein Linux, kein Windows

Kennt ihr gute Alternativen, Ryzen AI, Nvidia Graka etc?
 
Also, CUDA und massig VRAM sollten es schon sein für lokale LLMs. Die Apple ARMs kenne ich in der Hinsicht nicht. CPU und regulärer RAM sind kriechlangsam im Vergleich zu GPU.
 
Sollten nicht die dedizierten KI Coprozessoren in den Copilot+ Chips diese Schwäche ausgleichen?
 
Es kommt auf die Größe der Modelle und vor allem die zu verwendende Software an.
Ollama läuft mit nem kleinen Modell auf meinem Mac Mini M4 mit 16GB super und ist innerhalb von Minuten eingerichtet. Ein MacBook Air für unter 1000€ performt ähnlich.
Alles über der Einstiegskonfig ist aber unverhältnismäßig teuer.
Was ist das Budget?
 
Momentan schaut es nach Apple aus. MLX scheint nicht mehr so hoffnungslos zu sein wie ROCm oder OpenVINO gegen CUDA.

NPU soll mit Energieeffizienz punkten und liegt bei etwa 40 bis 90 TOPS. Zum Vergleich: NVidia 4080 ist auf einem anderen Stern mit 800 TOPS. Für Entwickler der an KI allgemein interessiert ist, lohnt sich die Mühe nicht, die kaum vorhandene Leistung zu erschließen. Offensichtlich kommt noch erschwerend hinzu, dass NPU nicht gleich NPU ist sondern Intel NPU, AMD NPU und ARM NPU...

Andererseits sehe ich Projekte die auf Raspi laufen sollen. Vielleicht taugt das ja wenn man bereit ist im Batchjob zu arbeiten und nach einer Woche oder Monat die Gesichter auf Fotos sortiert bekommt.

Wenn es NVidia Graffikkarte sein darf, 4080 ist ganz nett aber der Sweetspot scheint momentan 32 GB VRAM zu sein, sprich 5090 aber der ist als ich das letztes mal sah bei 3500+ EUR. Zu weit weg von meinem Budget. Immerhin bekommt man sie wohl jetzt,
 
Budget lass ich bewusst offen, mich interessieren Erfahrungen in allen Preisklassen.

Stationär gibt es einige interessante Geräte (Framework Desktop, Geekom A9 Max / Mega, Mac Mini mit 64 GB, Mac Studio mit bis 256 GB Ram)
als auch Graka mit 24 GB Ram (intel B60), aber mobil?
 
Bedenke, dass die Mac Mini und Mac Studio mit viel RAM aktuell schon die ersten Lieferengpässe haben... Das wird wahrscheinlich bald noch drastischer
 
Ich weiß, das trifft aber alle Hersteller ...
das wird alles noch sehr unlustig
 
Die B70 gibt es mit 32GB für deutlich weniger als die 5090. Was ich mit einer B580 damals machte konnte war aber sehr limitiert. Inzwischen sollte es besser sein aber immer noch sehr eingeschränkt.

Meine erste Wahl wäre immer noch Mac Mini oder Studio. Oder halt ein MacBook. Die Preis/Leistung ist hier immer noch am besten, auch mit RAM Upgrades.
 
Für AI/LLMs kann man - zumindest solange man keine sehr spezifischen Anforderungen hat - im Grunde pauschal sagen: Je mehr GPU-VRAM, desto besser. Das gilt für Laptops genauso wie für Desktops. Die restliche Konfiguration ist da schon fast vernachlässigbar.
 
Meines Wissens gibt es doch von HP ein Elitebook mit Ryzen AI Max und bis zu 128GB RAM, könnte das etwas sein? Zumindest ist Test hat es ganz gut abgeschnitten
 
  • Like
Reaktionen: ubu
Ich würde mir für lokale KI eher zuhause ein sparsames Gerät, zB. MacBook, Nvidia DGX Spark oder ein Ryzen AI 395 aufstellen und dann unterwegs remote darauf zugreifen.
KI braucht viele Ressourcen. Für unterwegs auf dem Laptop wäre mir das "zu mühsam".
 
@x230fan Danke, genau solche Info suche ich.
Beitrag automatisch zusammengeführt:

Framework 16 bekommt ein 8-Lane Oculink Adapterboard für externe GPU
Beitrag automatisch zusammengeführt:

@cyberjonny Das ist prinzipiell richtig, kennst du Laptop GPUs mit 16, 24 oder 32 GB vRAM?

Apple mit seinem Unified Memory Konzept hat da wirklich einen Volltreffer gelandet.
Beitrag automatisch zusammengeführt:

Panther Lake Mainboard für das Framework 13 / 13 pro kommt ...
 
Zuletzt bearbeitet:
Es kommt extrem auf deinen Verwendungszweck an. Alle Chat-KIs, die in die 16GB meiner RTX4070TiS passen, laufen zwar schön schnell, aber halluzinieren was das Zeug hält. Die 55GB Version, die ich auf einem Framework Desktop laufen lasse, ist zwar super viel langsamer, aber dafür ziemlich gut.

Für kleine Spielereien geht sowas am Laptop schon, aber für den produktiven Einsatz macht lokale KI selbst mit den gut abgestimmten Modellen bisher nicht so mega viel Spaß, wenn man nicht gerade ein Cluster mit 192GB in mehreren Karten zur Verfügung hat, um das aktuelle Topmodell zu betreiben.
 
Ich würde ein HP ZBook Notebook für lokale KI kaufen. Diese Teile sind nicht so preisstabil wie Thinkpads. Es sind trotzdem gute Business-Laptops, die wir auch auf der Arbeit haben. Suche einfach da ein Gebraucht-Gerät nach Budget mit höchster RAM und GPU Ausstattung.
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
  • ok1.de
  • thinkstore24.de
  • ok2.de - Notebook Computer Server
  • Preiswerte-IT - Gebrauchte Lenovo Notebooks kaufen

Werbung

Zurück
Oben