Könnte man nicht nach der Speicherkrise HBM Interposer bauen die mit DIMM Steckplätzen kompatibel sind? Oder sogar ganze Hauptplatinen mit aufgelöteten HBM? Weil irgendwann tauschen die Rechenzentren ihre Hardware doch aus und dann sollte es ne Flut an HBM geben!
Wie ibmthink schon geschrieben hat kommst du mit Dimms nicht weit, HBM braucht entsprechend kurze Traces um synchron zu bleiben und für die Signalintegrität, deswegen ist er ja auch direkt neben den entsprechenden Chips verbaut.
Direkt auf ein Board neben einer Mobil-CPU auflöten wäre eine Option, geht aber deswegen schief weil der HBM idR nicht als separates Package auf einem PCB gelötet sitzt sondern die einzelnen Stacks (eff. einzelne Ram-Chips aufeinandergestapelt, durch extrem kleine Kabel die durch den Chip gehen miteinander verbunden [through-silicon-via] und in eine Schutzschicht gegossen, quasi das was du als spiegelnde Fläche am Ende siehst) werden an die GPU-Hersteller geliefert und von diesen zusammen mit der GPU unter hohem Druck und Temperatur auf einen Interposer aus Silizium gebondet. Du kannst also den GPU-Die zusammen mit dem HBM von der Grafikkartenplatine ablöten aber hast dann ein massives Stück in der Hand und müsstest irgendwie den Interposer genau so aufspalten dass du nicht einen Ram-Chip des HBM oder die rd. 1/200mm dicken TSV-Kabel beschädigst um den Stack dann auf einen neuen Interposer (den du dann erstmal entwickeln musst) aufzubringen.
Ab und zu werden wohl tatsächlich von den Herstellern einzelne Stacks von bereits gehärteten Interposern abgenommen, das ist allerdings nur zur Fehleranalyse (v.a. um Verunreinigungen o.ä. zu finden) und destruktiv, danach kannst du die 20.000€ Nvidia-Karte wegschmeißen.
Das ist übrigens nicht nur bei den GPUs selbst super lustig bzgl. Langlebigkeit:
zumindest vor ein paar Monaten (hab keinen Nerv mehr mich mit dem Thema zu beschäftigen) ging der Trend bei den großen Herstellern der KI-Server hin zu immer mehr gelöteten Komponenten oder eigenentwickelten Sockeln mit Custom Maßen für die Server (kein 19" Rack), custom Stromversorgung, custom Wasserkühlung, eigenentwickelten und natürlich komplett gesperrtem Bios und teils gehen wir ja auch weg von x86 Hardware zu iwelchen Sonderlösungen bei den CPUs, die ebenfalls direkt verlötet werden. Bei x86-CPUs werden zumindest einige Serverhersteller von den mittlerweile sowohl in Xeons als auch Epyc standardmäßig verbauten Hardware-Locks gebrauch machen, wo beim erstmaligen Einschalten im Inneren der CPU eine je nach Hersteller bestimmte Sicherung durchbrennt und die CPU nur noch auf Mainboards dieser Hersteller booten (vergleiche auf Ebay den Preis einer Epyc-CPU, einmal "dell locked", einmal "unlocked"). Bei den noch nicht mit einer ARM-CPU verlöteten GPUs hat man so Spaß wie SXM-Sockel statt Standard-PCIe wodurch die GPUs auch nur noch in speziellen Servern zu gebrauchen sind und softwareseitig ist zumindest seitens Nvidia ohne teure und personalisierte Lizenz (Abomodell, kein one-time-payment, pro GPU) die Grafikkarte auch nur noch ein funktionsloser Klotz weil die Treiber fehlen.
Letztlich werden die ganzen Server der kleinen und mittleren KI-Farmen noch für ein paar GPUs, den Ram und ihre CPUs ausgeschlachtet werden können, die "ganz großen" Rechenzentren werden aber vmtl. bis auf den Ram quasi vollständig verschrottet werden müssen weil sie in dem Moment wo jmd. nicht mehr bereit ist den Strom oder die Lizenzen zu bezahlen komplett wertlos sind. Das gilt übrigens auch abseits der eigentlichen Server für die Rack-Gehäuse, Schränke und sogar für die Gebäude, eben weil die Server auch in ihren Dimensionen komplett anders als der Standard sind und das Gebäude dafür ausgelegt ist durch jeden Schrank bis zu 100 kW zu jagen, dementsprechend liegen da auch riesige Mengen an Starkstromkabeln und Rohren für die Wasserkühlung (das Wasser muss außerhalb des Gebäudes gekühlt werden) die mit Standard-Servern nicht zu gebrauchen sind.
www.heise.de
