Framework 12 kommt im Yoga Style

[ubu]

ca 6 min vor Ende des Videos

 

[caputo]

"Conversational speed" ist halt so eine Sache.
Um das mal zu illiustrieren habe ich gerade zum Spaß dem genannten llama3.3 70b auf meinem M3 Max eine relativ simple Aufgabe gestellt (Fähre soll Anzahl von Autos über den Fluss befördern, hat bestimmte Kapazität, bestimmte Überquerungszeit, bestimmte Lade/Entladezeit, wie lange dauert es?).
Das System generiert dabei mehrere Seiten Text um beim Ergebnis anzukommen. Ca. 7.5 token/s, Dauer: 167778 ms, also mehr als 2,5 Minuten.
Also, es geht schon, aber schnell ist anders. Wenn ich jetzt bei halber Speicherbandbreite doppelte Laufzeit = über 5 Minuten warten müsste, weiß nicht ob ich damit glücklich wäre.

 

[Akira]

Der AMD Chip sollte, wenn man AMD glaubt, bis zu 8 token/s bei 70b 4 bit schaffen. Das geht aus den footnotes heraus, wodurch die specs der Testsysteme bekannt sind.

 

[ibmthink]

Framework ist und bleibt ein interessanter Player am Markt mit coolen Produkten. Ich glaube allerdings, es besteht ein wenig die Gefahr sich zu verzetteln, wenn sie zu schnell in andere Bereiche expandieren. Sie sollten sich lieber auf die Verbesserung ihres Kernprodukts konzentrieren IMO und das ist das Framework 13.

Gerade das Framework 16 steht beispielhaft dafür - ein Produkt das viel zu "overdesignt" war/ist und zu komplex.