Az NVIDIA telepítési utakat közölt a Muse Spark Openhez, de a sebességadat kontextust igényel
A GB300-ra épülő bejelentés nagy sebességígéretét szűkebb dokumentált mérések árnyalják.
Ebben a cikkben
Pontosan mire vonatkozik a sebességadat?
Az NVIDIA bejelentése a Muse Spark Openre GPU-nként legfeljebb 50 000, felhasználónként 600 token/másodpercet közöl GB300 NVL72-n. Az ábra képaláírása négy Blackwell GPU-t és spekulatív dekódolást nevez meg, nem a teljes racket. A gyártói adatok nevezője eltér: az egyik a GPU-ra vetített összesített áteresztőképesség, a másik a felhasználónkénti generálási sebesség. Egyikből sem derül ki önmagában, mennyi idő alatt kap választ az alkalmazásunk egy adott kérésére.
A rack adja az infrastruktúrát
A GB300 NVL72 specifikációja folyadékhűtéses rackenként 72 Blackwell Ultra GPU-t, 36 Grace CPU-t, 20 TB GPU-memóriát és 130 TB/s NVLink-sávszélességet sorol fel. Ez a platform kapacitása, nem minden telepítés tényleges GPU-száma. Saját rendszer tervezésekor ezért azt kell tisztázni, hogy a közölt eredményhez a hardver mely részét és milyen kiszolgálási beállítást használtak. Önmagában a támogatott hardvercsalád neve nem elég a kapacitástervezéshez vagy két mérés érdemi összevetéséhez.
A dokumentált recept külön mérés
A Dynamo fejlesztői dokumentációjában a négy-GPU-s GB300 SGLang-futtatás 16 párhuzamos kérésnél összesen 635,8 kimeneti tokent adott másodpercenként, GPU-nként 158,95-öt. Az ügynöki tesztsor körülbelül 64 000 bemeneti és 400 kimeneti tokennel, valamint 90%-os gyorsítótár-újrahasználattal dolgozik. A kísérleti vLLM- és TensorRT-LLM-eredmények csak az első 500 kérés működési ellenőrzését fedik le, nem összevethető teljes futtatásokat. Ez a dokumentáció nem a bejelentés kiemelt sebességének megismétlése. Összehasonlításkor együtt kell kezelni a terhelést, a gyorsítótár állapotát, a párhuzamosságot és azt, hogy kimeneti tokeneket számolnak.
