A Step 5 Preview több GPU-s konfigurációkkal futtatható saját környezetben

A hivatalos telepítési útmutató FP8 kiszolgáláshoz egy gépen négy B300 vagy nyolc H200 grafikus processzort sorol fel, vLLM vagy SGLang használatával. A vLLM BF16 példái egy gépen nyolc B300-at, illetve két gépen tizenhat H200-at írnak le. Ezek kiinduló konfigurációk: a rendelkezésre álló memória, a futtatórendszer és a korábbi számításokat tároló gyorsítótár befolyásolja a használható kontextust és az egyidejű kéréseket.

A StepFun október 15-i műszaki cikke magyarázza a kialakítást. A sok eszközhasználattal járó hosszú feladatoknál költséges a korábbi információ feldolgozása. A hálózat 92 feldolgozó réteget használ, és a közeli információra irányuló figyelmet a hosszabb előzmények szelektív elérésével kapcsolja össze. A tanítóadatok előállításánál is megosztják a feladatokat: szakértők adják az alapelveket és ellenőrzik a kritikus pontokat, ügynökök koordinálnak ezen elvek között, újrafelhasználható kód végzi a rutinműveleteket. A cég szerint a rendszer még fejlődik.

A felhős szolgáltatás dokumentációja szöveges, képi és videós bemenetet, valamint szöveges kimenetet sorol fel. A StepFun több dokumentumot átfogó kérdésekhez, kutatási anyagok rendezéséhez, kódmódosításhoz és tesztek készítéséhez ajánlja. Fontos korlát, hogy a keresést, a kódfuttatást és a többi eszközt a modellt integráló alkalmazás biztosítja; maga a modell nem éri el a helyi fájlokat vagy a külső szolgáltatásokat. Támogat eszközhívásokat és JSON formátumú, rendezett adatokat tartalmazó válaszokat. A szolgáltatás a tényleges bemeneti és kimeneti tokenhasználat alapján számláz.

A MarkTechPost összefoglalja a kiadást, és hivatkozik a szolgáltató kódtárára és műszaki magyarázatára.