Modellpróba Sparkon

Az NVIDIA útmutatója a csak szöveget kezelő Nemotron-3.5 Lightning modellt futtatja DGX Sparkon, terminálos beszélgetéshez és helyi API-n keresztüli alkalmazáspróbához. Fontosak az előfeltételek: támogatott Spark-szoftverkörnyezet, CUDA 13, legalább TensorRT 10.16.1.11 a 10.x sorozatból, valamint Python 3.10–3.12. A példák TensorRT Edge-LLM 0.11.1-et használnak. Ez a beágyazott eszközök fejlesztőinek szóló munkafolyamat: először kipróbálhatják a modellnek adott kéréseket, mielőtt alkalmazást kapcsolnának hozzá.

A kódtár leírja, hogyan kapcsolódik a modell előkészítése a végrehajtáshoz. A támogatott előkészítő út a Hugging Face modellpillanatképeit ONNX-formátumba alakítja a C++-motorok felépítéséhez. Egy kísérleti alternatíva közvetlenül a modellpillanatképekből épít motort, e konverzió nélkül. Mindkét út ugyanazokat a telepítési futtatókörnyezeteket használja. Támogatott célgépen a kiadott Python-csomaggal elkerülhető az Edge-LLM saját fordítása; a server kiegészítő biztosítja a magas szintű Python-felületet és a HTTP-kiszolgálást. Kompatibilis CUDA- és TensorRT-környezetre továbbra is szükség van.

A parancsútmutató előbb a telepítés befejezését és a Python-környezet aktiválását írja elő. Ezután a trtedge chat Hugging Face-modellazonosítót vagy helyi modellpillanatképet fogad; prompt kapcsolója beszélgetés helyett egyetlen kérést futtat. A beszélgetés és a kiszolgálás első használatkor motort épít és gyorsítótáraz, később pedig az egyező motorokat használja újra. A serve parancs OpenAI-kompatibilis HTTP-kiszolgálót indít. Az exportáláshoz és a kvantáláshoz a megfelelő opcionális függőségek szükségesek; a kvantálásnál a modell és a célgép által támogatott formátum is kell. Az egyes parancsok súgója felsorolja az elérhető argumentumokat.