A DeepSeek kiadta a DeepInfer motort offline modellfuttatáshoz

A DeepInfer dokumentációja a betanított DeepSeek-V4.1-Flash modell válaszadásra szolgáló futtatási keretrendszerét mutatja be. A kiadott változat NVIDIA SM100 GPU-kon és Huawei Ascend 950 NPU-kon támogat offline modellfuttatást. Nem tartalmaz mindent egy teljes szolgáltatáshoz: a köztes modellállapot gyorsítótárazása, a feldolgozási szakaszok szétválasztása és a kérések kiszolgálópéldányok közötti elosztása a kiadáson kívül marad.

Mit ellenőriznek a példák?

A példák útmutatója ismerteti a modellbetöltés lehetőségeit. Modellazonosító megadásakor a súlyok a helyi Hugging Face gyorsítótárba töltődnek le; kifejezetten megadott helyi könyvtárnál annak meglévő modellfájljait használja közvetlenül. Az alapértelmezett modellhez tartozó környezeti beállítás nem írja felül a külön megadott modellargumentumot.

Ugyanez az útmutató választható strukturáltkimenet-ellenőrzést dokumentál a mintaválaszok után. Ez a reguláris kifejezés, a JSON és a nyelvtan megkötéseit, valamint a szabályos sorozatlezárást ellenőrzi; bármely hiba sikertelenné teszi a futást. A szokásos offline futtatás ezt alapértelmezetten kikapcsolva hagyja.

Az API bekötése külön feladat

A különálló deepseek-recipe projekt az eltérő formátumú API-kéréseket közös beszélgetésábrázolássá alakítja, és DeepSeek-promptokat készít belőlük. Csatolt tokenizálóval a beszélgetéseket tokenazonosítókká alakítja; a modell kimenetét pedig válaszformátumba fordítja. A tényleges modellfuttatást, az eszközök végrehajtását és a HTTP-adatátvitelt továbbra is a fejlesztőnek kell biztosítania. Egy JSON-séma átalakítása önmagában nem kényszeríti ki a kötött generálást: a hívó dönti el, alkalmazza-e ezt a korlátozást a háttérrendszer.

A The Decoder számolt be a kiadásról, és annak lehetséges versenypiaci következményeit is kommentálta.