Programozási és irodai feladatokra mutatott be modellt a Nanbeige

A Nanbeige ezt a kiadást programozási és irodai feladatokra szánja. A modelladatlap két külön gondolkodási beállítást ír le. Az egyik az aktuális válaszhoz kapcsolja be a gondolkodást; ez alapértelmezetten aktív. A másik a korábbi asszisztensválaszok gondolatmenetét őrzi meg. A Nanbeige több fordulón át tartó eszközhasználatnál, programozási és irodai folyamatoknál ajánlja a megőrzést, egyszerű beszélgetésnél viszont nem. Az eszközök megadása az eszközhasználati sablont választja ki.

A külön Base-tároló azoknak a fejlesztőknek szól, akik általános vagy szakterületi ügynökökhöz szeretnének további tanítást végezni. Python-példája szövegfolytatást mutat be: a szöveget modellbemenetté alakító tokenizer és a modell betöltése után egy befejezetlen mondatból képez bemenetet, majd folytatást generál. Az eredeti bemenet tokenjeit eltávolítja, mielőtt az új részt olvasható szöveggé alakítja és kiírja. A tároló SGLang- és vLLM-kiszolgálóparancsokat is ad négyfelé osztott tenzorpárhuzamosítással. Ezek a fejlesztő által közölt példák; a cikkhez nem futtattuk a modellt.

A konfigurációs fájl konkrét megvalósítási adatokat közöl a fejlesztőkkel: LlamaForCausalLM-architektúrát nevez meg, 52 réteget ír elő, és bfloat16 számábrázolási formátumot rögzít. A Transformers 4.51.1-es verzióját is feltünteti. Ezek a beállítások a mellékelt konfigurációt írják le; a fájl nem tartalmaz mért válaszidőt vagy a grafikus processzoron mért memóriaigényt.

A MarkTechPost beszámolója ismerteti a kiadást, és mindkét tárolóhoz hivatkozást ad, így az olvasó közvetlenül elérheti a fejlesztő dokumentációját.