A TorchTitan friss beszámolója a megerősítéses tanulás közös modellkódját emeli ki
A TitanRL közös kódbázisban kapcsolja össze a tanítást és a válaszgenerálást, aszinkron próbafuttatásokkal.
Az október 21-i PyTorch-beszámoló a TitanRL megerősítéses tanulását emeli ki: a modell jutalmazott próbákból tanul. Közös kódbázisa az előtanítást, az utótanítást és a vLLM-en keresztüli válaszgenerálást fogja át. A rolloutnak nevezett próbaválaszok előállítása aszinkron történik, miközben a tanítás és a generálás külön skálázható. A modellkutatók így összekapcsolt útvonalat kapnak a példák létrehozásához és az azokból való tanuláshoz.
A projekt telepítési útmutatója legalább Python 3.11-et és a PyTorch nightly fejlesztői változatát használja. Az egyetlen GPU-n futó Llama 3 hibakeresési példa tíz lépést végez a mellékelt tokenizerrel, így azt nem kell letölteni. A tényleges modellhez vezető út ehelyett tokenizerletöltéssel és egy recept kiválasztásával folytatódik: ez a teljes konfigurációt visszaadó Python-függvény. Ez a bevezető hibakeresési futás különbözik a megerősítéses tanulás beállításától. Az RL-hez dokumentált telepítőszkript vLLM-, Monarch- és TorchStore-nightly csomagokat, valamint a GPU-hoz illő FlashAttention-változatot ad hozzá.
A TitanRL útmutatója pontosítja a közös modellkód állítását: a figyelmi modulok eltérnek, bár az alattuk működő kernelek megegyeznek. A támogatott, az aktuális stratégiából származó próbákkal dolgozó on-policy konfigurációkban a tanító és a generáló modell logaritmikus valószínűségei bitenként azonossá tehetők. Ez a numerikus egyezés áteresztőképességet áldoz fel; a teljesítmény továbbra is függ a modell alakjától és párhuzamosításától, az önálló generálás pedig elmaradhat a natív vLLM-től. Új kísérlethez a kutató adatkészleteket, az interakciókat és lezárást meghatározó környezetet, jutalmazási szabályrendszert és próbákat generáló Rolloutert ad meg. Az alapértelmezett út pontozást, kötegelést, tanítást és súlyátadást kezel, miközben az API-k és konfigurációk aktívan változnak.
