Kis modelleket javasol integrációs ellenőrzésre a Hugging Face

A Hugging Face javaslata egy kis tesztmodellt, egy futtatható használati példát és ember által ellenőrzött kimeneteket kapcsol össze. A későbbi futások eredményeit ezekkel a rögzített elvárásokkal vetik össze. A cél a modell beillesztését elrontó változások felismerése. Ezek a tesztmodellek kiegészítik a teljes integrációs teszteket. A bejelentés szerint a folyamatos integráció ellenőrzése jelzi a hibákat, de nem blokkolja a kódmódosításokat; a valós hibafelismerés és a téves riasztások aránya még nyitott kérdés.

A tesztmodell készítési leírása a nagyobb modelleket csökkenti, megőrizve rétegtípusaikat és előfeldolgozásukat. A legfeljebb 20 millió paraméteres forrásmodellek viszont változatlan konfigurációval és tanult súlyokkal maradnak meg, továbbtanítás nélkül. A csökkentett tesztmodellek véletlen vagy külön tanított súlyokat használnak; megtanult válaszaik nem az eredeti modell előrejelzései. Az ellenőrzések a bemenetre való érzékenységet vizsgálják, majd a mentett súlyok visszatöltése után a kimenetek, a veszteség és a gradiensek végességét. Az elfogadott változatot rögzítik. A siker csak a kipróbált működési útra és rögzített bemenetekre vonatkozik; a hardverhez és számítási pontossághoz külön viszonyítási alap kell.

A közreműködőknek szóló parancssori útmutató valódi modellváltozatból indul, és előbb a tesztszerződést hozza létre, csak utána építi meg a tesztmodellt. A generált példák elkülönített védőkörnyezet nélkül futó Python-kódok, ezért az útmutató végrehajtás előtt elolvasásukat írja elő. Az AI megírhatja a használati kód vázlatát, de nem adhatja meg az elvárt számeredményeket és nem lazíthatja a tűréshatárokat. Tényleges futásokból készülnek az elvárásjelöltek; a megváltozott értékekhez kézi jóváhagyás kell. Az ellenőrzések ezután a jóváhagyott elvárásokat használják. Az alfaállapotú megvalósításhoz kódellenőrzés és megfelelő modellspecifikus építési leírás szükséges.