Csevegést, biztonsági ellenőrzést és beszédátírást egyesít az IBM Granite Switch 4.1

Többféle kérés egy telepítésen

Az IBM október 15-i bejelentése olyan képességeket csomagol össze, amelyeket egy alkalmazás külön szolgáltatásokként is futtathatna. A telepített Switch ugyanazon a végponton válaszolhat beszélgetésben, értékelhet döntési helyzetet és írhat át beszédet. A memóriahatékonyságra vonatkozó állítás az IBM-től származik; nem minden telepítésre elvégzett, független mérés.

A 8B modell leírása pontosítja a döntési funkciót: az alkalmazás megadja a helyzetet, a kérdést és a címkézett válaszlehetőségeket, a Decision adapter pedig valószínűségeket rendel hozzájuk. Az adapter egy feladatra tanított, kis méretű kiegészítő súlykészlet. A mellékelt Guardian adapter például káros tartalmat és a biztonsági korlátok megkerülésére irányuló próbálkozásokat vizsgál.

Feladatváltáskor megmarad a korábbi számítás

A projekt leírása szerint az aktivált LoRA, röviden aLoRA adapterek egy kijelölt vezérlőtokentől kezdve alkalmazzák a saját súlyaikat. Felhasználhatják az alapmodell kulcs–érték gyorsítótárát, amely a már feldolgozott szöveg köztes számításait tárolja. Így kompatibilis szakosított adapter hívásakor nem kell újraszámolni az egész előzményt. A fejlesztők saját, egymással kompatibilis adapterválogatást is összeállíthatnak egy telepíthető modellé.

Az IBM 50,1 pontos összeredményt közöl a 30B változatra a Decision Index v0.3 nyilvános, 1068 soros gyors tesztrészén, a mérés 0–100-as skáláján. Rögzített rendszerutasítást alkalmaztak; a helyzetet a változatlan alapmodell dolgozta fel, a döntési kérdés válaszlehetőségeit pedig az első kimeneti token alapján pontozták. Ez meghatározott teszt eredménye, nem a helyes valós életbeli döntések általános százalékaránya.

A beszédből először szöveg lesz

A hangfeldolgozás dokumentációja alfaállapotúnak nevezi ezt a megoldást. A beszédfelismerő leírja a felvételt, majd közönséges szövegként továbbítja a nyelvi modellnek. Az alapértelmezett felismerő angolul működik, kisbetűs, írásjelek nélküli átiratot készít. A hanglejtés és az érzelmi jelzések elvesznek, az átírási hibák továbbjutnak, a hosszú átiratok pedig foglalják a modell szövegkeretét. A közös futtatás nem jelent közösen tanított beszédértő modellt.

A modell leírása arra is kitér, hogy a csomag nem tartalmazza az adapterkönyvtár tényellenőrző és szabályérvényesítő elemeit. A Guardian mellett is szükséges az alkalmazás saját biztonsági tesztelése; ismeretlen területen a döntési valószínűségek támpontot adnak, nem hitelesített besorolást.