A MonsterHouse hangalapú AI-val szólaltat meg egy garázskaput

Rick Grandy beszámolója egy garázskapura vetített karaktert mutat be, amely hallgatja a látogatókat, és morcos kalózként válaszol. A beszédfelismerés szöveggé alakítja a látogatók szavait; a Bolt megírja a választ, a Magpie kimondja, az Audio2Face pedig megmozgatja a szájat. Grandy az NVIDIA munkatársa. Egyedi MonsterHouse-kódja nincs kiadásra csomagolva, és elmondása szerint a teljes működés teszteléséhez még valódi látogatókra van szükség.

A nyilvános Voice Agent mintaprojekt kiindulópontot ad a fejlesztőknek: Generic Assistant példája beszédfelismerést, nyelvi modellt és beszédszintézist kapcsol össze egy kizárólag angol nyelvű beszélgetésben. A szoftver kezeli az adatfolyamként érkező részeket és a közbeszólásokat. Prototípus tervezésekor számít, melyik telepítési változatot választják. A felhős változat távoli modellszolgáltatásokat hív, és nem igényel helyi grafikus processzort; a munkaállomásra szánt változatok hardver- és memóriaigénye a kiválasztott modellektől függ. Az NVIDIA az egyes példák saját dokumentációjához irányítja a fejlesztőket a támogatott telepítési változatok és azok beállításainak megismeréséhez.

Az animált karakterhez az Audio2Face dokumentációja külön feladatot ír le: a felvett vagy adatfolyamként érkező hangot az arc mozgásává alakítja. Az Unreal Engine rendszerében vizuális Blueprint-elemek kapcsolják az animációs adatokat a karakter arcát vezérlő beállításokhoz. Ehhez az integrációhoz az alap ACE Unreal bővítmény és az Audio2Face Models bővítmény egyaránt szükséges. A mellékelt mintaprojekt egy MetaHuman beállítását szemlélteti, a modell futtatása pedig történhet helyben vagy külön szerveren.