Emberi mozgásmodellekkel bővül az NVIDIA MotionBricks rendszere

Az NVIDIA október 27-i frissítése SOMA emberi mozgásmodellekkel, letölthető modellállapotokkal és ONNX-exportokkal bővíti a MotionBrickset, valamint egy Newtonra épülő interaktív referenciamegvalósítást ad hozzá. A fejlesztő megcélzott testhelyzetekkel irányítja a szereplőt, a rendszer pedig létrehozza az ezeket összekötő mozgást. A kiadás kutatási kódot és modelleket tartalmaz; a kutatási bemutatóban látott Unreal Engine-integráció nem része a csomagnak.

A kódtár leírása elmagyarázza a folyamatos animáció működését: az alkalmazás választja ki a célokat, a modell pedig kitölti a négy legutóbbi és legfeljebb négy megcélzott testhelyzet közötti szakaszt. A futtatókörnyezet lejátssza és rögzíti a generált mozgást, majd a négy utoljára rögzített testhelyzetet használja a következő generálás előzményeként. Az Inbetweener bemutatóban a felhasználó klipekből választ testhelyzeteket, és elhelyezi őket a nézetben. A TensorRT NVIDIA GPU-t igényel. A bemutatók a mellékelt ONNX-modelleket használják, ezért futtatásukhoz nem szükséges külön modellállapotokat letölteni.

A SOMA modellkártyája rögzíti a beépítés korlátait. Bemenete az ízületek helyzetével és forgatásával írja le a testhelyzeteket, mozgási megkötésekkel együtt. A szöveges utasítás és a jelenet geometriája nem része ennek a bemeneti felületnek: az alkalmazás helyezi el a célokat, és kezeli az akadályokat. Más csontvázhoz megfelelő reprezentáció vagy a mozgás átültetése szükséges. A tanítási eloszláson kívüli célok gyengébb mozgást eredményezhetnek. A numerikus pontosság és a futtatókörnyezet eltérő eredményt adhat; a különbségek felhalmozódhatnak, amikor a generált mozgás később előzményként szolgál. A létrehozott mozgást nem validálták fizikai robotvezérléshez.