CADRE: a művelet és az AI-generált jelenet közötti késés nyomában

A Kyutai CADRE-tanulmánya világmodellekkel foglalkozik: ezek korábbi képekből és műveletekből jósolják meg a következő videóképeket. Autoenkóderük kisebb reprezentációba tömöríti a képeket, majd ebből állít vissza videót. Több képkocka együttes kezelése számítást takaríthat meg, de késleltetheti a művelet látható hatását. A kutatók tárgyak mozgatását és navigációt vizsgálnak; továbbra is nyitott kérdés, átvihetők-e az eredmények általános célú világmodellekre.

A kódtár online bemutatót és saját GPU-n futtatható változatot kínál, amely világmodelleket és kiinduló klipeket tölt le. A nyilvános szolgáltatásban két aktív felhasználó osztozik egy H100 GPU-n; a további látogatók sorban várnak. A közölt helyi késés nem tartalmazza a hálózati továbbítást és a böngészős megjelenítést. A hosszú generált képsorok továbbra is eltérhetnek a kívánt menettől, ezért ezek a bemutatók nem tekinthetők a hű szimuláció garanciájának.

A CADRE-2x32x32 modelladatlapja konkrétan leírja a bemenet előkészítését. Másodpercenként 20 képkockás RGB-videót ír elő, páros számú képkockával. Előfeldolgozása szélesvásznú arányra egészíti ki, majd 288-szor 512 képpontra méretezi az anyagot. A használati példa kódolja, majd visszaállítja a bemenetet; ez a művelet különbözik a környezet jövőjének megjóslásától.

A MarkTechPost október 23-i beszámolója összefoglalja a kiadást, és alternatívákat vet össze. Táblázata kifejezetten a Kyutai tanulmányának tulajdonítja az adatokat, és a készítők saját eredményeiként jelöli őket. Nem közöl független benchmarkmérést.