Az NVIDIA bemutatta a Cosmos3-H-Dreams sebészeti szimulátort

Az NVIDIA bejelentése klinikai epehólyag-eltávolítások felvételeiből tanult jelenetekre terjeszti ki a generatív szimulációt. A sebészeti robotikával foglalkozó kutatóknak fontos különbség, hogy az élethű megjelenés nem bizonyítja a biomechanikai pontosságot. A vállalat a sebészek bevonásával történő értékelést és a teljes műtét lefedését kutatási irányként mutatja be, nem a kiadással már igazolt képességként.

A szimulátor futtatása

A kódtár Linuxot, CUDA-képes NVIDIA GPU-t és Python 3.12-kompatibilis környezetet igényel. Alapbeállítása több mint 32 GB GPU-memóriát kér. Egy kezdeti sebészeti kép, kompatibilis mentett modell és műszermozgások alapján a szerver kisebb blokkokban generál videót. A rögzített mozgások MP4-kimenetéhez ffmpeg is kell. Az élő vezérléshez WebXR-kompatibilis headsetböngésző, két követett vezérlő és HTTPS-elérés szükséges. A headset vagy számítógép a szimulációt jeleníti meg; a generálást a GPU-szerver végzi.

A saját adatos átalakítás még nem teljes

A kapcsolt tanítási útmutató szűkebb határt jelöl ki, mint egy teljesen végrehajtható recept. A tanítómodell finomhangolása és értékelése támogatott, de a kauzális teacher-forcing és a Self-Forcing tanítás még nem támogatott a cosmos-framework rendszerben. Ezek a szakaszok a sorozatos generálást készítik elő, illetve a generált előzményekből történő tanulást szolgálják. A jelenlegi adatbetöltőből a sebészeti vezérlési kiterjesztés adaptere is hiányzik. Az útmutató ezért megkülönbözteti a referenciamódszert a futtatható modell-lepárlási utasításoktól. Videómodellje a megadott műveletekből jósol jeleneteket; a vezérlési parancsokat nem maga választja ki.