A Liquid AI bemutatta a speciális multimodális feladatokra szánt LFM3-at

A Liquid AI kiadta az LFM3-at: a modellcsalád olyan alkalmazásokhoz készült, amelyek egy adott feladatra alakított modellt igényelnek. A multimodális itt többféle bemenet, például kép és beszéd kezelését jelenti. A vállalat szöveges, képi, hangos, kombinált bemenetű és döntési változatokat kínál; közlése szerint mindegyik továbbtanítható egyetlen GPU-n, a fejlesztő saját adataival.

A képi modell dokumentációja a dokumentumok, diagramok és alkalmazásképernyők olvasását, valamint a videókról feltett kérdéseket nevezi meg célfeladatként. A kódolást, a többfordulós beszélgetést és az összetett következtetést viszont kifejezetten nem ajánlja. A futtatási támogatásra is figyelni kell: a llama.cpp-integráció még elbírálás alatt áll, egyelőre videó nélkül; az SGLang támogatása szintén elbírálás alatt van, a vLLM-é pedig készül. A példaparancsok ezért nem igazolják, hogy e futtatók kiadott változatai már támogatják a modellt.

Az Omni útmutatója a videó hangsávjának feldolgozásához a load_audio_from_video=True és a use_audio_in_video=True beállítást is előírja. Ezek nélkül csak a képkockák jutnak el a modellhez.

A függvényhívási példában az alkalmazás értelmezi és végrehajtja a generált hívásokat. Ezután a beszélgetéshez hozzáadja az asszisztens tool_calls rekordját, szótárként megadott argumentumokkal, valamint az eredményeket tartalmazó tool szerepű üzenetet is. Csak ezután kér új generálást ugyanazokkal a függvényleírásokkal. A modell további hívásokat kérhet vagy válaszolhat; a hívás generálása még nem hajtja azt végre.