A d3-ultra valószínűségekkel válaszol döntési kérdésekre
A vLLM Semantic Router csapata olyan modellt adott ki, amely szövegről, képről és videóról válaszol meghatározott típusú kérdésekre, szövegalkotás nélkül.
A modellkártya döntési modellt ír le: a szoftver anyagot és kérdéseket ad át, és a lehetséges válaszok valószínűségeit kapja vissza. Egy kérés választási, igen–nem és képi helymeghatározási kérdéseket is összefoghat. A bemenetet egyszer olvassa be. A helymeghatározó válasz mindig tartalmaz egy téglalapot, ezért fontos a megbízhatósági értéke: a nullához közeli érték a keresett tárgy hiányát jelzi. A fejlesztők értékelései saját, nem nyilvános teszteket használnak, nem hivatalos ranglistát.
Az október 25-én beolvasztott futtatókörnyezeti módosítás hozzáadja a d3-ultra kiszolgálását. A korábbi futtatókörnyezet elutasította a csomagot, mert eltért a deklarált modellazonosság. A változtatás kezeli a sajátos szöveges elrendezést: a kérdések az átadott anyag elé kerülnek; a képet vagy videót tartalmazó kérések megtartják a korábbi elrendezést. A szerzők korlátot is rögzítenek: egymáshoz közeli eredményű választásoknál eltérhet a döntés a modellcsomag saját futtatókörnyezetének döntésétől.
A fejlesztők számára a tágabb Semantic Router projekt tisztázza az ilyen döntési szoftver helyét. Az útválasztó beállított szabályok szerint választ vagy kombinál a konfigurált modellek közül. Az ügynököt futtató alkalmazás továbbra is maga kezeli az ismétlődő munkát, az eszközöket és a feladat állapotát. Helyi, privát és felhős kiszolgálók választhatók célként; a minőség, a válaszidő és a költség beállítható szempont. A projekt a következtetési végpontjához irányítja az alkalmazásokat; az útválasztás nem veszi át az ügynök munkaciklusának kezelését.
A MarkTechPost beszámolója Asif Razzaq tollából foglalta össze a kiadást. Ez másodlagos tudósítás, nem független teszt.