A Baseten kiadta a szöveg helyett döntéseket adó joey-1 modellt

A Baseten október 29-én jelentette be a joey-1 modellt olyan szoftverekhez, amelyeknek döntés kell a következő lépéshez. A vállalat bejelentése a gyakran ismétlődő besorolásokat és azokat az eseteket emeli ki, ahol minden döntés várakozást ad a válaszhoz. A cég ezt annak alternatívájaként mutatja be, hogy egy nyelvi modell szöveges választ írjon, amelyet azután a szoftvernek kell értelmeznie.

Példa egy kérés besorolására

A hivatalos API-példa egy kétszer felszámított díjról szóló ügyfélüzenetet ad bemenetként. Külön kérdés határozza meg, melyik csapat foglalkozzon vele; a választható lehetőségek a számlázás és a műszaki támogatás. A kérés API-kulcsot is tartalmaz. Ez a választási feladat megadását szemlélteti, nem rögzített ügyféleredmény vagy pénzvisszatérítési művelet. Az alkalmazás a visszaadott valószínűségek alapján választhat, vagy megbízhatósági küszöböket alkalmazhat.

Kérdésformák és korlátok

A modellkártya megkülönbözteti az igen-nem kérdéseket, a névvel megadott választási lehetőségeket és a rendezett pontozási szinteket. Pontozásnál a szinteket a legalacsonyabbal kell kezdeni. A bemenet szöveget és képet is tartalmazhat. Az önálló futtatás leírása CUDA-képes grafikus processzort és rögzített PyTorch-környezetet követel meg. A betanított hosszkorlátot meghaladó kéréseket a rendszer elutasítja, nem rövidíti le.

A megjelenésről a MarkTechPost beszámolója is ír. Az összefoglaló a szolgáltató anyagait ismerteti; ebből nem következik, hogy ezt a munkafolyamatot függetlenül tesztelték volna.