A Mistral bemutatta a Voxtral 3 beszédmodelljeit és hangügynök-fejlesztői csomagját

A Mistral a Voxtral 3-at ügyfélszolgálatok, kapcsolattartó központok és hangasszisztensek alapjaként mutatja be. A beszédet szöveggé, illetve a szöveget beszéddé alakító modellek mellé SDK-t, vagyis szoftverfejlesztői csomagot kínál. Ez az érveléssel és az eszközhasználattal kapcsolja össze a beszédfeldolgozás lépéseit. A cég API-hozzáférést biztosít; saját infrastruktúrán történő telepítéshez a csapatával való kapcsolatfelvételt jelöli meg.

A hangfeldolgozási dokumentáció külön tárgyalja a felvett fájlok átírását, az élő átírást és a beszédgenerálást. Ez a beépítendő komponens kiválasztásánál számít: a Small Transcribe modell az induláskor csak átírásra használható. Minden API-kéréshez AI Studio-kulcs kell. A dokumentáció tehát fejlesztői integrációt ír le, a különböző hangfeladatokhoz külön modellekkel.

Hol fut a beszélgetés?

A dokumentált, szolgáltatónál futó hangügynök-munkamenetben az alkalmazásod rögzíti és játssza le a hangot; az átírás, a válaszoló modell és a beszédgenerálás a Mistralnál fut. A szerveroldali eszközök szintén ott működnek, a kliensoldaliak viszont az alkalmazásod függvényeit hajtják végre. Telefonhívásban nincs ilyen klienskód: az útmutató szerint a kliensoldali eszközök ott hibára futnak, ezért telefonos ügynökhöz szerveroldali eszközök szükségesek. A telefonos elérés induláskor vállalati ügyfeleknek, kapcsolattartójukon keresztül érhető el.

A meglévő integrációk módosítást igényelhetnek

Az átállási útmutató a modellneveken túli változásokat is megnevezi. A szószintű időbélyegek kérése már hibát ad; helyettük szegmensszintű időbélyegeket kell kérni. Valós idejű munkamenetben minden beállítást az első hangrészlet előtt kell elküldeni, mert a későbbi módosítás hibaeseményt eredményez. A beszélők szerint elkülönített átiratot megjelenítő alkalmazásnak az átfedő szegmenseket is kezelnie kell. A Mistral az alkalmazásban mért késleltetés újbóli mérését is javasolja; a modellcsere így nem tekinthető automatikusan változatlan felhasználói élménynek.

A megjelenésről a The Decoder is beszámolt.