Az Audio8 Realistic már 23 nyelven készít beszédet

Az Edge0 modellkártyája a Preview változathoz képest 12 további nyelvet sorol fel. Egy hang utánzásához tiszta felvételre és az elhangzott szavak pontos átiratára van szükség. A fejlesztő engedély beszerzését kéri a hangklónozáshoz. A minőség nyelvenként változik, a generált beszéd pedig szavakat hagyhat ki vagy ismételhet meg: a kész termékben való felhasználás előtt hallgasd meg.

A megszólalás tanítása

A kutatási tanulmány kifejti, miért nem írja le a természetes megszólalást önmagában a kívánt szavak felismerhetősége és a beszélő hangjának hasonlósága. A modell először többnyelvű felvételekből tanul, majd az érthetőségért és a hanghasonlóságért kap jutalmat, végül egy betanított értékelő is pontozza a természetességet. Ez ugyanazon mondat emberi felvételével veti össze a generált beszédet. Pontszámai egy adott bemenethez tartozó változatokat rangsorolnak; nem adnak abszolút minőségmércét, és nem helyettesítik az elhangzott tartalom ellenőrzését.

A telepítés korlátai

A telepítést mérlegelő fejlesztőknek a futtatási útmutató különválasztja a Realistic és a Preview kiadást: a Realistichez nem érhető el ONNX-export, a Preview exportált súlyai pedig nem a Realistic súlyai. A beszédszolgáltatásban szerveroldalon is engedélyezni kell a folyamatos hangküldést, mielőtt a generálás közben részletekben küldhetne hangot. Az alapbeállítással csak a generálás befejeződése után adja vissza a teljes hangot, akkor is, ha a kérés folyamatos küldést kér.

A kiadásról a MarkTechPost is beszámolt.