Fokozatos korlátozásokról számolt be a Databricks az AI-programozás költségeinél
Patrick Wendell szerint a Databricks figyelmeztetéssel kezdi a költés korlátozását, a hozzáférés leállítását pedig végső eszköznek tekinti.
A Databricks október 22-én megjelent vállalati interjújában Patrick Wendell társalapító bemutatta, hogyan kezelik saját AI-programozási kiadásaikat. A felhasználó először figyelmeztetést kap, aztán jóváhagyási lépés következik, majd olcsóbb modellre váltanak; a teljes leállítás marad az utolsó eszköz. A munkatársak személyes költési kimutatást és megtakarítási javaslatokat is kapnak. A leírás a vállalat beszámolója a saját gyakorlatáról, nem pedig annak független értékelése.
A Unity Gateway termékleírása bemutatja a kapcsolódó szabályozási lehetőségeket: a költés hozzárendelését, költségkereteket, költési limiteket és riasztásokat a felhasználók, csapatok, alkalmazások, ügynökök és modellek szintjén. A Smart Routing a minőség, a költség és a teljesítmény alapján választ modellt és a körülötte működő programozási eszközt. Külön kérés- és tokenlimitek szabályozzák a használatot felhasználónként, csapatonként, alkalmazásonként vagy szolgáltatásonként; a nyomkövetés pedig rögzíti a promptokat, tokenhasználatot, költségeket és eszközműveleteket.
Az AWS-hez tartozó költségdokumentáció előfeltételeket is megad: engedélyezett átjáró, támogatott régióban működő munkaterület és engedélyezett számlázási használati rendszertábla szükséges. A Databricks által futtatott modellek költségeinek hozzárendelése számlázási rekordokra épül. A külső modellek költsége viszont becslés: a tokenhasználatból és a szolgáltató közzétett áraiból számítják, az esetlegesen beállított árszorzóval módosítva, óránként összesítve. Ezek a külső költségbecslések tájékoztató jellegűek, ezért eltérhetnek attól az összegtől, amely végül a szolgáltató tényleges számláján szerepel.
Próbáld ki: CurioFuse-gyakorlat
Saját szerkesztői mintafeladat, ellenőrzési szempontokkal.
Készíts kis költségdöntési munkalapot
Ez kitalált adatkészlet, nem Databricks-teljesítményadat. Briefvázlatok: becsült költség 6 euró, számlázott költség 7 euró, nyolc elfogadott eredmény. Képi vázlatok: becslés 10 euró, számla 12 euró, két elfogadott eredmény. Kódösszefoglalók: becslés 4 euró, számla még nincs, kilenc elfogadott eredmény. Az ellenőrzési munkát egyik összeg sem tartalmazza.
Külön oszlopban tartsd a becsült és a számlázott költséget. Csak beérkezett számla esetén számíts egy elfogadott eredményre jutó számlázott költséget. A hiányzó tényleges költség maradjon ismeretlen. A következő adag előtt javasolj egy tisztázó kérdést a munkafolyamat gazdájának.
Az első két számítás eredménye 0,875 euró, illetve 6 euró elfogadott eredményenként. A kódösszefoglalók tényleges költsége ismeretlen marad; 4 euróval helyettesítve eltűnne a becslés és a számla különbsége.
A képi vázlatoknál további generálás engedélyezése előtt kérdezd meg, miért csak két eredmény volt elfogadható. Üzleti költségösszevetés előtt minden munkafolyamatnál add hozzá az ellenőrzés munkáját. A munkalap döntési menetet szemléltet; számai nem javasolt keretek, általános riasztási küszöbök vagy valamely szolgáltató olcsóságának bizonyítékai.
Források(3)
- Coding costsEllenőrizve:
- Gateway featuresEllenőrizve:
- Cost attributionEllenőrizve:
