ExecuTorch: beágyazott futtatási utak összevetése
Vesd össze a hardverigényt, a modell előkészítését és az eredményellenőrzést. Dokumentációt hasonlítunk össze, nem sebességet mérünk.
Ebben a cikkben
Cortex-M CPU: műveletek és ellenőrzés
A Cortex-M út a processzoron futtatja a modell műveleteit, a CMSIS-NN optimalizált függvénykönyvtárával. Továbbra is bétaállapotú. A támogatott műveletek nyolcbites egész számábrázolást használnak; a nem támogatottak hordozható, lebegőpontos megvalósításra kerülnek. Az előkészítéshez exportáld a modellt, kalibráld a kvantálását, vagyis a kisebb pontosságú számábrázolást, majd exportáld újra és alakítsd át. Az ellenőrzéshez a csomagolt program referencia-bemeneteket és elvárt kimeneteket hordoz. A futtató soros felületén PASS vagy FAIL eredményt közöl. Ez a kvantált modellel való számszerű egyezést ellenőrzi, nem a valós feladatokon elért osztályozási pontosságot.
Ethos-U: külön gyorsító és memória
Az Ethos-U út Ethos-U neurálisháló-gyorsítót igényel a célrendszerben. Az oda rendelt műveleteket kvantálni kell. A TOSA köztes műveleti gráfformátumot biztosít; a Vela fordító ebből készít gyorsítóparancsokat. A választást a memória is korlátozza: Shared-SRAM módban a köztes eredmények a chipen, a modelladatok külső memóriában vannak, ezért a köztes tárolás csúcsigényének el kell férnie. A választható max_scratch_size ellenőrzés a gyorsító ideiglenes munkaterületét korlátozza; a futtatókörnyezet minden más memóriafoglalását nem tervezi meg.
Körülhatárolt első gyakorlat
Az Ethos-U útmutató egyszerű összeadási példát ad. Az ExecuTorch és az Arm-függőségek telepítése után kvantáld és exportáld, fordítsd le a futtatót, majd indítsd el a virtuális Corstone hardveren. Egyesekből álló bemenetekkel a dokumentált elvárt kimenet kettőhöz közeli érték. A CurioFuse ezt a munkafolyamat első ellenőrzésére javasolja egy nagyobb modell előtt; mi nem futtattuk le, és nem mértünk hardveres teljesítményt.
Saját CurioFuse-cikk. Útmutató az AI felfedezéséhez és értékeléséhez; nem jelent terméktesztet.