Saját infrastruktúrán futtatható a kiadott Mistral Large 4

A Mistral a nyilvános előzetes után kiadta a Le Chonk becenevű Large 4 modell súlyait. A bejelentés szerint a szervezetek választhatnak: a Studio vagy az API szolgáltatásán keresztül használják, vagy letöltik a súlyokat a Hugging Face oldaláról, és vLLM vagy SGLang segítségével telepítik. Ez utóbbi két szoftver a modell saját infrastruktúrán történő kiszolgálására használható.

A modell dokumentációja szöveges és képi bemenetet, szöveges választ, továbbá függvényhívást és strukturált JSON-kimenetet ír le. A Mistral összetett kérésekhez és ügynökfolyamatokhoz magas, gyors csevegéshez alacsony, hétköznapi használathoz közepes gondolkodási fokozatot ajánl; az alapérték a magas. Eszközöket hívó alkalmazásoknál azt javasolja, hogy a rendszerutasítás ismertesse a környezetet, a feladatot és az eszközhasználatot, az elérhető eszközök pedig legyenek egyértelműen meghatározva, és csak a szükséges legszűkebb készletet tartalmazzák.

A saját kiszolgálásnak konkrét telepítési feltételei vannak. A jelenlegi vLLM útmutató külön Large 4 konténerképet, AMD esetén pedig külön ROCm-képet ír elő; közlése szerint a szokásos kiadási és éjszakai wheel-csomagok még nem támogatják a modellt. Az ellenőrzés meghatározott NVIDIA-szerverkonfigurációkra és AMD MI350X hardverre terjed ki. Bár a modell közel egymillió kontextuspozíciót hirdet, az útmutató csak 256 ezerig közöl ellenőrzést, és ennek megfelelően állítja be a maximumot. Ez az egy kérésben beküldhető anyag mennyiségének megválasztásakor lényeges különbség. Az AMD MI300 hardver ezen útmutató szerint továbbra sincs ellenőrizve.

A The Decoder sajtóbeszélgetésről is tudósít: a Mistral kutatói, Pierre Stock és Corentin Petit egyre nehezebbé tett, házon belül készített tanítási feladatokról számoltak be. A folyamat korlátját ahhoz kötötték, milyen nehéz feladatokat képes a csapat még létrehozni és ellenőrizni. Ez a beszámoló a csapat tanítási megközelítését ismerteti, nem független teljesítménymérés.