A Databricks szakmai útmutatóval javította a nyelvi modellek kártevőfelismerését
A Databricks tesztjeiben a szakmai ellenőrzési szempontok segítettek a nyelvi modelleknek több fertőzött szoftvercsomagot felismerni. A saját vizsgálat a téves riasztások és a tesztadatok korlátait is bemutatja.
Ebben a cikkben
Ritka, de nehezen vizsgálható csomagtípus
A Databricks Threat Research 2025 novembere óta gyűjt a JavaScript-programcsomagokat terjesztő npm kártevőmintáit. Az Open Source Vulnerabilities riasztásai alapján megerősített 11 413 csomagverzióból 432, vagyis 3,8 százalék tartalmazott bináris, vagyis lefordított programállományt. Ezek aránytalanul nehéznek bizonyultak a vállalat triázsrendszere számára: 14,4 százalékuk nem kapott egyértelműen rosszindulatú minősítést, míg a csak forráskódot tartalmazó csomagoknál ez az arány 6,2 százalék volt.
A folyamat YARA-, Semgrep-, npm-metaadat- és bináriselemzési jeleket egyesít, majd egy nagy nyelvi modelltől (LLM) indokolt döntést és szükség esetén további fájlokat kér. A Databricks szerint a tiszta JavaScript, a hihető metaadatok és a professzionális dokumentáció arra késztetheti a modelleket, hogy racionalizálják vagy figyelmen kívül hagyják a gyanús bináris jeleket.
Képességprofilok kontrollált tesztje
A kutatók öt rosszindulatú natív Node.js-bővítménytípust készítettek: hitelesítőadat-lopót, letöltőt vagy hátsó kaput, fordított parancsértelmezőt, kriptobányászt és perzisztenciát biztosító eszközt. Az egyik minta többféle elhomályosítása összesen tíz tesztcsomagot adott. Hét olcsóbb modellt és két nagyobb képességű referenciamodellt azonos promptokkal és hőmérséklettel vizsgáltak; a Claude Opus csak költségreferencia volt.
A képességprofil egy szabályalapú leírás, amely egy adott támadási technikához pontozza a statikus bizonyítékokat. Küszöbérték elérésekor a rendszer körülbelül 1800 tokenes összefoglalót ad a prompthoz, mielőtt a modell dönt. Profilok nélkül az olcsóbb modellek 70 tesztből 35-ben nem érték el a felismerési küszöböt. A profilok 32 hibát helyrehoztak, így a kihagyások aránya 50-ről 4 százalékra csökkent; három GPT-5.4-nano eset továbbra is csak gyanús minősítést kapott.
Éles adatok és korlátok
A 425, OSV által rosszindulatúnak jelölt binárisos csomagverzión és 2449, külső jelek alapján jóindulatúnak választott verzión a Databricks 0,77-es precizitást, 0,81-es érzékenységet és 0,79-es F1-mutatót közölt. Ez azt jelenti, hogy a riasztások mintegy 77 százaléka volt helyes, és a rosszindulatú verziók mintegy 81 százalékát emelte ki a rendszer; az F1 e két arány összesített mutatója. A jóindulatú készletből 104 verziót emelt ki a rendszer, ami 4,25 százalékos tévesriasztási arány; ezek hat csomagcsaládra koncentrálódtak. A riasztásokat továbbra is elemzőnek kell átnéznie.
A szerzők két fontos korlátot hangsúlyoznak. Az OSV-címkék teljes csomagokra vonatkoznak, nem jelölik meg, hogy maga a bináris hordozza-e a rosszindulatú viselkedést, ezért az eredmények nem tiszta binárisdetektálási mutatók. A szolgáltatott modellek idővel változhatnak is. A legerősebb következtetés így az azonos bemeneteken, egy időszakban mért különbség, nem a modellek tartós rangsora vagy minden ellátásilánc-támadásra érvényes bizonyíték.
