VideókTanulás és kutatás
Attention a transzformerekben: query, key és szövegkörnyezet
A 3Blue1Brown bemutatja, hogyan alakítja a figyelmi mechanizmus a tokenek reprezentációját a környezetük alapján.
Szerkesztett fordítás
Mit tanulhatsz?
Grant Sanderson a query-, key- és value-vektoroktól jut el a softmaxig, a maszkolásig és a többfejes figyelemig. A jelzős példa lehetséges viselkedést szemléltet; nem magyarázza meg minden megtanult figyelmi fej működését.
Kinek ajánljuk?
Előbb az előző transzformeres leckéből tisztázd a token és a vektoros beágyazás különbségét. Ez bemutatja, hogyan hordoznak jelentést a reprezentációk, és hogyan alakítja őket a szövegkörnyezet. Így könnyebben követheted a figyelmi súlyokat bemutató ábrákat.
A 2024 áprilisában megjelent alapozó GPT-3-példákat használ. Ez az ajánló az alkotó írásos feldolgozására támaszkodik.
Források(3)
- Attention — official videoEllenőrizve:
- Attention — written lessonEllenőrizve:
- Transformers — preceding lessonEllenőrizve:
