
資料內(nèi)容:
注意力機(jī)制是一個(gè)很寬泛(宏大》的一個(gè)概念,QKV相乘就是注意力,但是他沒(méi)有規(guī)定 QKV
是怎么來(lái)的
通過(guò)一個(gè)查詢變量Q,去找到V里面比較重要的東西
假設(shè)K==V,然后 QK 相乘求相似度A,然后 AV相乘得到注意力值Z,這個(gè)Z 就是 V的另外一
種形式的表示
Q可以是任何一個(gè)東西,V也是任何一個(gè)東西,K往往是等同于V的(同源》,K和V不同源
不相等可不可以
他沒(méi)有規(guī)定 QKV 怎么來(lái),他只規(guī)定 QKV 怎么做