Python知識(shí)分享網(wǎng) - 專業(yè)的Python學(xué)習(xí)網(wǎng)站 學(xué)Python,上Python222
transformer 論文閱讀理解+代碼注釋解讀 PDF 下載
匿名網(wǎng)友發(fā)布于:2025-12-01 09:52:24
(侵權(quán)舉報(bào))
(假如點(diǎn)擊沒(méi)反應(yīng),多刷新兩次就OK!)

transformer 論文閱讀理解+代碼注釋解讀 PDF 下載 圖1

 

 

資料內(nèi)容:

 

注意力機(jī)制是一個(gè)很寬泛(宏大》的一個(gè)概念,QKV相乘就是注意力,但是他沒(méi)有規(guī)定 QKV
是怎么來(lái)的
通過(guò)一個(gè)查詢變量Q,去找到V里面比較重要的東西
假設(shè)K==V,然后 QK 相乘求相似度A,然后 AV相乘得到注意力值Z,這個(gè)Z 就是 V的另外一
種形式的表示
Q可以是任何一個(gè)東西,V也是任何一個(gè)東西,K往往是等同于V的(同源》,K和V不同源
不相等可不可以
他沒(méi)有規(guī)定 QKV 怎么來(lái),他只規(guī)定 QKV 怎么做