BERT是谷歌公司提出的預(yù)訓(xùn)練模型，主要模擬語言模型和語句預(yù)測。由12層transformer的編碼器羅列組成，可以進(jìn)行遷移學(xué)習(xí)從而滿足不同要求任務(wù)，也可以用來進(jìn)行詞向量生成。

Bert是一個預(yù)訓(xùn)練模型，bilstm是一個模型結(jié)構(gòu)。首先兩個結(jié)構(gòu)不同，bert是基于transformer改進(jìn)而來引入多頭注意力機制等，bilstm是一個時間序列的模型包含遺忘門、輸入門、輸出門、細(xì)胞狀態(tài)。

Bert中利用了attention，在谷歌論文中 attention is all you need 中提出了多頭注意力和transformer，bert是由12層transformer的編碼器羅列組成。

關(guān)于Q，K，V：Q可以理解為一段文本，K 可以理解為關(guān)鍵詞提示，V可以理解為模型學(xué)習(xí)后對文本關(guān)鍵部分的理解。在模型訓(xùn)練時，K V由編碼器給出，Q由解碼器給出，模型根據(jù)Q以及K學(xué)習(xí)理解文本的關(guān)鍵含義得到V。