首頁>標簽>token

Alibi位置向量外推性：看起來很長其實還是短

Alibi位置向量外推性：看起來很長其實還是短
三秒搞懂 Attention with Linear Biases（AliBi）看完上一小節，發現對於 Transformer 中位置資訊的加入，從最開始在底層對 Token Embedding 加和且需要學習開始，到不需要學習，直接在 A...
標籤：位置向量推性token長度
日期：2021-09-24閱讀全文