AI Daily Mail
TAG

linear-attention

所有與「linear-attention」相關的 AI Daily Mail 報導，以具名、可回查的來源為基礎，依發布時間排序。

linear-attention 標籤的文章列表

共 2 則文章，依發布時間排序

研究 / RESEARCH

月之暗面 Kimi Linear：線性注意力首度全面超越全注意力，KV 最多省 75%

月之暗面開源 Kimi Linear 混合線性注意力架構，以自研 KDA（Kimi Delta Attention）精煉 Gated DeltaNet，搭配多頭潛在注意力 MLA 採 3:1 分層混合，在相同訓練配方下於短上下文、長上下文與強化學習三場景首度全面超越全注意力，KV cache 最多降低 75%、1M 上下文解碼吞吐提升 6 倍，並開源 KDA kernel、vLLM 實作與 Base／Instruct 模型權重。