研究 / RESEARCH解讀 / EXPLAINER
月之暗面 Kimi Linear：線性注意力首度全面超越全注意力，KV 最多省 75%
月之暗面開源 Kimi Linear 混合線性注意力架構，以自研 KDA（Kimi Delta Attention）精煉 Gated DeltaNet，搭配多頭潛在注意力 MLA 採 3:1 分層混合，在相同訓練配方下於短上下文、長上下文與強化學習三場景首度全面超越全注意力，KV cache 最多降低 75%、1M 上下文解碼吞吐提升 6 倍，並開源 KDA kernel、vLLM 實作與 Base／Instruct 模型權重。