8 月 2 日 · 日報

百度 Unlimited-OCR：Reference Sliding Window Attention 讓 KV cache 全程恆定，單次前向辨識 40 餘頁

百度以 DeepSeek-OCR 為基線開源 Unlimited-OCR，核心是 Reference Sliding Window Attention（R-SWA）：把解碼器所有注意力層換成一組靜態的「參考前綴」（全部視覺與提示 token，全程不變、對所有生成 token 全域可見）加上一個因果滑動窗（預設 128），使 KV cache 全程維持 m+n 恆定、單步注意力成本降為 O(m+n)。在 OmniDocBench v1.5 達 93.23，超越 Qwen3-VL 235B（89.15）、Gemini-2.5 Pro（88.03）與 DeepSeek-OCR（87.01，+6.22）；解碼吞吐隨輸出長度維持平坦，單次前向可辨識 40 頁以上文件。模型與程式碼以 MIT 開源，並指 R-SWA 可推廣至 ASR、翻譯等長輸出任務。