釋出內容:dots3 家族首款開放權重模型

小紅書(Xiaohongshu/RedNote)旗下的 Dots Studio 釋出 dots3-note Preview 權重。依官方模型卡自述,它是 dots3 家族第一款開放權重模型,也是該系列目前最輕量的成員。團隊同步在 GitHub 儲存庫提供模型說明與使用資訊。

Dots Studio 是小紅書的大模型技術團隊,見〈Helmsman 向量檢索架構〉。依 Dots Studio 的 GitHub 組織頁自述,這個團隊於 2025 年初成立,由公司內部的大型語言模型技術團隊發展而來,先前已陸續開源 dots.llm1、dots.ocr、dots.vlm1 等模型。

規格拆解:280B 總參數、16B 激活、512K 上下文

官方說明列出的核心規格是:Mixture-of-Experts(MoE)架構、總參數 280B、每次推理激活 16B,上下文長度最高支援 512K tokens。

dots3-note Preview 採 MoE 架構,總參數 280B,但每次推理只激活 16B 參數,並支援 512K tokens 上下文。
圖1 MoE 的關鍵在稀疏激活:權重總量有 280B,但每個 token 只喚醒其中約 16B 的專家參數,這讓長上下文與長程任務的推理成本保持在可負擔範圍。

這組數字放在一起看才有意義:280B 總參數代表模型的知識容量進入旗艦級區間,而 16B 的激活量意味著每次推理的實際計算負擔接近一個中型模型。512K tokens 的上下文窗口,則讓模型可以一次讀完整批文件或整套工作階段紀錄,而不必依賴外部的檢索拼接

原生多模態與長程 Agent 定位

dots3-note Preview 是原生多模態模型,單一架構即可接受文字、影像與語音等輸入,而非在文字模型外再接視覺、語音轉接器。官方說明也將它針對複雜推理與長程 Agent 任務最佳化,並預告完整的 dots3 系列還會有 jazz、aria 等成員——官方頁面以「note、jazz、aria」描述系列藍圖,這次釋出的 note 是系列中最早的開放權重版本。

「長程」(long-horizon)指的是跨越大量步驟、長時間維持目標一致性的任務,例如多輪工具呼叫、跨檔案的程式修改、需要反覆查證的研究流程。這類任務同時吃重上下文長度與多模態理解,正好對應這次釋出的兩個規格重點。

授權、部署與版本

依模型卡,dots3-note preview 的模型權重與建模程式碼以 Apache License 2.0 釋出,屬允許商用的寬鬆授權。權重可在 Hugging Face 上取得,同一系列另提供原生 FP8 版本 dots3-note-prev-fp8,以降低部署時的記憶體需求;vLLM 官方 recipes 站也收錄了對應的部署配方。

值得注意的地方

一是「Preview」的身分:這是預覽版權重,後續行為與版本迭代都可能變動,正式版出現前不宜把它當作穩定介面綁進生產流程。二是硬體門檻:即使只激活 16B,280B 的完整權重仍需多卡伺服器環境承載,一般消費級顯卡無法本地跑動完整模型。三是評測資訊:官方頁面與模型卡目前強調規格與定位,第三方獨立評測尚未沉澱,實際的推理與 Agent 表現仍待社群驗證。