Helmsman 節省多少硬體成本？取代了多少 CPU 核與 DRAM？

根據論文，40 台全快閃伺服器承載了過去需要約 35,000 個 CPU 核與 0.35 PB DRAM 才能支撐的 ANNS 工作負載，硬體成本節省超過 90%，目前部署已穩定運行數個月。這組數字顯示當向量檢索進入十億級規模時，把檢索主路徑從 DRAM 搬到閃存是經過生產驗證的成本控制路線。

小紅書為什麼要用 Helmsman 取代原本的 HNSW 圖索引？

小紅書的搜尋、推薦與廣告服務高度依賴 ANNS，過去必須仰賴記憶體內的 HNSW 圖索引才能在嚴格服務水準協議（SLA）下兼顧吞吐與低延遲，但用戶與內容規模持續膨脹，導致記憶體佔用失控，資本與營運成本成為瓶頸。該團隊改用建構於全快閃伺服器之上的聚類式架構，把熱資料留在 DRAM、把檢索主路徑搬到閃存，並以軟體補回延遲落差。

Helmsman 對正在評估 RAG 或推薦系統基礎架構的團隊有什麼啟示？

核心是儲存與計算的重構成本曲線：當向量檢索進入十億級規模，純記憶體（DRAM）方案的邊際成本會快速失控。Helmsman 的生產驗證顯示，把熱資料留在 DRAM、把檢索主路徑搬到全快閃儲存、再以軟體（使用者空間儲存棧、學習式剪枝、GPU 索引）補回延遲落差，是兼顧成本與 SLA 的可行路線——40 台全快閃伺服器取代約 35,000 核與 0.35 PB DRAM、硬體成本省逾 90%。對自建 RAG 或推薦基建的團隊，這代表評估時應把『記憶體上限』重新視為可最佳化的成本變數，而非固定瓶頸。

研究 / RESEARCH解讀 / EXPLAINER

小紅書 Helmsman：40 台全快閃伺服器取代 0.35 PB DRAM，OSDI '26 論文釋出向量檢索新架構

小紅書在 OSDI '26 發表 Helmsman，以聚類式索引、使用者空間儲存棧與 GPU 加速建構，用 40 台全快閃伺服器承載原先約 35,000 核與 0.35 PB DRAM 的 ANN 工作負載，硬體成本節省超過 90%。

組織署名AI Daily Mail 編輯部編輯與發布責任

發布: 2026/07/26 19:54（台北）
日報: 當日版面
閱讀: 4 分鐘
證據: 1 個具名來源論文
標準: 編輯方法

模型協助研究與初稿；來源判斷、發布與修正責任由 AI Daily Mail 編輯部承擔。責任說明

先看結論

小紅書在 OSDI '26 發表 Helmsman，以聚類式索引、使用者空間儲存棧與 GPU 加速，用 40 台全快閃伺服器承載原先約 35,000 核與 0.35 PB DRAM 的近似最近鄰搜尋工作負載，硬體成本節省超過 90%。

IMAGE / RIGHTS

AI Daily Mail 編輯視覺

圖片政策 →

文章目錄

1. 從記憶體圖索引走向全快閃
2. HNSW 的記憶體天花板
3. 三項關鍵設計
4. 對大規模檢索基礎設施的意義

從記憶體圖索引走向全快閃

小紅書（RedNote／Xiaohongshu）的搜尋、推薦與廣告服務高度依賴近似最近鄰搜尋（approximate nearest neighbor search, ANNS）。在嚴格的服務水準協議（SLA）下，過去必須仰賴記憶體內的圖形索引 HNSW 才能同時兼顧吞吐與低延遲。然而用戶與內容規模持續膨脹，記憶體佔用隨之失控，資本與營運成本成為瓶頸。該團隊在 OSDI ‘26 發表的論文《The Clustering Strikes Back: Building Cost-Effective and High-Performance ANNS at Scale with Helmsman》指出，將 ANNS 從 HNSW 遷移到建構於全快閃（all-flash）伺服器之上的聚類式（clustering-based）架構，是兼顧成本與效能的可行走法。

HNSW 的記憶體天花板

理解 Helmsman 的價值，得先看清楚它取代了什麼。HNSW（Hierarchical Navigable Small World）之所以長期是 ANNS 的主流，是因為分層圖結構能在毫秒級完成檢索、召回率又高；但它的代價是把整張圖與所有向量常駐 DRAM。當向量數量從億級走向十億級，每新增一個向量就連帶新增多條鄰居邊，記憶體佔用幾乎隨規模線性膨脹。對小紅書這類內容平台，使用者與筆記向量持續累積，DRAM 容量很快就從「可規劃的成本」變成「卡住擴張的硬上限」——既要維持 SLA、又不能無上限堆機器，這正是 HNSW 在超大規模下的結構性困境。

聚類式索引走的是另一條路：先把向量空間切成一群群聚類，查詢時只載入少數最相關的聚類，其餘留在較便宜的儲存層。這讓「熱資料留 DRAM、檢索主路徑搬閃存」成為可能，把記憶體從硬上限重新定義為可最佳化的成本變數。挑戰則在於閃存的讀取延遲與軟體棧的額外開銷，得靠工程補回來。

向量規模超過 DRAM 容量後，多數冷資料移往 Flash，只有熱門聚類保留在 DRAM。 — 圖1　HNSW 把整張圖與向量常駐 DRAM，規模膨脹撞上硬上限；聚類式索引改讓熱資料留 DRAM、主路徑搬閃存。

三項關鍵設計

根據 USENIX 公開的論文摘要，Helmsman 結合三項核心元件：面向 ANNS 的使用者空間（userspace）儲存棧，藉以繞過核心 I/O 路徑、降低閃存讀取的額外開銷；分層學習式剪枝（leveling-learned pruning）模組，取代固定式剪枝策略以動態收斂搜尋空間；以及 GPU 加速的索引建構管線，讓十億級向量規模的索引重建可在數小時內完成。作者群來自小紅書、華東師範大學與上海交通大學，論文收錄於 OSDI ‘26 論文集第 1623 至 1639 頁。

三項設計各自補一個把檢索搬到閃存後出現的缺口。使用者空間儲存棧處理的是核心 I/O 的額外開銷：傳統核心路徑每次讀取都要經過系統呼叫與上下文切換，對閃存的細粒度隨機讀取是沉重放大，繞過核心等於把這段開銷削掉。學習式剪枝處理的是召回率：聚類式架構若用固定規則剪枝，會在邊界案例犧牲精確度，改用學習到的策略可依資料分布動態收斂搜尋空間。GPU 索引建構則回應十億級規模下「重建一次要多久」的營運現實——數小時內完成才讓索引重建跟上內容更新節奏，成為可常態化的作業。

Helmsman 以使用者空間儲存、學習式候選剪枝與 GPU 建索引三層設計提升全快閃向量檢索效率。 — 圖2　使用者空間儲存棧、學習式剪枝、GPU 索引建構各自補一個閃存化缺口，用軟體補回延遲落差。

對大規模檢索基礎設施的意義

真正值得決策者關注的數字在落地成果：論文明白寫道，目前上線部署已穩定運行數個月，40 台全快閃伺服器承載了過去需要約 35,000 個 CPU 核與 0.35 PB DRAM 才能支撐的 ANNS 工作負載，硬體成本節省超過 90%。這組對比說明：當向量檢索進入十億級規模，純記憶體方案的邊際成本將快速失控，把熱資料留在 DRAM、把檢索主路徑搬到閃存並以軟體補回延遲落差，已是經過生產驗證的路線。若要把這條成本曲線放進更大的 AI 需求背景，可對照 Alphabet 財報揭露的 Cloud 訂單與每分鐘 220 億 token 用量；前者聚焦檢索基建，後者呈現整體運算需求。對任何正在評估 RAG 與推薦系統基礎架構的團隊而言，Helmsman 提供的不是另一個 ANN 演算法，而是一份可參照的儲存─計算重構成本曲線。若需先釐清這類系統在 RAG 中的角色，可先看〈Embedding 與向量檢索〉的定義。

來源紀錄

EVIDENCE

閱讀編輯方法

本文共使用 1 筆具名來源，下方保留分類、來源連結與說明，方便交叉查核。

SRC-078 / 論文

The Clustering Strikes Back: Building Cost-Effective and High-Performance ANNS at Scale with Helmsman (OSDI '26)

小紅書、華東師大、上海交大團隊發表之 Helmsman 論文，詳列系統設計與生產部署數據（40 台機器、約 35,000 核、0.35 PB DRAM、成本節省逾 90%）。

分級說明 →

常見問題

瀏覽精選問答

Helmsman 是什麼？小紅書發表的向量檢索系統做了什麼？: Helmsman 是小紅書在 OSDI '26 發表的向量檢索系統，將近似最近鄰搜尋（ANNS）從記憶體內的 HNSW 圖索引遷移到全快閃（all-flash）伺服器上的聚類式（clustering-based）架構。論文標題為《The Clustering Strikes Back: Building Cost-Effective and High-Performance ANNS at Scale with Helmsman》，作者群來自小紅書、華東師範大學與上海交通大學，收錄於 OSDI '26 論文集第 1623 至 1639 頁，已於小紅書搜尋、推薦與廣告服務穩定上線數個月。
Helmsman 節省多少硬體成本？取代了多少 CPU 核與 DRAM？: 根據論文，40 台全快閃伺服器承載了過去需要約 35,000 個 CPU 核與 0.35 PB DRAM 才能支撐的 ANNS 工作負載，硬體成本節省超過 90%，目前部署已穩定運行數個月。這組數字顯示當向量檢索進入十億級規模時，把檢索主路徑從 DRAM 搬到閃存是經過生產驗證的成本控制路線。
Helmsman 的三項關鍵設計是什麼？: Helmsman 結合三項核心元件：面向 ANNS 的使用者空間（userspace）儲存棧，繞過核心 I/O 路徑以降低閃存讀取的額外開銷；分層學習式剪枝（leveling-learned pruning）模組，取代固定式剪枝策略以動態收斂搜尋空間；以及 GPU 加速的索引建構管線，讓十億級向量規模的索引重建可在數小時內完成。
小紅書為什麼要用 Helmsman 取代原本的 HNSW 圖索引？: 小紅書的搜尋、推薦與廣告服務高度依賴 ANNS，過去必須仰賴記憶體內的 HNSW 圖索引才能在嚴格服務水準協議（SLA）下兼顧吞吐與低延遲，但用戶與內容規模持續膨脹，導致記憶體佔用失控，資本與營運成本成為瓶頸。該團隊改用建構於全快閃伺服器之上的聚類式架構，把熱資料留在 DRAM、把檢索主路徑搬到閃存，並以軟體補回延遲落差。
Helmsman 對正在評估 RAG 或推薦系統基礎架構的團隊有什麼啟示？: 核心是儲存與計算的重構成本曲線：當向量檢索進入十億級規模，純記憶體（DRAM）方案的邊際成本會快速失控。Helmsman 的生產驗證顯示，把熱資料留在 DRAM、把檢索主路徑搬到全快閃儲存、再以軟體（使用者空間儲存棧、學習式剪枝、GPU 索引）補回延遲落差，是兼顧成本與 SLA 的可行路線——40 台全快閃伺服器取代約 35,000 核與 0.35 PB DRAM、硬體成本省逾 90%。對自建 RAG 或推薦基建的團隊，這代表評估時應把『記憶體上限』重新視為可最佳化的成本變數，而非固定瓶頸。