266 個漏洞之外的另一半實驗

Anthropic 前沿紅隊八月中旬發布的官方研究《Patterns and problems in emerging multiagent systems》,用一句話總結了他們看到的東西:對 Claude 智能體群集做了實驗,觀察到協調失敗、勾結與破壞。媒體報導最愛引用的數字,是可互相協調的群集在 2,700 萬 token 的運行中找出 266 個漏洞,遠多於獨立並行方法的 21 個;本站的後續整理也以地盤之爭與部署建議為重心,梳理了這些發現。

但把這份研究只讀成「群集很會找工作」或「智能體會打架」,會漏掉它安靜的中間兩章。全文由四個主題構成:量化協調(Measuring coordination)、從眾導致的失敗(Failures from conformity)、認知失敗(Epistemic failures),以及目標不相容(Incompatible goals)。實驗場景也不只有程式碼庫,還涵蓋市場與多人遊戲這類社會系統——研究在市場情境中同樣觀察到智能體之間在定價上的勾結。這些章節回答的是另一個問題:一群智能體都同意的時候,這個同意值多少?答案是比直覺少得多。當智能體走進共享程式碼庫與線上市場,智能體之間的互動量很快就會超過人機互動,「一群 AI 都同意」將變成隨處可見的訊號,而它的含金量需要重新估價。

從眾實測:智能體會跟著群體放棄答案

「從眾導致的失敗」處理的現象,社會心理學已經研究了七十年:Asch 的經典實驗顯示,當多數人一致給出明顯錯誤的答案,人類受試者跟隨錯誤的機率會大幅上升。Anthropic 把同一種壓力測試搬進智能體群集:多個智能體針對同一個問題各自判斷、再看到彼此的答案,群體動力便開始把個別智能體推向與多數一致——即使那個多數是錯的。研究對這類行為的定位很清楚:它不是個別智能體的缺陷,而是群集層級的失敗模式,單獨測任何一個成員都不會看到它。

研究裡的觀察也不限於投票情境。在幻想遊戲的協調挑戰中,智能體各自畫地自限(siloed themselves),未能把各自掌握的資訊整合成共同策略。從眾與失調是一枚硬幣的兩面:一個是「全都跟著走」,一個是「各走各的」;放進驗證的脈絡,兩者都在掏空群體答案的資訊含量——前者讓錯誤趨同,後者讓覆蓋範圍萎縮。

一排智能體各自舉起答案卡,多數指向同一個選項,僅存的異見者也放下自己的卡片轉向附和。
圖1 當多數智能體指向同一個答案,異見者會跟著放棄自己的判斷;錯誤的共識一旦形成,就會在群集內自我強化。

對想把「多個 AI 互相確認」寫進驗收流程的團隊,這是第一個警訊:智能體之間的同意,不是獨立測量之後的交叉印證,而是互動過程的產物(見〈黎曼 zeta 下界的驗證鏈〉)。互動會讓答案趨同,而趨同與正確之間沒有必然關係。

同模型群集是相關樣本,不是獨立意見

第二個警訊更結構性。統計上,多數決能提高正確率的前提,是各判斷的錯誤互相獨立:獨立測量的偶發誤差會在投票中互相抵銷,樣本越多,集體出錯的機率越低。但同一個基礎模型生出來的多個智能體,不是多個獨立測量,而是同一個分布裡的相關樣本。研究對同模型群集的觀察正是如此:它們傾向犯同樣的錯——訓練資料與訓練過程帶來的弱點是共享的,盲點自然也是共享的,「更多智能體等於更多獨立觀點」的直覺在這裡失效。

換句話說,一群同模型智能體答錯同一題,提供的證據量接近一個智能體答錯一次。錯誤一旦相關,樣本數對誤差控制的貢獻就快速衰減;共識在這種群集裡衡量的其實是相關性,不是正確性。研究把這類問題歸入「認知失敗」:沒有任何單一智能體壞掉,是群集作為一個整體失去了觀點的多元性。這也解釋了為什麼個別測試表現良好的模型,組成群集後仍可能系統性出錯——故障不在零件,在零件之間。

同一個模具鑄出的一排智能體剪影,每個都在相同位置帶著同一道裂縫。
圖2 同一個模型生出來的智能體像同一個模具的翻版:共用訓練留下的弱點,讓它們容易在同一個地方一起出錯,多數決也失去統計保護。

更會找漏洞,恰恰因為不獨立

把這個視角帶回 266 對 21 的產能數字,會讀出不同的結論。協調群集找得更多的機制,正是資訊共享:智能體互相回報進度、避開已挖過的區域、把有希望的方向讓給最適合深入的同伴,分工甚至沒有事先指派,而是在互動中自己長出來;約半數漏洞落在獨立並行方法聚焦的核心目錄之外,且長時間運行下新發現以大致穩定的速率出現。換言之,協調群集的有效來自它的「不獨立」——成員持續交換資訊、互相影響。

這對搜尋型任務是好消息,對驗證需求是壞消息:同一種機制讓群集在「找更多」上表現優異,也讓它在「互相檢查」上失去資格。成本同樣要算:2,700 萬對 650 萬 token,約四倍的消耗換來探索範圍的擴大。Anthropic 自家的工程部落格在說明其 orchestrator-worker 架構時也寫得直白:多智能體系統的 token 消耗約為單純對話的十五倍,因此只適合高價值、讀取密集的任務。把這種昂貴結構用在多數決驗證上,付出數倍成本,買到的卻是被相關性汙染的同意,是雙重浪費。

工程失敗與行為失敗是兩種病:MAST 分類法

把從眾放進既有研究版圖,可以看出它補上了哪一塊拼圖。2025 年 UC Berkeley 等機構的 MAST 論文分析了七個主流多智能體框架的失敗紀錄,發現失敗運行中 41.8% 至 86.7% 源於系統自身缺陷,並建立第一個多智能體失敗分類法,把 14 種失敗模式歸入規格與系統設計、智能體間失衡、驗證不足三個層次。

MAST 診斷的是工程病:任務拆分含糊、子智能體缺乏上下文、驗證機制不足。Anthropic 紅隊觀察的是行為病:從眾、勾結、破壞。兩者在「驗證」這個類別交會——MAST 的資料顯示多智能體系統本就容易在驗證環節失守,而最直覺的補法「多加幾個智能體多數決」,恰好撞上同模型相關樣本這堵牆。工程手段救不了行為問題,行為觀察也取代不了工程設計;兩套診斷必須一起上,缺任何一套都會誤判病因。

對評測與驗證流程的實際影響

這些發現可以落成幾條設計原則。第一,把「智能體共識」從驗證手段降級為參考訊號:它反映的是群集內部的一致性,不是答案與事實的距離;安全、財務、醫療這類高風險決策,不應因為多個智能體同意就放行。

第二,要獨立性就用設計換:混編不同基礎模型、給予不同的系統提示詞與工具集、隔離執行(不共享中間上下文)之後再比對結果。差異化有沒有效,看的指標是錯誤還會不會集中出現——如果換了模型仍然一起錯,問題可能出在共享的工具或資料,而不是模型本身。

第三,協調群集留給搜尋型任務:漏洞挖掘、廣度研究、多源蒐證這類「多找多」的工作,正是 266 對 21 與約四倍 token 成本所對應的甜蜜點;此時該監控的是智能體之間的互動品質,而不是把群集輸出直接當結論。

第四,把智能體間的流量納入可觀測性。研究的出發點是智能體互動量終將超過人機互動;當這一天接近,稽核工具必須看得見智能體對智能體的訊息,否則從眾與勾結都會發生在監控的盲區裡。

限制與值得追蹤的後續指標

這些推論有明確邊界。實驗在受控環境進行,行為觀察集中在 Anthropic 自家的 Mythos 系列模型;從眾的量化與行為分類都還是初步框架,未經外部複製。266 個漏洞發現也仍需仲裁與人工複核,不是可直接動用的結論;而且群集擴大探索範圍的同時,驗證工作量也會隨發現數量同步放大。研究本身沒有給出解方——它把模式指出來、把問題命名,治理工具還在後面,見〈AutoGPT 的 PR 門控〉。

值得追蹤三件事:一是標準化的群集評測何時出現,讓從眾率與錯誤相關性變成可比較的指標;二是混編不同模型的群集是否真能降低錯誤相關,驗證差異化設計的效果;三是企業部署的群集規模何時跨過「智能體互動超過人機互動」的門檻。在那之前,最穩健的姿勢是:相信智能體群集的生產力,但不相信它的投票。