Perplexity AI 於 2026 年 7 月 14 日推出 WANDR(Wide ANd Deep Research),這是一個開放基準,用於評估 AI 系統在大規模研究任務上的表現能力。該框架包含 500 個逼真的資料蒐集任務,這些任務以專業知識工作為模型,包括市場分析、盡職調查、文獻回顧、競品情報、產品比較以及人才招募。該基準的推出是為了回應目前 AI 系統在辨識大量相關實體,並為每一項結果提供可佐證證據方面所面臨的挑戰。根據 Perplexity,即便是公司評測中表現最佳的模型,其軟式 F1 分數為 0.363、硬式 F1 分數為 0.133,顯示以廣泛規模並以證據為後盾的研究,仍遠未能被完全自動化。該基準在 500 個任務中,納入超過 170,000 筆由來源支撐的紀錄,為以研究為導向的 AI 代理提供大規模測試環境;而在對於專業知識工作而言,涵蓋數百或數千筆紀錄至關重要的產業中,這種環境更顯得關鍵。
Perplexity 使用 WANDR 基準評估 6 個 AI 研究系統
Perplexity 在相同測試條件下,使用 WANDR 評估六個量產的 AI 研究系統。其中,其 Search as Code(SaC)平台達到最高的整體表現,軟式 F1 分數為 0.363、硬式 F1 分數為 0.133。Anthropic 排名第二,分數為 0.249 與 0.072;而其他被評估的系統則未超過軟式 F1 分數 0.121。研究也發現,增加運算投入通常能提升多數模型的表現;但更高成本與更長處理時間並不總能帶來更好的結果。
與聚焦於生成單一答案或書面報告的傳統 AI 基準不同,WANDR 衡量的是 AI 系統能否辨識大量相關實體,並針對每一項結果用支撐證據進行驗證。該基準旨在貼近真實世界的研究工作流程:成功不僅取決於找出正確資訊,還取決於能否在數百甚至數千筆紀錄中做到全面涵蓋。
WANDR 透過無參考的評估流程驗證 AI 研究
WANDR 採用無參考的評估流程:會將每一項提交的主張,與 AI 系統所引用的證據進行核對,而不是拿結果去比對一份固定的答案對照表。每一項主張都會被檢查來源品質、事實正確性、相關性,以及所附摘錄是否確實能夠支撐所呈現的資訊。這種方式旨在更貼近真實世界的研究情境,因為資訊會隨時間變動,而完整的答案集合也難以維持。
該基準也提供詳細診斷,用以辨識 AI 系統在複雜研究任務中失敗的環節。效能可在多個階段量測,包括資訊發現、資料強化、身分比對、來源驗證以及證據摘錄,讓開發者能夠找出超越整體準確度分數之外的弱點。
Perplexity 表示,該基準旨在成為供研究者與開發者使用的開放資源,協助 AI 驅動的搜尋與研究系統。除基準測試之外,WANDR 也可能透過在研究流程的每個階段提供結構化回饋,支援未來的強化學習技術;讓 AI 模型不僅能提升事實正確性,也能在規模化條件下改善規劃、涵蓋與證據蒐集能力。
常見問題
Perplexity AI 於 2026 年 7 月 14 日推出了什麼?
Perplexity AI 推出了 WANDR(Wide ANd Deep Research),這是一個開放基準,用於評估 AI 系統在需要「廣泛資訊發現」與「詳細證據蒐集」的、大規模研究任務上的表現。
Perplexity 的 Search as Code 平台在 WANDR 評估中的表現如何?
Perplexity 的 Search as Code(SaC)平台在六個被評估的 AI 研究系統中達到最高整體表現,軟式 F1 分數為 0.363、硬式 F1 分數為 0.133。
WANDR 的無參考評估流程驗證什麼?
WANDR 的無參考評估流程會將每一項提交的主張,與 AI 系統所引用的證據進行核對;並檢查來源品質、事實正確性、相關性,以及所附摘錄是否確實能夠支撐所呈現的資訊。