Perplexity AIは7月15日にオープンソースのベンチマーク「WANDR（Wide ANd Deep Research）」を公開し、大規模なリサーチ業務（幅広い情報の探索と、詳細な根拠の検証を要するタスク）に対してAIシステムがどれほど効果的に機能するかを測定しました。このベンチマークには、専門家による知的作業をモデル化した、現実的なデータ収集タスク500件が含まれており、市場分析、デューデリジェンス、文献レビュー、競合インテリジェンスなどを扱います。さらに、170,000件超のソースで検証済みの記録によって裏付けられています。
単一の回答を評価する従来のベンチマークとは異なり、WANDRは、AIシステムが大量の関連エンティティを特定し、各結果を裏付けとなるエビデンスで検証できる能力を測定します。実運用のAIシステム6つを評価したところ、Perplexityの「Search as Code」プラットフォームが最も高いパフォーマンスを示し、ソフトF1スコアが0.363、ハードF1スコアが0.133でした。次いでAnthropicが0.249と0.072で、幅広い範囲にわたるエビデンスに裏打ちされたリサーチは、依然として完全に自動化されるにはほど遠いことが示されています。
