BrowseComp 在 10 个月内从 30% 提升到了 90%。
搜索智能体基准测试正在趋于饱和。
因此我们构建了 LoHoSearch：一个更难的搜索智能体基准测试，其问题是从包含 762 万个实体的维基百科知识图谱中自动生成的，而非由人类编写。
它在搜索空间和结构复杂度上达到了人类标注者无法可靠设计的极限。
在 11 个前沿模型上的结果： → 最佳成绩：34.74%，接下来的 3 个模型集中在 15–16% 左右——而顶尖模型目前在 BrowseComp 上得分约为 90% → 最佳上下文策略在此仅带来 +6.8 个百分点的提升——而在 BrowseComp 上则为 +14 个百分点
544 道问题。11 个领域。树状 + 图结构。
开源。🧵