拆解对象：WebArena: A Realistic Web Environment for Building Autonomous Agents，ICLR 2024。全部作者来自 CMU，Shuyan Zhou 与 Frank F. Xu 同等贡献，Graham Neubig 通讯。812 个任务、四类自托管站点，WebRL 拆解（本系列上一篇）里的评测集 WebArena-Lite 就是它的子集。这篇文章只做一件事：分析这篇 benchmark 论文的结构为什么好。所有数字出自论文 arXiv 版正文与附录，可对照复核。
一、为什么值得拆
方法论文卖「有效」，benchmark 论文卖另外三样东西：测得准、测得难、可复现。这三点都不像「准确率提升五个点」那样可以直接列数字，说服力必须靠结构组织出来。WebArena 三项都给出了结构性答案：执行式评测函数保证测得准，人类锚点保证测得难，Docker 交付保证可复现。
它后来的地位也印证了这套结构：web agent 方向的 RL 训练工作（包括 WebRL）几乎都在它的环境或子集上做。benchmark 论文怎么写出一篇的份量，这篇是标准答案之一。
二、正文骨架：环境与任务各占一节，评测函数升格为第一公民
| 章节 | 职责 | 拆解要点 |
|---|---|---|
| 1 Introduction | 立论 | Figure 1 环境总览，四类站点加工具与知识库 |
| 2 WebArena | 环境定义 | 2.1 高层语言控制、2.2 站点选择、2.3 观察空间、2.4 动作空间 |
| 3 Benchmark Suite | 任务与评测 | 3.1 意图收集、3.2 评测标注（含 reward function、unachievable tasks、人类表现） |
| 4 Baseline Web Agents | 基线 | 提示式 agent 两种配置 |
| 5 Results | 结果与归因 | 5.1 Analysis 用两个自问自答收尾 |
| 6-7 | 收束 | Related Work 后置，结论一页 |
环境一节、任务一节，两节体量相当，这个比例就是论文的主张本身：环境与任务设计同为主要贡献。
三、把环境当方法写：§2 的形式化
第 2 节用方法论文的严谨度定义环境。观察空间给出三种表示：截图、HTML DOM 树、accessibility tree，各自的可获取信息与 token 成本不同。动作空间把点击、输入、滚动、标签页操作、URL 导航统一列举，并给每个节点前缀唯一元素 ID，把「点哪个元素」变成 n 选 1 分类问题，不同 agent 的步数因此可比。
四类站点全部自托管且数据取自真实世界：电商 OneStopShop 基于 Magento（约 90k 商品、300+ 品类），论坛基于 Postmill（95 个 subreddit、127,390 帖子），协作开发用真实 GitLab（300 仓库），外加 CMS 管理后台；工具侧配地图、计算器、草稿本，知识侧配离线 Wikipedia 与官方手册。Docker 容器交付、gym 风格 API、确定性重置脚本，可复现性从口号变成交付物。刻意避开真实线上站点（验证码、内容漂移）的取舍也在文中明说。
四、reward function 是第一公民：§3.2 的层次设计
任务从 241 个模板实例化为 812 个意图（平均每模板 3.3 个实例），模板变量化让同一模板能派生出难度截然不同的任务。812 个任务分三类：信息寻找、站点导航、内容与配置操作。评测函数按任务类型分成两族，即 Table 1：
| 函数族 | 适用任务 | 实现 |
|---|---|---|
| r_info | 信息寻找 | exact_match / must_include / fuzzy_match（GPT-4 判断语义等价） |
| r_prog | 导航与内容配置 | locator（数据库查询 / API 调用 / JS 元素选择）+ 关键词断言 |
r_prog 只检查执行后的终态（订单是否真实下单、帖子是否落到目标板块），不比对表层动作序列，因此允许多条有效路径。这个设计直接继承了执行式评测的思想（HumanEval 一脉），把「任务完成了吗」从字符串匹配升级为状态断言。
五、unachievable task：把防幻觉写进任务集
受 SQuAD 2.0 启发，任务集中混入了环境里根本无法完成的意图（如「告诉我 OneStopShop 的客服电话」，环境并无此信息），标注为 N/A，期望 agent 给出等价回答而非编造。测的是拒绝无根据断言的能力。
5.1 节围绕它的消融非常精彩：提示里加入「可能存在不可完成任务」的提示后，GPT-4 识别不可行任务的比例达 77.78%，代价是把 54.9% 的可行任务误判为不可能；去掉提示，整体成功率反而从 11.70% 升到 14.41%，且 GPT-4 仍能自主识别 44.44% 的不可行任务，而 GPT-3.5 则倾向幻觉作答。一个提示词的取舍带出一整段分析，这种「小设计撬动大讨论」的写法是分析节的精华。
六、开场即立论：14.41% 对 78.24%
GPT-4 加 CoT 的最佳配置端到端成功率 14.41%（Table 2），人类基准 78.24%：从 170 个模板各抽 1 个任务，5 名计算机专业研究生执行，平均耗时 110 秒。这个 5.4 倍的差距在摘要、引言、结果、结论出现四次，benchmark 的「难」用一张主表加一个人类锚点钉死。附录还补了 GPT-3.5 temperature 0 下 6.28% 的口径，主表数字的实验配置全部可追溯。
七、能学走的三个写作技巧
- 环境形式化：用观察空间、动作空间的词汇定义 web 环境，benchmark 论文写出方法论文的严谨度，审稿人按方法论文的标准给分
- 评测函数与任务分类对齐：三类任务对应两族 reward，设计有层次，读者能按任务类型直接索引评测方式
- 自问自答式分析节：5.1 的「模型知道何时停止吗」「相似任务表现一致吗」两问，把归因分析变成可独立传播的结论
尾注：对我自己工作的映射
赛后教练系统当前正处在 Phase 0 数据可行性验证，WebArena 的路径顺序值得照抄：先搭可复现的环境与自动判据，再谈模型与训练。r_prog 的 locator 加断言设计对「改善验证」环节有直接启发：从 server-map 与 client-common-map 提取的轨迹终点状态与操作序列，可以用同一模式自动判定一项教练建议是否真的带来了行为改善（指定弯道的漂移评分是否落在断言区间）。评测先行的意思是，改进的裁判先于改进本身存在。
参考
- 论文：arXiv:2307.13854，发表于 ICLR 2024
- 环境与代码：webarena.dev、github.com/web-arena-x/webarena
- 主实验口径：812 任务端到端成功率（SR），GPT-4 为主模型，人类表现为 170 模板抽样上的 5 人平均
