几年前，评估语言模型还相对简单：在写作、数学、编程等题目上计分，分数被当作能力的代表。如今，AI 已不再仅是聊天工具，而是能够调用外部工具、操作网页、处理文件并跨系统执行工作的 Agent，这让测评的难度大幅提升。

在针对电商场景的 RealReplicaBench 测试中，研究者用 107 个真实商业任务检验多款模型，结果显示没有任何参赛者达到 60 分的及格线——最高仅为 56.1 分。参测队列包括 13 支模型以及诸多知名大模型（如 GPT、Claude、GLM、Qwen、Deepseek 等），其中 Gemini 排名靠后。以得分最高的 Claude Opus 5 为例，其在阿里 Accio Work 执行框架下的通过率为 66/107，高于其在 OpenClaw（60/107）和 PI（65/107）上的表现，整体来看 Accio Work 框架对多数模型带来了更明显的性能提升。

Accio Work 是阿里推出、聚焦电商场景的 AI Agent 平台，目标是在一个工作台上帮商家管理并自动化操作多平台店铺、快速分析数据、降低使用门槛并提升效率。RealReplicaBench 发源于 Accio Work 的技术团队：他们认为仅靠“做题”无法反映模型在真实业务中的能力，电商工作往往既琐碎又连贯——采购需要从邮件和报价中核实信息，发货要处理图片、价格与物流状态，经营分析需要跨平台比对数据，任何一步的失误都可能影响后续流程。 球友会

因此，RealReplicaBench 把“完成度”作为测评核心：一项任务只有在结果可以被下一环节直接接手、无需人工补足时，才被视为真正完成。测试团队的判断是，即便一个任务完成了 80%，若剩下的 20%恰恰是关键环节而需要人工介入，那么对用户而言这项工作并不构成可直接使用的交付。基于此原则，测评中不存在“将就”——任务未完整达成即计零分。

这与传统 Benchmark 的评分逻辑截然不同：后者更像笔试，按步骤或中间结果给分；RealReplicaBench 更像路考，关注从起点到终点的安全、可靠到达。你可以理解为：会打转向灯并不等同于能把车安全开到目的地，过程中的任何一个失误都可能导致判定不合格。

要把这种高完成度的要求做成可重复、可验证的 benchmark 并不容易。单纯把真实需求用文字复写给模型并不能还原业务复杂性——页面状态会变、历史与新信息会冲突、不同系统字段不一致等问题往往被文字省略。为此，RealReplicaBench 在测试环境中尽量复刻真实操作场景：前端界面、浏览器交互、命令行工具、API/MCP、文件系统以及后台状态都被还原，让 Agent 面对的不是纸上的题，而是一套可被实际操作的业务系统。 球友会

例如在供应商采购类任务里，Agent 必须在多种信息来源和不断变化的页面状态中判断并执行采购流程；在发货或上架流程中，错误的价格或物流判断会沿着业务链条放大，导致最终无法交付。正是这种关注端到端、可流转交付的测评方式，将电商 AI 的能力评估推向了更高、也更接近真实生产环境的标准。

总之，随着 AI 从“答题”走向“上岗”，测评标准也在发生转变：更严格的完成定义、更接近真实的测试环境，使得当前模型在电商实务场景中的短板被更清晰地暴露出来，也为后续改进指明了方向。