写代码的 Agent 越来越快,检查它的那一步没人管:TestSprite 4.0 拿「规格」当标准答案,给一次改动写出 29 条端到端测试
3分钟看懂:先说结论
2026 年 11 月 20 日,西雅图的 TestSprite 发布了 4.0。它不是一个写代码的工具,而是专门给「用 AI 写代码的团队」补上检查这一环的测试智能体。
用法很朴素:你用大白话告诉它这个应用应该干什么,或者直接丢一份 PRD、一张 Jira / Linear 工单、一个 Figma 文件给它。它自己打开你的应用,在真实浏览器里把流程走一遍,把测试写出来、跑起来,然后告诉你哪些失败是真 bug。
最能说明它想法的,是官方博客里那个故意的演示:一个只有十行规格的小网店,两条改动各自单独测试都通过,合并之后优惠券开始给打折商品再打一次折——黑五那天,整个店的商品都被重复打折。
这件事值得写,是因为它指出的是 2026 年一个很具体的空缺:会写代码的 Agent 已经有一堆,会检查「合起来还能不能用」的却几乎没有。
它到底解决什么问题
先说那个演示,因为它比任何功能列表都清楚。
这家小网店要上两个功能:优惠券、促销价。规格一共十行,第 4 行写着一句「促销商品不能再用优惠券」。
- 第一个 PR 加了优惠券,并且让优惠券跳过所有带「促销」标记的商品。Claude Code 的
/verify检查通过。 - 第二个 PR 加了促销价,把原价划掉显示。划掉的价格本身已经表示「在促销」,所以这次改动把那个标记去掉了。
/verify也通过,还顺带说明:「代码里没有别的地方读onSale,今天删掉不影响任何东西。」 - 在那个分支上,这句话是对的。然后 GitHub 无冲突地把两个 PR 都合了——因为它们根本没碰同一行代码。
结果:优惠券去找促销标记,一个也没找到。TestSprite 从这十行规格写出了 29 条测试,合并前一条都没报错,合并后「促销商品不能用优惠券打折」那条变红,并且报出具体差异:20 美元的马克杯和从 60 降到 40 的托特包一起放进购物车、输入 SAVE10,本该只减马克杯的 2 美元,实际减了整车 6 美元。
两次单点检查都看不见这个 bug,因为两次改动单独看都没错。这就是文章开头说的那个空缺。
关键设计:标准答案不来自代码
这是 TestSprite 4.0 和「让 coding agent 顺手写点 Playwright 测试」最本质的区别。
官方博客的原话很直接:如果测试是读着代码写出来的,那它读到的就是「这段代码今天干了什么」,包括 bug;测试不会漏掉 bug,它会保护这个 bug。
4.0 的做法是把「正确」的来源换成规格——一份 PRD、一张工单、一个设计稿,或者了解产品的人说的几句话。这条标准只有在人决定要改的时候才会变。
落到操作上,这意味着三件事:
- 先探索再写测试:它自己登录(包括一次性验证码)、自己点、自己记录应用的行为,然后才动手写。
- 不确定就问:规格没写清楚的地方,它把假设一条条列出来等你回答。演示里它问的是「金额是按行四舍五入,还是只在总额上四舍五入?两种算法能差一分钱。」
- 失败要分类:每次失败会被分成真 bug、测试写坏了、环境坏了三类,附上「本该发生什么 / 实际发生了什么」和整段录屏。
另外,测试期望只在人批准时才会改。按钮挪了位置,它自己更新步骤;应用不再按你说的做,测试就红。
为什么现在做这件事
2026 年这一年的变化是:代码产量突然不再是瓶颈。
Claude Code、Codex、Cursor 这一批工具把「写」变便宜了,AI 代码审查又把「看 diff」变便宜了。中间那一步——有人真的把产品当用户点一遍——没有变便宜,反而更少了,因为团队觉得已经有两道检查了。
官方博客对这个现象的描述很直白:团队带着 coding agent 和 AI 审查一起发布,然后没人再点产品;bug 静静地堆起来,直到客户一次性全发现。
所以这类工具的市场不取决于「AI 测试准不准」,而取决于有多少团队真的在并行跑多个 Agent。并行越多,合并处的问题越多,而合并是单点检查的天然盲区。
怎么用:四步把它接到你的流程里
第一步,先只接一个应用。 注册后贴应用地址,再用几句话写清楚「它应该做什么」。写不出规格的,先写最关键的几条业务规则(比如「促销商品不参与优惠券」),这比写一百条 UI 断言有用。
第二步,逐条过一遍它探索出来的测试计划。 它会按「每条测试覆盖什么」分组列出来,每一行都是你可以读、可以改的期望。这一步别省——你跳过的那几行,就是它以后判不了的地方。
第三步,先跑一次全量,再谈自动化。 第一次跑完先看失败分类:如果大多是「环境坏了」,说明你的测试环境本身不稳定,先修这个;如果大多是「测试写坏了」,说明规格太模糊,回去补规格。
第四步,接进已有的工作流。 官方给了四条入口:网页端对话、开源 CLI(Apache-2.0,TestSprite/testsprite-cli,5,212 stars)、IDE 插件(走 MCP)、以及 GitHub PR 自动测试。免费档就能开一个仓库的 PR 自动测试和 Slack 通知,先从这个仓库开始,别一次全铺开。
适用场景:谁现在就该看
- 团队已经在用 Claude Code / Codex / Cursor 写业务代码,一周合十几个 PR,但没人系统地回归。
- 产品是 Web 应用或 API,能在一个浏览器里打开。它对「谁写的代码」没要求:Lovable、Bolt、Claude Code 或者一整队工程师,都一视同仁。
- 有明确的业务规则需要守住(价格、权限、结算、审批流),而这些规则本来就写在需求文档里。
- 想让测试给人读得懂:它写出来的每条测试同时也是可以读、可以改的代码。
不适用场景:这些情况先别买
- 原生 App(iOS / Android 客户端)。它的战场是浏览器里能打开的 Web 应用和 API,别拿它去覆盖原生端。
- 规格本身没人写得清的产品。它的标准答案来自规格;规格含糊,它只能把含糊的假设列出来问你,最后还是要人来定。
- 想完全不管、让它自己决定对错。设计上就是「期望变更必须人批准」,你越放手,它越只能验证你已经写下来的东西。
- 需要等保 / 私有化但预算很紧。单租户部署、SSO、SCIM、审计日志都在 Enterprise 档,起步价 199 美元/月、10 席起。
- 把「降本 90%」当承诺。这是公司自己的口径,第三方转述时也明确标了「应视为厂商说法」。真实省多少,取决于你有多少重复回归工作。
成本:五档订阅,按环境和历史天数分层
- Free:$0,150 credits/月,1 个环境,30 天运行记录,含 Agent 对话、CLI、IDE 插件、1 个仓库的 GitHub PR 自动测试、Slack 通知。
- Starter:首月免费,之后 $19/月,400 credits,1 个环境,3 个仓库的 PR 自动测试。
- Standard:$39/月,800 credits,3 个环境,90 天记录,含 Jira / Linear 集成。
- Pro:$69/月,1,600 credits,环境不限、记录不限,可用最强的 Agent 模型、跨工作区的 Agent 记忆。
- Enterprise:$199+/月起(10 席起),5,000 credits 起,单租户部署、SSO/SCIM/审计日志、定制集成。
年付省 35%。另外它在 AWS Marketplace 上也能买,走云厂商的既有采购额度。
需要注意的分界:Agent 记忆是分层卖的——Standard 是「每个项目」,Pro 才是「跨整个工作区」。如果你的应用横跨多个项目,记忆能不能串起来会直接影响使用体验。
避坑清单
- 别指望它替你定义「对」。它验证的是你写下来的期望。规格里漏掉的规则,它抓不到,只会问你。
- 别一上来就全仓库铺开。免费档 150 credits、1 个环境,第一次跑全量很容易一次烧完,先在一个关键仓库上跑通。
- credits 是按测试运行消耗的,不是按席位。测试写得越细,跑一次越贵;合并高峰期要留意额度节奏。
- 失败分类要人手看第一周。「测试写坏了」和「真 bug」分错的成本不对称:前者浪费你十分钟,后者可能漏到线上。
- 它是独立第三方,不是你的代码审查。代码审查看 diff 合不合理,它看产品还能不能用,两者不能互相替代。
- 「5,212 stars 的 CLI」不等于整套产品开源。开源的是命令行工具,云端智能体和浏览器农场仍是闭源服务。
行动建议
如果你只是想验证值不值:今天就能做的最小动作是——挑一个你最近合并出过问题的小项目,贴地址,写五条业务规则,让它跑一次,看它能不能复现你上周手工发现的那个 bug。能复现,再谈接入 PR。
参考来源
- TestSprite 官方博客(2026-11-20):https://www.testsprite.com/blog/introducing-testsprite-4-0
- TestSprite 官方定价页:https://www.testsprite.com/pricing
- TestSprite CLI 仓库(Apache-2.0):https://github.com/TestSprite/testsprite-cli
- AccessNewswire 新闻稿(2026-11-20):https://www.accessnewswire.com/newsroom/en/computers-technology-and-internet/testsprite-4.0-launches-an-independent-testing-agent-to-verify-wh-1254595
- Lucidwire 报道(2026-11-20):https://lucidwire.in/en/article/testsprite-4-0-agentic-testing-launch
- CrazycodersLab 报道(2026-11-20):https://crazycoderslab.com/testsprite-4-0-ai-testing-agent-coding-agents-spec-regression-pull-requests-2026/
本文基于官方博客、官方定价页与多家媒体转述整理;「降本 90%」「15 万开发者」等数字为厂商自述口径,未经独立验证。
参考来源
- https://www.testsprite.com/blog/introducing-testsprite-4-0
- https://www.testsprite.com/pricing
- https://github.com/TestSprite/testsprite-cli
- https://www.accessnewswire.com/newsroom/en/computers-technology-and-internet/testsprite-4.0-launches-an-independent-testing-agent-to-verify-wh-1254595
- https://lucidwire.in/en/article/testsprite-4-0-agentic-testing-launch