AI未开源软件工具

审查通过不等于能用:CodeRabbit 让 AI 把应用跑起来点一遍,公测免费

2026年11月20日2 次阅读Read in English
审查通过不等于能用:CodeRabbit 让 AI 把应用跑起来点一遍,公测免费

3分钟看懂

11 月 18 日,做 AI 代码审查的 CodeRabbit 上线了一个新产品 CodeRabbit Verify,公测期免费。

它要解决的问题一句话就能说清:代码审查只能读代码,读不出「这个按钮点下去会不会坏」。

Verify 的做法是把你的应用在隔离沙箱里启动,用一个真实浏览器按用户路径走一遍:打开页面、填表、下单、付款,然后截图、录屏,把哪里坏了、怎么坏的摆出来。发现 bug 之后可以直接交给 CodeRabbit 自己的 Agent 修,也可以导出成 Markdown 丢给你平常用的编码 Agent。

三句话版本:

  1. 它不是"更聪明的评论机器人",它是把 AI 从「读 diff」推进到「跑应用」。
  2. 它现在只能测 Web 应用,而且是云端托管的 GitHub / GitLab / Bitbucket;原生移动 App、自建 Git 服务、自托管 CodeRabbit 都不支持。
  3. 公测免费,但结束时间官方没给。 官方也没说清免费期结束后怎么收费、排队在高频仓库上有多快。

这是什么,跟普通代码审查差在哪

现在的 AI 代码审查(包括 CodeRabbit 自己的主产品)本质上是在做一件事:读改动、读上下文、给出意见。它很擅长「这里少了一个空值判断」「这个循环能提前退出」,但它从来没有把你的应用跑起来过。

所以有一类 bug 它注定看不见:代码逻辑看着没问题,界面显示也对了,但实际行为错了。

官方博客给的例子很具体。一个 100 美元的订单用 SAVE20 优惠券,应该变成 80 美元。Verify 跑完之后发现:确认页确实显示 80 美元,但系统内部记录的扣款金额还是 100 美元。用户能下单、能付款、页面也对,账却记错了。只断言「优惠券生效了」「确认页出现了」,都会放过这个 bug。

这类问题在过去靠人点,或者靠一整套端到端测试脚本兜着。而现在写代码的是 Agent,改动量上去了,人点不过来,E2E 脚本又没人愿意维护——这就是 Verify 想插进来的位置。

两种跑法,互不干扰

Verify 有两种完全独立的运行方式,这点在官方文档里写得很明确,别混:

一、PR 跑(Pull request run)

它读这个 PR 的提交、相关源码、已有测试和文档,生成一组测试场景,然后在这个 PR 的代码上跑。结果以一条持续更新的评论形式贴回 PR。

触发方式有三种:在 PR 里新发一条评论写 @coderabbitai verify;在 GitHub 的 walkthrough 评论里勾选那个复选框;或者把仓库的自动运行打开,PR 一开就自动跑。

二、用户旅程跑(User journey run)

团队把「注册」「登录」「下单」这些关键流程存成可复用的旅程,每条旅程写明:谁在操作、想达成什么、步骤是什么、必须成立的条件是什么。然后按分支、按需或按定时跑。

这两种跑法刻意不交叉:PR 跑不会用你保存的旅程,旅程跑也不会往 PR 上贴评论。 前者的结果是「这次改动有没有搞坏什么」,后者是「整个应用的核心流程还好吗」。

旅程库一个仓库最多 50 条,单条最多 50 步。可以在 CodeRabbit 后台让 Agent 扫一遍仓库自动提建议,团队改完批准才进库。

怎么用:四步

第一步,确认前提。 仓库要在 GitHub Cloud、GitLab.com 或 Bitbucket Cloud 上,组织用的是 CodeRabbit Cloud,并且侧边栏里能看到 Verify。看不到就说明这个组织还没开。

第二步,准备环境。 Verify 跑的是 CodeRabbit 的 "coding environment"——和它的 Coding Agent 共用同一套环境。你要做两件事:写 setup 脚本(装依赖、编译,只在准备阶段跑一次),写 startup 脚本(跑数据库迁移、灌测试数据、把前端后端都起起来,最后以一次就绪检查收尾)。环境状态到 Ready 才算可用。

这里有个容易踩的点:setup 只在准备阶段跑一次,之后每次运行都是恢复快照 + 检出待测代码。 所以装依赖别写进 startup 脚本,否则每次都要等。

第三步,发命令。 在 PR 里新发一条评论:

```

@coderabbitai verify

```

后面可以跟一句指令,比如「检查密码输错后登录表单会不会提示错误」,这会改变它优先测什么。但注意三条硬规则:命令必须在行首、不能在代码块里;一条评论最多启动一次运行;回复在 review thread 里会被直接忽略,不跑也不回。你需要仓库的写权限。

第四步,看结果。 一次运行的产出是:截图、浏览器会话录屏、文字证据、复现步骤。失败了可以直接点「Fix with AI」交给 CodeRabbit Agent,也可以把发现的问题、测试的版本、环境、证据打包成 Markdown,导给 Cursor、Claude Code、Codex 这些你已经在用的 Agent。

适用场景:谁该试,谁别试

适合:

  • 做 Web 应用 / 服务的团队,手里有能跑起来的启动脚本和一套测试账号;
  • 已经被 Agent 生成的 PR 淹了,人工每条都点一遍不现实的中小团队;
  • 想覆盖「注册、登录、下单、支付」这几条关键路径,但不想再维护一堆一改就红的 E2E 脚本。

不适合:

  • 原生移动 App —— 官方明说只测 Web 应用和服务;
  • 用 GitHub Enterprise Server、自建 GitLab、Bitbucket Data Center、Azure DevOps 或自托管 CodeRabbit 的团队 —— 全都不支持;
  • 仓库没有可用启动脚本、或者根本没有测试数据的 —— 跑起来只会得到一堆 blocker。

还有一个适用范围要看清楚:它测的是「应用行为」,不是「代码质量」。风格、性能、安全漏洞扫描不在它这里,那是 CodeRabbit 另外几块(Review / Secure / Deep Scan)的事。

避坑:几个会实际卡住你的地方

权限不是所有人都能用。 Verify 自己没有独立权限,沿用 Coding Agent 的权限:Admin 和 Member 默认有读写,Billing Admin 用不了。看不到侧边栏条目,通常是组织没开通。

截图会拍到屏幕上的东西。 官方文档写得很直白:环境变量和密钥在文字证据里会被脱敏,但截图和录屏拍什么就是什么。所以测试环境里千万别塞生产库连接串和真实用户数据,要用非生产的值。

结果状态分得非常细,别把 Skipped 当通过。 一次运行的结果可能是:Bugs(找到缺陷)、Blocked(环境/基础设施错误)、Blockers(缺凭据、缺权限、缺集成、缺测试数据)、Failed(场景失败但没法分类)、Passed(在被测范围内通过)、Inconclusive(证据不足)、Skipped(没选出场景,压根没测)、Superseded(被更新的运行取代)、Generated — not run(生成了场景但没跑)。

「Passed」的官方注解是「这不代表应用的每一部分都被测过」。「Skipped」不是通过,是没测。

缺东西会报成 blocker,不是 bug。 缺登录凭据、缺一个测试账号、缺第三方集成,Verify 不会硬跑,也不会把它算成产品缺陷,而是单列出来并给建议。想让它真的跑通,这些前置条件得先补齐。

自动运行会跳过公开仓库。 自动 PR 运行不覆盖 public 的 GitHub 仓库,那种情况要手动发 @coderabbitai verify。

成本和时间

  • 公测期免费:PR 运行、全仓用户旅程运行、用 CodeRabbit Agent 修复,三样都免费。结束时间官方写的是「未定」。
  • 免费期之后多少钱,官方没说。 这在同类工具里不是小事——浏览器沙箱比读文本贵得多,跑一条真实用户路径的算力成本远高于发一条评论。
  • 快不快,官方也没给数。 文档只说一次运行会经过排队、准备环境、生成场景、测试、发布结果几个阶段,同一个 PR 上如果有运行还没完,新的会排队。高频仓库的排队情况目前没有公开数据。
  • 接入成本主要是"把启动脚本写好"。 这是唯一真正的门槛:你得让应用在别人的沙箱里、用非生产数据、可靠地启动起来。

站在读者角度:这件事为什么值得关注

过去一年,AI 编程的竞争主线是「谁写得更快」。现在这条线开始往后移:代码写完之后的验证,正在变成新的瓶颈。 Agent 一天能提十个 PR,但没人愿意一天点十遍测试。

行业里的动作也印证了这一点。同一周,Google Labs 放出 Stitch Loop(代码合并后由 AI 自己找问题、写修复、开 PR),Qodo 在讲「策略驱动的自动审批」,GitHub 把 Copilot 代码审查做成了自适应强度。大家都在往「提交之后」这一段挤。CodeRabbit 的差异化选择是:不跟你争"评论写得好不好",直接去跑你的应用。

它能不能成,取决于两件很朴素的事:启动脚本好不好写,以及沙箱跑得够不够快、够不够便宜。这两条现在都还没有公开答案。

行动建议

第一步,先小范围验证。 挑一个你最有把握能跑起来的仓库——最好已经有一键启动脚本和现成测试账号,别拿最复杂的那个试。

第二步,第一条命令只测一条路径。 登录或下单,一条就够。看它生成的场景是否合理、证据是否够你判断问题,再决定要不要铺开。

第三步,把旅程库当成资产来管。 真正的价值不在单次 PR 跑,而在于「注册、登录、支付」这些流程被固化下来、每次改动都自动验一遍。这件事一旦跑起来,比多一条代码评论有用得多。

参考来源:

  • CodeRabbit 官方博客:https://www.coderabbit.ai/blog/introducing-coderabbit-verify
  • CodeRabbit 官方文档(Verify):https://docs.coderabbit.ai/verify
  • 官方新闻稿(PR TIMES,2026-11-19):https://prtimes.jp/main/html/rd/p/000000003.000194489.html
  • IFAI 报道(2026-11-18):https://ifai.io/en/news/coderabbit-launches-verify-ai-testing-agent

参考来源

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...