生物模型

每次跑不到 10 美元,7 个真实临床案例:开源 AI 科研助手第一次过了同行评审,但作者自己列了四类失败

2026年11月17日1 次阅读
每次跑不到 10 美元,7 个真实临床案例:开源 AI 科研助手第一次过了同行评审,但作者自己列了四类失败

3分钟看懂

11 月 16 日,Nature Medicine 在线发表了一篇关于 OpenScientist 的论文。一句话说完:给它一个科研问题和一批数据,它自己查文献、写代码、跑分析、迭代十轮,最后出一份带溯源的分析报告——而它的编排层和技能库是 Apache 2.0 开源的。

作者是圣路易斯华盛顿大学(WashU Medicine)的 Randall J. Bateman 团队与劳伦斯伯克利国家实验室(LBNL)的 Justin T. Reese,署名机构还包括弗里堡大学、哈佛医学院、UCL 的英国失智症研究所。DOI 是 10.1038/s41591-026-04808-6,CC BY 4.0。

为什么这件事值得单独写:这不是又一个「AI 科学家 demo」。它进了同行评审期刊,跑了 5 个主案例 + 2 个补充案例的真实临床数据,并且——这是最反常的一点——作者在 Discussion 里主动列了四类失败模式,包括「去掉生物信号后,仍有一部分假设在统计上成立」。

(本文基于多家媒体转述整理,事件与数字以 Nature Medicine 论文元数据与摘要、medRxiv 前身预印本全文、Zenodo 公开的 7 个案例运行日志,以及 GitHub 上 v0.2.0 的发布说明为准。)

一句话先说结论

值得看的是三件事同时成立:一,它开源的是编排层,不是模型——平台本身不带权重,能力来自你接的那个 provider(论文里所有运行用的是 Claude Sonnet 4.5),所以「开源」在这里的意思是「你能看到它每一步怎么想、怎么调工具、怎么改技能」,不是「你免费得到一个科学大模型」;二,成本低到可以随便重跑,论文写的典型单次运行成本不到 10 美元,而 SEABIRD 那个案例为了收敛一共跑了 10 次;三,同一个研究 3 月就挂在 medRxiv 上了,11 月 16 日是同行评审版上线 + 同天发 v0.2.0——新闻点是「过审」和「工程化落地」,不是「首次提出」。

它到底做什么:不是聊天,是一条能审计的流水线

OpenScientist 的工作方式写得很具体,不是「大模型帮你分析数据」这种模糊说法。它的循环是这样的:

  1. 输入:一句自由文本的科研问题,可选附上数据文件(支持表格、二进制组学格式、图像、文本),还可以附上参考材料——SEABIRD 那个案例里,附的是该研究的基金申请书。
  2. 迭代:默认 10 轮。每一轮重新读问题、回看前几轮的产出、在 Docker 沙箱里写并执行 Python、定向检索 PubMed 并读摘要、把新证据合并进一个叫 KSDS(knowledge state data structure)的 JSON 文件。
  3. 产出:终稿报告,包含分析、发现、综合结论、证据来源,以及建议的后续实验。
  4. 可选项:co-investigate 模式,允许人在中途给反馈,反馈也写进 KSDS,下一轮接着用。

两个设计细节值得单独拎出来,因为它们决定了这东西能不能被信任:

  • 技能分层:域无关技能(假设生成、结果解读、优先级排序、停止准则)和域相关技能(代谢组、基因组/转录组、结构生物学、统计)是两套东西。这意味着扩展一个新领域不用改核心逻辑——也意味着你可以只替换掉出问题的那一块。
  • KSDS 落盘:每一轮的中间状态都存成 JSON,不是留在上下文里。这是「可审计」这个词能成立的技术前提——你能回头看到它在第 4 轮基于什么证据做了第 5 轮的判断。

平台对模型 provider 是中立的:Anthropic、Google Vertex AI、AWS Bedrock、Azure AI Foundry、CBORG(LBNL 内部算力),v0.2.0 又加了 OpenAI、Ollama、vLLM、llama.cpp。也就是说敏感数据可以完全不出内网——这一点后面「适用场景」会展开。

四个主案例:它跑出来的数,和人类专家对得上

论文的主线不是「AI 很厉害」,而是「AI 的结果能被人类专家独立复核」。四个主案例按难度递进:

案例一:阿尔茨海默血标志物,复现一份尚未发表的分析计划

数据是 SEABIRD 队列的 325 名受试者,含血浆标志物(Aβ42、Aβ40、pTau181、pTau205、pTau217、total tau,均经免疫沉淀 + LC-MS/MS 测定)、淀粉样 PET Centiloid 值、APOE 基因型、认知量表(AD8、MoCA、CDR-SB)。提示词让它按基金申请书里的分析计划做 ROC 分析。

结论与人类用 SAS 独立做的分析一致:血浆 %pTau217 是区分淀粉样阳阴性的最强单标志物,明显优于 %pTau181、%pTau205 和 Aβ42:40;AUC 绝对值差异极小,作者归因为取整。对每段生成脚本的核查显示脚本与报告结果100% 一致。

但这个案例真正的价值在后面:它跑了 10 次才收敛,而且每一次都暴露了不同的错。

  • 把 CSV 里的空单元格当成 0,导致没有 PET 数据的人被误判为「淀粉样阴性」;
  • 不统一报告样本量、置信区间和统计方法;
  • 用文献里的 Centiloid 阈值,而不是研究预设的 18.41;
  • 把结论外推到整个 SEABIRD 队列,而数据其实只有 PET 确认子集;
  • 把上传数据里的重复记录当成独立观测。

修法也很朴素:明确写清缺失值处理规则、报告标准、队列边界、预设阈值,然后上传去重后的数据。论文把这段写成了一句我认为是全文最重要的话——「agentic AI 在生物医学里能不能用,不只取决于模型的分析能力,还取决于有没有人类专家去审它、给它明确的指令、透明的预处理逻辑和结构化的验证」。

案例二:血浆蛋白质组生存预测,c-index 0.796

数据是 Biomarkers of Aging 基准挑战的 500 人(18–99 岁),两个 Alamar NULISA 面板(中枢神经 + 炎症),任务是最大化留出集上的 c-index,必须用 50:50 划分、必须和「只用年龄性别」的基线比。

结果:全蛋白质组模型 c-index 0.796,年龄性别基线 0.615,绝对提升 0.181、相对约 30%。五折交叉验证 0.811 vs 0.610;100 次 bootstrap 重采样全部优于基线,平均提升 0.200。它还自己压出一个 9 标志物精简评分,c-index 0.740,最高与最低风险组差 8.6 倍。

必须说清楚的一点:这是内部 50/50 划分的验证,没有在竞赛官方 holdout 上评测(论文图注自己带了这个标记)。所以「和已发表模型表现相当」这句话是同一个数据集内的比较,不是排行榜成绩。

案例三:从 tau 病理的单细胞数据里,提出一个原作者没查过的机制

数据是 Otero-Garcia 等 2022 年发表的人脑单细胞转录组(死后组织,取自 CellxGene),对比有神经原纤维缠结(NFT)和配对无缠结的神经元,只取 Ex1/Ex2 两类兴奋性神经元。提示词故意选了一个原论文没系统查过的方向:蛋白稳态网络在 tau 病理出现后怎么重连,重点是溶酶体酸化。

它先拉了一张覆盖蛋白稳态各条臂的基因表(自噬、溶酶体、vATPase 亚基、伴侣蛋白、蛋白酶体亚基、泛素相关),发现 vATPase 亚基显著上调,然后一路查文献,最后提出:酸化受损不是因为质子泵坏了,而是因为 MCOLN1-3、TMEM175、CLCN7、TPC1/2 这些溶酶体离子通道被统一下调,H⁺ 漏得少了/平衡变了。

人类专家复核的结论:主张的 log2 倍数变化与复核值相关性 r = 0.983,机制假设与现有溶酶体 pH 调控知识一致(vATPase 泵入 H⁺ 与 TMEM175/TRPML1 漏出之间的平衡)。

案例四:多发性骨髓瘤,用随机标签做阴性对照——这是全套里最硬的设计

数据是 99 例骨髓瘤进展谱系 RNA-seq(正常浆细胞 → MGUS → 冒烟型 SMM → 活动性 MM,33,297 个基因),外部队列用 Mayo 的 162 例(GSE6477)。

关键设计在这里:他们把验证集复制了一份,把疾病分期标签随机打乱,得到 Dataset R。生物信号被彻底抹掉,技术结构完全保留。然后把四个假设同时喂给平台,不告诉它哪份是真的。

结果:

  • 初始分析:检出 19,438 个差异表达基因(占基因组 58.4%,FDR<0.05),归纳成四套转录程序,提出「未折叠蛋白反应(UPR)失效」三阶段模型——MGUS 期代偿性 ER 应激(218 个基因 +16.3%)、MGUS→SMM 期 UPR 崩塌(占全部基因变化的 81.4%)、活动性 MM 期蛋白毒性危机。
  • 真标签队列(Dataset V):支持 H2(XBP1 ρ=-0.216, p=0.006;BiP ρ=-0.253, p=0.001)、H3(6,653 个 DEG)、H4(BCMA log2FC=+0.92, p=0.0006;PSMB5 +0.84, p<0.0001)。
  • 随机标签对照(Dataset R):全部不支持——UPR 基因 p>0.2,只有 582 个 DEG,关键药靶的差异表达不显著。
  • 它还自己发现了 R 有问题:报告 R 队列信噪比低 6.9 倍,并建议「换一种归一化方式重跑,看能否恢复生物信号」。它没有推出「标签被随机化了」,但认出了这份数据不符合预期生物模式。

还有一个细节我认为比上面所有数字都更能说明问题:H1 是它自己最初的预测,但在两个数据集里它都否掉了 H1——因为 Normal→MGUS 的转录重编程(615 / 112 个 DEG)远大于 MGUS→SMM(268 / 27 个 DEG)。它按证据走,而不是按自己上一轮说过的话走。

约束条件:它自己的作者列了四类失败

这部分我认为是全文最该读的,也是判断「能不能用」的唯一依据。作者在 Discussion 里写得毫不含糊:

失败一:统计可靠性

跨迭代没有做多重检验校正,假设优先级的打分公式前后不一致。含义很直接:它跑 10 轮、每轮都可能新增比较,累积的假阳性风险没有被系统性控制。

失败二:某些领域技能本身是错的

论文举了两个具体例子:把代谢物比值当成通量的代理指标(生化上不成立),以及对 RNA-seq count 数据的统计处理不当。这不是模型「偶尔算错」,是技能库里写着的知识有错——而技能是可以被替换的,这既是问题也是修法。

失败三:报告与文献综述流程有结构性缺陷

终稿是从各轮摘要生成的,而不是直接回头读数据;文献综述缺少透明的引用追踪。后果是摘要层的错误会被层层放大。作者给的修法是:让报告生成阶段能直接访问数据、溯源记录和被引文献。

失败四:随机对照里没能完全否证假设

「在随机对照分析中,一部分假设在真实信号被消除后仍在统计上成立,说明它对真实生物效应与残余结构之间的区分还不完全。」

这一条要读两遍。它意味着:这套自验证机制不是干净的。Dataset R 里确实筛掉了大部分假信号(UPR 基因 p>0.2、DEG 从 6,653 掉到 582),但没能做到「全部否掉」。作者自己的评价是「这些失败模式与人类科学家犯的错类似」。

另外两个案例里的具体毛病也值得记:NFT 案例的统计没有处理数据层级结构(8 名供体、每供体多细胞,该用混合效应模型),专家复核明确指出;而且它有「过度依赖显著性、忽视效应量」的倾向——TMEM175 的 log2FC 只有 -0.018,仍因为统计显著被纳入最终模型。

开源开在哪:能核到文件级别

「开源」在这种项目里最容易变成空话,所以这里逐条落到可查的东西上:

  • 仓库:openscientist-io/openscientist,Apache-2.0,2025-11-15 建库,2026-11-16 22:09 UTC 仍在提交,66 star / 16 fork / 90 个未关 issue。
  • v0.2.0:2026-11-16 10:25 UTC 发布,release notes 写明「自 0.1.0 以来合并了 311 个 PR」。同日论文上线,两件事是同一天。
  • 三种 agent harness:Claude Code、Codex、Oh My Pi,任何一个都能接任意兼容 provider——也就是说你不必绑在 Anthropic 上。
  • 气隙模式:每个 job 一套 nftables 出网防火墙、离线 executor、本地 PubMed 镜像。这是临床数据场景的硬需求,不是营销词。
  • 凭据隔离:web 侧一个 LLM 代理持有所有 provider 凭据并代签 Bedrock/Vertex 请求,job 容器里只有随运行过期的占位符。
  • 数据与权限:行级安全(RLS)、web 与 agent 各自的数据库授权收窄、每次操作重查权限;上传、预览、图表、PDF 渲染都有大小上限。
  • 成本可见:每次模型调用都在代理层计量,带实时花费徽标和可选的花费上限。

运行日志也公开了:Zenodo 记录 10.5281/zenodo.18852839 存了 7 个案例的完整 agent 迭代日志、knowledge state、provenance 文件和最终报告 PDF;其中 3 个案例因为数据许可允许,还附了输入数据。想验证「它到底怎么得出那个结论」的人,材料是齐的。

放到站内已有报道里看,它站在哪一格

这条线在这个站上写过几篇,正好能拼出上下文:

  • 816 / 37,000 个 AI 员工组成虚拟药企:斯坦福 Virtual Biotech 用多智能体模拟整家生物制药公司,产出的是一个肺癌 ADC 靶点方向。那是「用 agent 模拟组织」。
  • 617 / Phylo Biomni Lab 入驻中外制药:通用生物医学 agent 走进药企的数据孤岛。那是「agent 做数据整合」。
  • 1187 / 320B 科学模型开源:讲的是底座模型本身。
  • 本文 / OpenScientist:不碰底座,专攻编排层 + 审计 + 自验证,并且第一次把「随机标签阴性对照」写进了 AI 科学家的评测设计里。

所以它的定位不是「又一个 AI 科学家」,而是这条线开始给自己设验收标准。差别在哪:别的系统报告的是「我发现了什么」,这篇报告的是「我发现了什么、人类复核对得上多少、以及我在哪里会错」。

避坑与不适用场景:别把这些结论拿去用

  • 别把它当成「AI 能独立做科研了」:四个主案例全部有领域专家参与设计提示词、复核结果、判定对错。论文自己说这是 semi-autonomous。
  • 别指望它替你做湿实验:全部案例都是计算分析,输入是既有数据。它不设计实验、不碰移液枪、不产生新的测量。
  • 别拿它做监管决策或临床诊断:论文明确写了不适用于临床/诊断用途,案例也都是回顾性数据分析。
  • 别把 c-index 0.796 当排行榜成绩:那是内部 50/50 划分,没在 BoA 官方 holdout 上评。
  • 别以为开源就等于免费可控:编排层免费,但每次运行的 token 成本照付(典型 <$10 是 Claude Sonnet 4.5 的价格,换更贵的模型会线性上涨);而且它依赖 Docker、uv 和至少一个 provider 凭据。
  • 别在没做准备的情况下喂敏感数据:论文的五个案例里只有三个能公开输入数据,其余受数据共享协议限制。真要跑院内数据,先确认气隙模式和本地模型这条路径能不能满足你们的合规要求。

怎么用 / 成本与时间:从零到跑通一个案例

按仓库和文档里的要求,最小可用路径是这样的(这部分是一手可核的):

  1. 准备环境:Docker + uv + 一个模型 provider 的凭据。想完全本地化就选 Ollama / vLLM / llama.cpp 那条路。
  2. 起服务:git clone 仓库后跑 uv run openscientist,首次运行会进一个 setup wizard,写配置、构建镜像、把栈拉起来,然后访问 http://localhost:8080。注意 v0.2.0 之后 Makefile 已经删了,别再照老教程走。
  3. 配 provider:v0.2.0 起用 OPENSCIENTIST_PROVIDER 和 OPENSCIENTIST_MODEL 两个环境变量;老的 CLAUDE_PROVIDER、ANTHROPIC_MODEL、AZURE_OPENAI_DEPLOYMENT 已不再读取。
  4. 提问题:一句自由文本 + 可选数据文件。想复现论文的案例,Zenodo 上有三个可公开的输入数据集。
  5. 设花费上限:先开 spend limit 再跑。默认 10 轮迭代,复杂任务可以加轮次,但每一轮都是真金白银。
  6. 别信第一遍结果:SEABIRD 案例跑了 10 次才收敛。第一遍跑出来的东西最该做的是读它的中间日志找假设,而不是直接引用结论。

成本和时间按论文口径:典型单次运行 不到 10 美元,领域专家估计单次分析替代的是数周到数月的人工。C-BRAIN 那边给的数字更激进——联盟已扩到 200 多个研究组,规模化后一年能省出超过一百万小时。这两个数字口径不同(一个是单次分析,一个是联盟总量),别混着引用。

本地部署的硬件门槛没有官方数字,但参照物很清楚:它自己不跑推理,算力需求完全取决于你选的模型。跑 9B 级模型一张 48GB 卡够用;想用前沿闭源模型就只付 API 钱,不占本地卡。

下一步可以做什么

  1. 先读 Discussion 那四段失败模式:这是全篇信息密度最高的部分,也是判断「我的场景会不会踩坑」的清单。四类里前三类(统计、技能、报告流程)都是可以在你自己的 fork 里改的。
  2. 用「随机标签阴性对照」审你自己的分析流程:这个设计不依赖 OpenScientist——把验证集标签打乱再跑一遍,看你的 pipeline 还能不能报出显著性。如果能,那问题不在 AI,在方法。
  3. 盯 v0.2.0 之后的三件事:跨迭代的多重检验校正有没有加进去、报告生成有没有改成直接读数据、随机对照那类实验的完整否证率有没有公布。这三条是它从「能用」走到「可信」的门槛。
  4. 盯 C-BRAIN 的落地数据:论文是回顾性案例,联盟里 200 多个组的真实使用会产生前瞻性证据。那批数据出来之前,「省下一百万小时」只是估算。

参考来源

• Nature Medicine 论文(2026-11-16,DOI 10.1038/s41591-026-04808-6,CC BY 4.0):
https://doi.org/10.1038/s41591-026-04808-6

• 前身预印本(medRxiv,2026-03-18,含完整 Methods/Results/Discussion):
https://www.medrxiv.org/content/10.64898/2026.03.15.26348338v1.full

• 开源仓库(Apache-2.0,v0.2.0 于 2026-11-16 发布):
https://github.com/openscientist-io/openscientist

• 官方文档(部署、气隙模式、REST API):
https://docs.openscientist.io/

• 7 个案例的运行日志与报告(Zenodo):
https://doi.org/10.5281/zenodo.18852839

• 生物通(2026-11-17,中文全文译介):
https://m.ebiotrade.com/Newsf/2026-11/20261117062912077.htm

• News Minimalist(2026-11-16):
https://www.newsminimalist.com/articles/openscientist-ai-co-scientist-accelerates-biomedical-discovery-5b44c8e

• AIBriefs(2026-11-16):
https://aibriefs.news/card/0ef1ad79-6c87-4f19-be1f-03fa1fb931ba

• Longevity Now(韩文,2026-11-17):
https://longevitynow.co.kr/articles/an-open-agentic-ai-co-scientist-for-clinical-and-biomedical-discovery-natu

评论

0 条已公开
登录或注册后可以参与评论。

正在加载评论...