5100 万个配对细胞教出来的「虚拟蛋白」:一张 H&E 切片能读出 PD-L1 了,但权重没放、许可证还自相矛盾
3分钟看懂
11 月 13 日,Nature Cancer 在线发表了一个叫 Hist2Prot 的深度学习框架。它做的事一句话能说完:给你一张病理科天天在拍的 H&E 染色切片,它把这张切片「翻译」成每个细胞里几十种蛋白的表达量。
训练规模是这条赛道上少见的大:约 5,100 万个「同一切片、既拍了 H&E 又测了空间蛋白组」的配对细胞。评估阶段再加约 7,200 万个细胞,覆盖内部测试、独立同平台队列和外部跨平台数据集。临床部分用了 7 个独立患者队列、1,774 例病人,论文的结论是:把这些「虚拟蛋白」和普通形态学特征拼在一起,对分子标志物、预后和免疫治疗应答的预测都比单看 H&E 更好。
作者阵容横跨产业和医院:江南大学人工智能与计算机学院、新加坡南洋理工 LKC 医学院、蚂蚁集团 Ant Healthcare、爱因斯坦医学院病理系、复旦肿瘤医院病理科、南京鼓楼医院病理科、哈佛医学院 MGH。通讯作者是 Sen Yang、Wenjun Deng、Xiang Pan 和 Shanye Yin。
(本文基于多家媒体转述整理,事件与数字以 Nature Cancer 原文、Bioengineer、Scienmag、BioWire、MedHOT 等独立稿,以及作者公开的 GitHub 仓库和 Zenodo 归档为准。)
一句话先说结论
CC BY-NC-ND 4.0,Zenodo 归档却标 cc-by-4.0,两处许可证打架,商用前必须写信问作者。它到底在解决什么:蛋白组最贵的那一步,能不能跳过
空间蛋白组学(spatial proteomics)能在一个组织切片上同时回答两个问题:这个细胞是什么,它在哪。这对肿瘤微环境研究几乎是刚需——免疫细胞离肿瘤巢有多远、PD-L1 到底长在肿瘤细胞上还是巨噬细胞上,这些决定了病人对免疫检查点抑制剂有没有反应。
问题是贵。做一次多重空间蛋白成像,要专门的仪器、专门的抗体 panel、专门的分析人手。而全世界每年产出的 H&E 切片是天文数字:任何一家医院、任何一次活检,切片都已经躺在玻片柜里了。
Hist2Prot 的赌注就是:形态学里藏着足够的分子信息。细胞核的大小形状、染色质的深浅、胞质的边界、细胞之间的排布密度——这些在 H&E 上肉眼能看的东西,和它表达多少 Ki-67、多少 CD3、多少 PD-L1,存在统计上可学的映射。
这不是全新的想法(把 H&E 映射到 RNA 表达、映射到多重免疫荧光,前人做过好几轮),Hist2Prot 的差别在于规模:它不是拿几千个细胞学一个映射,而是拿 5,100 万个同一切片配对细胞去学,然后在另一个 7,200 万细胞的池子里分层验证。
模型本身有多小:约 20 万参数
这一点反常识,也是最值得写的地方。Hist2Prot 不是一个基础模型,它是个小到可以在笔记本上训的卷积 + 图网络组合。作者把代码放出来了,我们可以逐层数清楚:
- 形态编码器(
DensityAwareMorphologyEncoder):3 层 3×3 卷积(3→32→64→128 通道)+ 全局平均池化,把每个细胞 32×32 的形态 patch 压成一个 128 维向量;再单独把「局部细胞密度」过一层线性层,两者拼起来过 LayerNorm 融合。 - 拓扑编码器(
TopologyEncoderGCN):2 层图卷积,输入是 4 维拓扑特征(topo_dim=4),邻接矩阵按细胞间距离(neighbor_radius=50.0)建。 - 注意力融合(
AttentionFusion):一个 tanh + softmax 的两路门控,决定这个细胞「该信形态还是该信邻居」。 - 四个输出头:蛋白强度(18 维)、邻居类型(8 类)、细胞类型(8 类)、组织类型(4 类)。
按配置文件里 hidden=128、protein_dim=18 逐层核算,总参数量约 198,376——不到 20 万。作为对照,ESM-2 最小的版本是 800 万参数,AlphaFold 2 是上亿级。
这个对比不是要贬低它,恰恰相反:它说明瓶颈不在模型容量,在数据。5,100 万个「同一张切片上既能看图又能测蛋白」的细胞,是任何一家想做这件事的团队都很难复刻的资产。作者的消融实验也指向同一结论——去掉细胞类型、邻域组织、组织区室这三个辅助监督任务中的任何一个,蛋白预测的相关性都会掉。
输入不是「一张图」,而是一整套东西
媒体稿里普遍写成「输入 H&E 图像」,容易让人以为丢一张 .svs 进去就出结果。实际读 Data_Process.py 会发现门槛比这高:
- 一个
h5ad特征表,obs里必须有cell_id、cell_x、cell_y,以及若干以_intensity_mean结尾的蛋白列; - 一张 H&E 全片扫描图(
.ome.tiff或.tiff); - 一份细胞核实例 mask(
nuclei.npy); - 一份扩张后的细胞 mask(
nuclei_exp.npy)——因为细胞不是一个点,得把核往外扩到胞质边界。
也就是说,它站在细胞分割的下游。分割错了,后面全错。这跟「一张切片直接出结果」的想象差得远,但对真实流水线来说反而是好消息:病理科已经有成熟的核分割工具(仓库的参考文献里就点了 HoVer-Net)。
另外两个细节也值得记:代码显式排除了 4 个通道——两个小鼠 IgG 同型对照(MsIgG1 / MsIgG2a)和两个通用染色通道(cytoplasmicstain / nuclearstain)。所以实际建模的是 18 个真实蛋白通道。这个处理是对的:同型对照测的是背景噪声,不该当信号学。
数字怎么读:三层验证,七个队列
论文的验证设计是分层的,这点比很多同类工作规矩:
- 第一层,内部测试:HNSC 27 例、COAD 6 例、LUAD 6 例、PRAD 6 例、PAAD 6 例。数量少得有点扎眼,尤其后四个癌种每个只有 6 个病人——单病人层面的相关系数在这种样本量下波动会很大。
- 第二层,独立同平台 G4X 队列:同一个空间蛋白组平台、不同批次的样本,检验「换一批片子还灵不灵」。
- 第三层,外部跨平台:HEMIT mIF 结直肠癌数据集、CODEX 结直肠癌数据集(TCIA),检验「换一个成像平台还灵不灵」。
临床预测部分用的是 TCGA 公共队列,每一组都有明确的样本量和统计检验:
- TCGA-PRAD 的 ERG 融合预测,n=393;
- TCGA-PAAD 的 basal/classical 亚型,n=95;
- TCGA-LUAD 的 EGFR 突变,n=478;
- TCGA-COAD 的 微卫星不稳定(MSI),n=183;
- TCGA-HNSC 的 HPV 状态,n=412。
评价方式统一:五折交叉验证得到队列级 AUC 估计,误差棒是 95% 置信区间,组间比较用配对双侧 DeLong 检验。预后部分换 C-index(COAD/HNSC/LUAD/PAAD 用总生存,PRAD 用无进展间期)。
免疫治疗应答这一块,论文用了一个结直肠癌免疫治疗队列。据一篇独立评注引述论文数据,加入虚拟蛋白后,区分应答者与非应答者的成绩从 0.705 升到 0.799。这个提升幅度放在临床决策上不算小,但必须紧跟一句:它只证明「预测得更准」,没证明「按它选药能让人活得久」。
「虚拟蛋白」到底真不真:先看它保住了什么
做这类「跨模态翻译」最容易翻车的地方,是模型学会了走捷径。比如它发现「肿瘤区域一般染色深」,于是所有肿瘤细胞都被判成高表达,整体相关性看起来还不错,但单个细胞层面全是错的。
论文为此设了几道检查,都是可核的:
- 单细胞散点:拿一个 HNSC 测试样本,随机抽 34,938 个细胞,画预测值 vs 实测值,看 Ki-67、CD3、PD-L1、PanCK 四个代表 marker的 Pearson 和 Spearman 相关系数。
- 逐 marker 的相关性:COAD/LUAD/PRAD/PAAD 各 6 例,每个蛋白画一根柱子,误差棒用 1,000 次 bootstrap。
- 校准曲线:预测值和实测值的分位数对不对得上,理想情况是贴着对角线。
- 不确定性分层:把细胞按预测不确定性分成低/中/高三组,看绝对误差是否随之单调上升——如果高不确定组的误差并没有更大,说明模型对自己的不确定度没有感知,这在临床上是危险的。
- 名义 90% 预测区间的实际覆盖率:说 90% 就要真的覆盖 90%,否则区间是装饰品。
还有一项消融值得单独拎出来:去掉染色归一化之后性能怎么变。H&E 的染色深浅在不同医院、不同批次之间差异巨大(这就是为什么病理 AI 落地这么难),如果一个模型对染色漂移不敏感,那才是能用的模型。论文把这一项做成了显式消融,比含糊地说「具有鲁棒性」有说服力。
怎么用:四步跑通(前提是你有配对数据)
仓库的流程是清楚的,写在 README 里:
- 预处理:
python Data_Process.py --config_file configs/hist2prot.json。默认按raw_root下所有样本处理,在病人层面做 70/30 切分(不是按 patch 切,这点很重要,按 patch 切会数据泄漏);也可以用--split_csv指定固定切分。 - 预计算 Zarr:
python precompute_zarr.py --splits train,test。把 patch 缓存成 zarr,避免每个 epoch 重新解码全片。 - 训练:
python train.py --config_file configs/hist2prot.json --gpu 0。默认 500 epoch、batch 32、lr 1e-4;如果拿不到辅助标签,加--no_aux_tasks走纯蛋白回归。 - 推理:
python inference.py --data_root data --model_path out/final_model.pth --split test --patient_id PATIENT_ID --gpu 0。注意是一个病人一个病人跑,不是整批——因为要按病人组织输出。
卡点也很明确:--model_path 默认指向 out2/final_model.pth,这个文件仓库里没有。GitHub 的 v1.0.0 release 是空的,没有任何 asset。所以「开箱即用」这四个字在这里不成立:你要么自己重训,要么去信作者的邮件回复。
避坑:三个必须知道的问题
坑一:许可证自相矛盾
仓库 README 末尾明确写 CC BY-NC-ND 4.0——署名、非商业、禁止演绎。而 Zenodo 归档记录(DOI 10.5281/zenodo.23116846,2026-10-03 发布)的元数据字段写的是 cc-by-4.0,那是允许商用的。
ND 这一条在科研场景里尤其别扭:你不能发布修改版,意味着「我在它的基础上加了个新头、换了 backbone」也可能踩线。这种冲突在论文代码包里不算罕见,但落到真实使用上就是法务问题,不是学术问题。要商用,先问通讯作者。
坑二:权重缺席,等于把最贵的一半留给了读者
模型只有 20 万参数,重训的机器成本几乎可以忽略。真正贵的是数据:5,100 万个「同一切片、既有 H&E 又有空间蛋白组」的细胞。这类数据要么来自自建平台(论文里的 in-house G4X 队列),要么来自商业空间组学服务,一次几十万起。
论文的数据可得性声明写得很直白:in-house G4X 队列、私有 Orion LUAD 队列、CRC/NSCLC 免疫治疗队列都不公开,需要机构批准 + 数据使用协议。公开的只有 TCGA、HEMIT mIF、CODEX 这三个下游验证集。换句话说,复现「训练」这一步基本不可能,复现「评估」这一步可以。
坑三:回顾性就是回顾性
七个队列、1,774 例,听起来很扎实。但全部是回顾性数据,模型是在已有切片上「事后」算出来的分数。要走临床,至少还差两步:前瞻性收集、以及在真实决策路径里证明它能改变结局。BioWire 给出的证据等级是「Moderate」,理由正是「验证是回顾性的、计算性的,前瞻临床效用未证明」。
还有一个更隐蔽的问题:这些队列里的免疫治疗应答标签,本身是靠 RECIST 之类的中介终点定义的。就算模型把「谁会应答」预测准了,也不等于「按它分组做试验能做出统计学差异」。
放到站内已有报道里看,它站在哪一格
这个站最近写过的几篇,正好能拼出一条线:
- 1161 / ALMA 3:DNA 甲基化 → 血液肿瘤亚型。输入是分子数据,输出是诊断标签。
- 1140 / AlphaGenome 2:DNA 序列 → 按细胞类型预测表达。输入是序列,输出是调控。
- 1151 / Omnii Defense:DNA 序列 → 生物威胁打分。输入是序列,输出是一个风险分。
- 本文 / Hist2Prot:组织形态图像 → 单细胞蛋白组。输入是图像,输出是分子。
方向是反的。前三者都是「从分子推出表型」,Hist2Prot 是「从表型反推分子」。这条路在方法上更讨巧——H&E 是免费副产品;但也更危险,因为它的上限被「形态学到底含多少分子信息」这件事死死封住。论文自己的消融就承认了:去掉辅助任务后性能下滑,说明模型很大程度上在靠「细胞类型 / 邻域 / 组织区室」这些中间概念做桥,而不是真的从像素里读出了蛋白。
这不是缺陷,是路线选择。真正该问的是:它推断出来的 PD-L1,能不能替代 IHC 去决定谁该用 PD-1 抗体?论文没回答,也答不了——那需要一个前瞻的、以治疗决策为终点的试验。
不适用场景:这些情况别拿它当结论
- 当诊断用:它输出的是连续性蛋白强度估计,不是阳性/阴性判读,没有 cut-off,没有质控,没有监管许可。
- 当 IHC 的替代:临床上 PD-L1 的判读有严格的染色条件、抗体克隆号、评分体系(TPS/CPS)。模型学的是「某个平台在某批切片上的强度分布」,换抗体、换扫描仪就可能漂。
- 用在没见过的癌种/染色方案上:论文验证的是 HNSC、COAD、LUAD、PRAD、PAAD 五类,跨平台验证也限于 mIF 和 CODEX 两种。甲状腺、乳腺、脑肿瘤都没测。
- 当成能直接跑的产品:没权重、许可证冲突、依赖上游细胞分割。当作一份「方法 + 可复现评估」的研究代码来用,预期才对。
成本与时间:想自己复刻一遍要什么
- 机时:模型 20 万参数,单卡足够;真正的开销在预处理——全片解码 + 细胞 mask 配准 + zarr 缓存,5,100 万细胞级别是「几天」的量级,不是「几小时」。
- 数据:这是唯一真正的门槛。要么有自建空间蛋白组平台,要么买商业服务。没有这一步,代码基本只能跑通「评估」分支。
- 上游:细胞核分割(HoVer-Net 一类)+ 扩张到胞质。分割质量直接决定上限。
- 时间预估:如果配对数据已经在手,走完 README 四步大约 1–2 周(含调参);如果没有,时间取决于你能不能拿到数据,不是取决于代码。
下一步可以做什么
- 先验证「评估能不能复现」:TCGA + HEMIT mIF + CODEX 都是公开的,这是唯一不需要谈判就能动手的部分。如果连评估都跑不出论文的量级,后面不用谈。
- 盯权重:GitHub 现在 release 是空的。这类论文包通常在发表后 1–3 个月内补权重,值得挂个 watch。
- 问许可证:一封邮件问清楚 Zenodo 的
cc-by-4.0和 README 的CC BY-NC-ND 4.0哪个为准。如果对方确认是后者,商用路线直接封死,别再投入。 - 看它的消融清单当 checklist:染色归一化、辅助任务、不确定性校准、区间覆盖率——这四项是任何「虚拟染色 / 虚拟组学」工作都该报的,拿去审别家的模型同样好用。
参考来源
• Nature Cancer 原文(2026-11-13,DOI 10.1038/s43018-026-01270-8):
https://www.nature.com/articles/s43018-026-01270-8
• Bioengineer.org(2026-11-13):
https://bioengineer.org/hist2prot-deep-learning-model-predicts-spatial-proteomics-directly-from-histology-slides/
• Scienmag(2026-11-13):
https://scienmag.com/hist2prot-deep-learning-model-predicts-spatial-proteomics-directly-from-histology-slides/
• BioWire 独立评注(2026-11-13,含证据等级判定):
https://biowire.app/p/hist2prot-infers-tumour-proteins-histology
• MedHOT 中文解读(2026-11-13,PubMed 43026320):
https://medhot.news/papers/iuipyviepc8ffmdq4ujc2cmj5
• 官方代码仓库(v1.0.0,2026-10-03):
https://github.com/Jsf826/Hist2Prot
• Zenodo 归档(DOI 10.5281/zenodo.23116846):
https://doi.org/10.5281/zenodo.23116846