NVIDIA 发布 Nemotron 3 Embed 8B：开源嵌入模型登顶 RTEB 检索基准
2026年7月18日0 次阅读
NVIDIA 发布 Nemotron 3 Embed 8B：开源嵌入模型登顶 RTEB 检索基准
NVIDIA 近日发布了 Nemotron3Embed 系列嵌入向量模型，专为生产级 RAG、智能问答检索、代码检索和 Agent 记忆场景设计。其中 8B 版本在检索嵌入基准 RTEB 的 16 项公开任务上排名第一，成为该领域最强开源模型。
三个版本，覆盖不同场景
系列包含三个开源检查点：
- Nemotron-3-Embed-8B-BF16：精度优先版本，RTEB 平均 NDCG@10 得分 78.46，排名第一
- Nemotron-3-Embed-1B-BF16：轻量版本，得分 72.38，比前代基线 llama-nemotron-embed-vl-1b-v2 提升 10.4 分
- Nemotron-3-Embed-1B-NVFP4：面向 Blackwell 架构的 4 位量化版本，精度仅损失 0.38 分（保留 99.5%），吞吐量达 BF16 版本的两倍
三个版本均采用 Transformer 编码器 + 双向注意力掩码训练，最大序列长度 32,768 token，支持 34 种语言，以 OpenMDW-1.1 许可证开源。
技术路线：压缩而非小模型训练
1B 版本的构建采用了"压缩 + 蒸馏"路线，而非从零训练小模型。研究团队先用 NVIDIA ModelOpt 的神经架构搜索将 3B 基座模型剪枝至 2B，再以微调后的 8B 嵌入教师模型进行知识蒸馏（余弦距离损失 + 均方误差损失），迭代至 1.14B 参数。NVFP4 版本进一步进行量化感知蒸馏，512 样本校准 + 20000 样本训练，在长输入场景下恢复精度。
所有基座模型基于 Mistral 架构：8B 版本源自 Ministral-3-8B-Instruct-2512，两个 1B 变体源自 Ministral-3-3B-Instruct-2512。
部署与使用
- 8B 和 1B BF16 版本：支持 Transformers 和 Sentence Transformers 框架
- 1B-NVFP4 版本：支持 vLLM 0.25.0 的 /v2/embed 接口，兼容 Ampere、Hopper、Lovelace 和 Blackwell 架构
- NIM 微服务：NVIDIA 为 1B 模型提供了 Rust 构建的优化 NIM 微服务，在 GB200 和 RTX PRO 6000 上性能达到或超过 vLLM 检查点
使用方式上，查询和文档通过 query: 和 passage: 前缀区分，L2 归一化后的嵌入向量点积等于余弦相似度。
实际应用场景
- 多语言企业搜索：34 语言跨语言检索能力
- 代码检索：训练数据包含 SWE-bench 等代码数据集
- Agent 记忆：32K token 长上下文支持更长的对话摘要存储
对于成本敏感场景，可采用分级 RAG 策略：1B-NVFP4 负责高容量召回，8B 处理难查询，兼顾效率与精度。
基于多家媒体转述整理。