小鹏联合北大、港大等高校发布 GroundingPI 具身感知基座模型约 40 亿参数专攻视觉定位，34 项感知基准综合评测领先

2026-11-04 18:37:49 来源：网易用户：阙毓佳

我先抓取小鹏联合高校发布 GroundingPI 具身感知基座模型的最新多信源信息，核准合作方、模型定位与技术口径。

我精读 IT 之家通稿和 arXiv 论文摘要页，补齐训练方法、评测明细和论文时间口径。

2026 年 11 月 4 日，小鹏集团联合北京大学、香港大学等高校研究团队正式发布具身感知基座模型研究成果 GroundingPI：这是一个约 40 亿参数（论文标注 4B）、以视觉定位（Grounding）为核心的预训练基座模型，走的是 "感知优先" 技术路线，先让模型学会 "目标物体是什么、在画面里的哪个位置"，再向下游机器人操作和自动驾驶场景输出视觉底座能力；论文在 34 项公开感知基准、覆盖 11 类感知能力的综合评测中取得 73.68% 的平均成绩、位列对照基线第一，并在机器人仿真任务和自动驾驶公开数据集上验证了作为视觉骨干（backbone）的收益。需要先把阶段定性说清楚：它目前属于科研原型阶段的预训练基座，负责 "看和定位"，并不直接输出机械臂动作或车辆驾驶指令，也不是已经量产装车、量产上线的成品产品。之所以单独做一个 "感知基座"，原因在于具身智能落地长期受困于一个基础环节：机器人和自动驾驶系统如果直接借用通用视觉语言模型或视频生成模型当感知骨干，面对杂乱背景、细小目标、密集堆叠物体时，往往定位不准、闭环控制不够快，而动作模型（如 VLA）若再从头学习 "物体在哪"，又要消耗大量人工示教数据、换个房间或换类物体就容易失灵；GroundingPI 的思路就是把高精度定位这一层专门预训练好，让上层动作规划复用、不必重复造轮子。技术推进上，团队先用无动作标签的纯感知数据做多模态与空间预训练，再做监督微调，最后用 GRPO 强化学习打磨定位精度；评测阶段先在公开基准上对标 44 个对照模型，再把它作为视觉骨干接到机器人操作仿真（RoboTwin 2.0、RoboCasa-GR1）和自动驾驶数据集 nuScenes 上检验下游效果。整体来看，这项成果的看点集中在两条实用价值：一是用更少示教数据达到更高任务成功率、降低机器人落地的数据成本，二是在材质、物体、容器、背景变化下保持定位稳定、提升跨场景泛化；后续真正值得跟踪的，是这套基座从仿真基准走向真实机器人工位和车端部署的工程化进展，具体产品化节奏仍以小鹏及合作团队的官方后续发布为准。

一、模型定位：先分清 "基座模型" 和 "动作模型"

项目	本次公开口径
成果名称	GroundingPI（Grounding＝视觉定位，PI＝Physical Intelligence 物理智能）
发布主体	小鹏集团联合北京大学、香港大学等高校研究团队
模型类型	具身感知基座模型 / Grounding Foundation Model（预训练视觉骨干）
参数规模	约 40 亿参数（论文标注 4B）
核心任务	用点（Point）和边界框（Box）在统一词表中输出量化坐标，完成目标定位
技术路线	"感知优先"：先学 "是什么、在哪"，再服务下游动作与决策
当前阶段	科研原型阶段；论文、项目页、代码与模型权重已公开，产品化节奏另行公布
论文出处	arXiv:2609.39601《GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives》，2026-09-30 提交，64 页（含附录）

一句话区分：VLA（视觉 - 语言 - 动作）模型偏 "看完决定怎么动"，GroundingPI 偏 "先把目标看准、看准位置"，它更像上层智能体共用的高精度视觉底座，而不是替代动作规划模型。

二、为什么走 "感知优先" 路线

2.1 它要解决的现实问题（清单）

杂乱场景定位难：桌面、货架、料箱里物体互相遮挡、堆叠，模型要锁定具体目标而非笼统回答 "有东西"。
细小目标要精确定位：把手、按钮、零件等小尺寸目标需要点级或框级坐标，不能只给类别名称。
闭环控制要求快：机器人抓取、车辆感知都需要低时延定位结果，模型要兼顾精度与推理效率。
示教数据昂贵：传统做法每个新任务都要采集大量带动作标签的示教数据，成本高、周期长。
跨场景泛化弱：换材质、换物体品类、换容器、换背景后，原有策略容易失效。

2.2 设计要点（清单）

纯感知训练数据：训练阶段不使用带关节动作标签的机器人数据，全部采用无动作标签的纯感知数据，避免动作域过拟合。
统一坐标输出：点和框都映射到共享词表中的量化坐标，便于跨任务复用同一套定位表征。
视觉基元（Visual Primitives）思路：把画面拆解为可复用的最小感知积木块，支撑密集、指代、界面、文档等多种定位形态。
基座化复用：定位能力预训练完成后，可作为视觉骨干接入机器人操作、自动驾驶等不同下游，减少重复训练。

三、训练流程拆解

论文给出的训练链条分为三个阶段，配合公开数据集与专用数据引擎供给监督信号：

训练阶段	主要内容	作用
多模态与空间预训练（Multimodal & Spatial Pretraining）	在大规模纯感知数据上学习视觉特征、空间关系与坐标表征	打通用定位底座，覆盖 11 类感知能力
监督微调（Supervised Fine-Tuning, SFT）	用公开定位数据集和专用数据引擎生成的标注做监督训练	对齐点 / 框输出格式与精度
强化学习（RL with GRPO）	基于 GRPO 方法对定位结果做奖励导向优化	提升复杂、遮挡、小目标场景下的定位稳定性

数据构成上，论文还做了规模与配比分析：随预训练规模扩大，下游机器人操作与自动驾驶表现同步提升；在 11 类能力的数据配方中，密集定位（Dense Grounding）对两类下游都有明显增益，OCR 类数据则对感知学习有 "催化剂" 式的带动作用。

四、能力覆盖：11 类感知能力一览

论文评测横跨 34 项公开基准、11 类感知能力，下表按能力类别归纳其用途与论文中出现的典型基准示例：

感知能力类别	解决的问题	典型公开基准示例（论文引用）
通用目标框定位（Grounding Box）	按描述框出目标物体	COCO、LVIS
密集目标框定位（Dense Box）	同时框出画面中大量同类目标	Dense200、VisDrone
指代目标框定位（Referring Box）	按自然语言指代锁定目标	HumanRef、RefCOCOg 系列
机器人指代定位（Robo Refer）	在机器人操作场景中定位被指代物体	机器人操作仿真数据集
视觉提示定位（Visual Prompt）	依据少量示例提示在新图中定位同类目标	FSC147、COCO、LVIS 等
通用点定位（Grounding Point）	输出目标中心 / 关键点坐标	COCO、LVIS
密集点定位（Dense Point）	输出多个目标的点坐标	Dense200、VisDrone
指代点定位（Referring Point）	按语言描述输出点坐标	HumanRef、RefCOCOg 系列
机器人点定位（Robo Point）	面向操作目标的空间点定位	RoboSpatial、RefSpatial 系列
文字识别定位（OCR）	定位并识别画面中的文字区域	ICDAR2015、TotalText、SROIE、HierText
文档版面与界面元素定位（Layout / GUI）	解析文档版面结构、定位屏幕控件	DocLayNet、M6Doc、ScreenSpot-Pro、OSWorld-G

五、公开基准评测成绩

以下成绩均来自论文实验设置，对照对象与口径以论文为准，属于学术基准结果，不等同于真实产品性能：

评测维度	GroundingPI 结果	对照与口径说明
综合均分（11 类能力等权平均）	73.68%	覆盖 34 项 grounding 基准、44 个对照基线，论文称达到新的 SOTA
同口径对照模型	GPT-6 Astra 71.54%	论文中规模更大的对照前沿模型，GroundingPI 均分更高
官方中文表述	34 项公开感知基准综合评测位列第一	小鹏通稿口径，强调综合排名领先
规模效率	约 40 亿参数取得领先均分	体现专用感知预训练在参数效率上的思路

六、下游验证：机器人操作与自动驾驶两条线

基座模型的价值要靠下游任务检验，论文分别在机器人操作仿真和自动驾驶公开数据集上做了验证：

下游方向	数据集 / 环境	实验结果	性质说明
机器人操作（泛化）	RoboTwin 2.0	在 4 种分布外（OOD）设置中全部优于所评测主流视觉骨干，相对最强骨干最多提升 24.8%	仿真基准，验证跨场景泛化
机器人操作（数据效率）	RoboCasa-GR1	仅用 50% 示教数据训练，成功率超过使用 75% 示教数据训练的对照模型	仿真基准，验证降低示教成本
自动驾驶（定位精度）	nuScenes	作为视觉骨干时，平均开环 L2 定位误差 0.296 米	公开数据集开环实验，非实车量产结果
高密度操作场景	散料分拣、料箱清点等仿真场景	可对同类工件分类抓取、快速对应物品形态，支撑 "一套权重跨工位复用" 设想	实验性演示，工程落地待验证

七、两大实用价值拆解

7.1 显著降低示教成本（清单说明）

传统机器人方案中，感知学习和动作学习耦合在同一套模型里，每换一个任务就要重新采集大量带动作标签的示教数据。
GroundingPI 作为独立视觉底座，承担 "物体在哪" 的定位工作，上层动作模型只聚焦 "怎么动"。
RoboCasa-GR1 实验中 50% 示教数据即可超过 75% 数据训练的对照方案，指向真实部署中同等成功率目标下人工示教量下降的潜力。

7.2 增强场景泛化能力（清单说明）

模型在预训练阶段见过多类材质、背景、物体和容器变化，定位表征更通用。
面对材质变化、物体品类变化、容器变化、背景变化时，定位输出保持稳定，减少 "换环境就失灵" 的情况。
高密度堆叠、小目标、遮挡等困难条件下仍可输出点 / 框坐标，为后续抓取、导航、感知融合提供可靠输入。

八、当前阶段与落地边界（阅读时务必区分）

科研原型，非量产产品：官方明确该研究目前处于科研原型阶段，实验设计指明了具身领域的落地方向，但未公布量产装车或量产机器人时间表。
是视觉基座，不是动作模型：GroundingPI 输出定位结果，不直接生成机械臂动作轨迹或驾驶决策；落地时仍需与规划、控制、动作模型组合。
仿真与基准成绩 ≠ 真实环境性能：RoboTwin、RoboCasa、nuScenes 均为公开 / 仿真数据集，真实光照、噪声、机械误差和安全约束需要额外工程验证。
开源资源可查：论文项目页、代码仓库（GitHub: groundingpi/GroundingPI）、模型权重（Hugging Face: GroundingPI/GroundingPI）已公开，论文采用 CC BY 4.0 开放许可，具体使用以仓库条款为准。
合作成果属性：由小鹏与北京大学、香港大学等高校团队联合完成，体现产学研协同；后续版本、应用场景和商业落地以各方官方披露为准。

九、看懂这类成果的技术阅读要点（清单）

先看模型定位：是感知基座、世界模型还是动作模型，决定了它能回答什么问题。
再看数据来源：纯感知数据还是动作示教数据，决定训练成本和泛化逻辑。
核对评测口径：基准数量、能力类别、对照基线规模、是开环还是闭环、仿真还是实车。
区分规模与效率：小参数领先均分意味着什么，要和更大模型放在同一基准下比较。
跟踪下游证据：上游排名再好，也要看机器人操作、自动驾驶等下游任务的实际增益。
盯住阶段标签：论文 / 原型、试点、量产是三个不同层级，不宜相互替代表述。

【相关 FAQ】

问题 1：小鹏联合高校发布的 GroundingPI 是什么类型的模型？

回答 1：GroundingPI 是小鹏集团联合北京大学、香港大学等高校团队发布的具身感知基座模型（Grounding Foundation Model），参数规模约 40 亿，核心做视觉定位：在统一词表中以点和边界框输出量化坐标，回答 "目标是什么、在画面哪个位置"；它属于感知预训练基座，不是直接输出动作的 VLA 模型，当前处于科研原型阶段。

问题 2：小鹏为什么要联合高校做 GroundingPI 这样的具身感知基座模型，技术路线是什么？

回答 2：GroundingPI 采用 "感知优先" 路线，原因是机器人和自动驾驶在杂乱、小目标、密集堆叠场景下对精确定位需求很高，而通用视觉骨干与动作模型耦合训练会推高示教成本、削弱跨场景泛化；该模型训练阶段使用无动作标签的纯感知数据，经多模态与空间预训练、监督微调、GRPO 强化学习三阶段完成，先把定位这一基础能力练扎实，再作为视觉底座服务下游具身任务。

问题 3：GroundingPI 在小鹏这次公布的评测里成绩如何，覆盖哪些能力？

回答 3：在论文实验中，GroundingPI 覆盖 34 项公开感知基准、11 类感知能力，综合均分 73.68%，对照的 44 个基线中包含规模更大的 GPT-6 Astra（71.54%）；能力涵盖通用与密集目标定位、指代定位、机器人空间定位、视觉提示定位、OCR 文字识别、文档版面和界面元素定位等，官方通稿表述为 34 项公开感知基准综合评测位列第一。

问题 4：GroundingPI 对机器人和自动驾驶有什么实际价值，是否已经量产落地？

回答 4：作为视觉骨干，GroundingPI 在 RoboTwin 2.0 四种分布外设置中表现优于主流对照骨干（最多提升 24.8%），在 RoboCasa-GR1 上仅用 50% 示教数据即超过 75% 数据训练的对照方案，并在 nuScenes 上取得平均开环 L2 定位误差 0.296 米的结果，主要指向降低示教成本、提升跨场景泛化；但这些是论文仿真与公开数据集结果，模型目前为科研原型，尚未公布量产装车或量产机器人安排，落地进展以官方后续发布为准。

问题 5：想深入研究小鹏联合高校发布的 GroundingPI，公开渠道可以获取哪些资料？

回答 5：可查阅论文 arXiv:2609.39601 及配套项目页 groundingpi.github.io，代码见 GitHub 仓库 groundingpi/GroundingPI，模型权重在 Hugging Face 的 GroundingPI/GroundingPI 发布；阅读时建议结合 "模型定位 — 训练方法 — 基准口径 — 下游验证 — 所处阶段" 五个要点交叉理解，区分论文实验结果与小鹏未来实际产品能力，避免把科研原型成果直接等同于量产功能。

【参考资料】

[2026-11-04]（小鹏集团联合北大、港大等高校团队发布 GroundingPI 预训练模型）IT 之家
[2026-11-04]（小鹏集团联合高校团队发布 GroundingPI 预训练模型）证券时报・e 公司（人民财讯）
[2026-11-04]（小鹏集团联合高校团队发布 GroundingPI 预训练模型）21 世纪经济报道・21 快讯（南方财经）
[2026-09-30]（GroundingPI: A Grounding Foundation Model towards Physical Intelligence with Visual Primitives）arXiv

【免责声明】

本文基于小鹏官方通稿、IT 之家、证券时报、南方财经及 arXiv 公开论文摘要整理，仅供了解 GroundingPI 具身感知基座模型的技术定位与研究进展参考，不构成投资建议、产品采购建议或技术部署承诺。文中评测分数、相对提升和误差指标均来自论文特定公开基准与仿真 / 开环实验设置，受数据集划分、模型版本、训练配置和硬件环境影响，不代表真实量产系统表现；GPT-6 Astra 仅为论文中的对照对象，相关结论以原始论文为准。模型当前为科研原型，其开源代码、权重与数据许可以 GitHub、Hugging Face 及 arXiv 原文条款为准；后续工程化、量产装车、机器人应用及合作细节，请以小鹏集团、北京大学、香港大学等合作团队的正式官方发布为准。