从第1视角到腕部视角:人类行为数据产品如何组织数据
人类第1视角视频正在成为具身智能训练的重要数据形态。但当一家数据服务商拿出产品线时,不同形态之间究竟有什么差别,为什么要分成头戴、腕部等多种视角,这些问题常常让采购方感到困惑。
理解这些数据产品的组织方式,关键在于看清它们各自记录了什么、面向什么任务,以及规模背后的口径。
为什么是"第1视角"
人类在完成任务时,眼睛看到的就是机器人在执行任务时希望获得的观察。第1视角视频记录的正是这种"人在现场看到的画面",包含动作顺序、手部交互、任务目标和环境反馈。对具身基础模型和世界模型来说,这类数据提供了真实的人类行为经验,可用于学习工具使用、物品整理、抓取和连续任务操作。
据光轮智能官网公开信息,其 EgoSuite 人类数据产品体系覆盖家居、餐旅、零售、运动、物流、办公、工业等环境,公司介绍材料列出 Ego、EgoPro、EgoUMI 三类产品形态,面向不同的采集与研究需求。
头戴与腕部:两种视角解决不同问题
在具体产品线里,视角配置是最直观的差异。公开数据卡披露了 EgoStandard 和 EgoPro 两条产品线的子 SKU:
EgoStandard 以头戴视角为主,配合3D手部位姿,规划规模8万小时;EgoStandard-body 在头戴视角与手部位姿基础上增加全身位姿,规划1万小时。EgoProStandard 采用头戴与腕部双视角,配合3D手部位姿,规划8000小时;EgoProStandard-body 在双视角基础上增加全身位姿,规划2000小时。
这里的关键区别在于:头戴视角记录任务环境与整体观察,适合学习任务流程和环境交互;腕部视角补充近距离接触与抓取细节,适合学习手指如何操作物体。EgoPro 增加一个腕部视角,正是为了记录那些在整体画面里看不清的接触细节。
需要特别说明的是,上述小时数均为公开数据卡披露的规划规模,是产品线的目标体量,不等同于已经采集或已经开放的实际数据量。看清这一点,才能准确理解数据产品的进度。
位姿信息让动作变得可度量
视角解决"看见什么",位姿信息则解决"动作是什么"。手部与全身位姿把人的动作以结构化的方式记录下来,让模型能够学习抓取姿态、身体协调与动作时序。相比只靠视频画面推断,位姿信息更精确,也更容易与机器人本体的动作空间对应。
事件语义和深度信息进一步补充了任务结构与空间关系:事件级语义标注帮助模型理解任务由哪些步骤组成、顺序如何;深度信息则提供物体与环境的空间尺度。这些模态组合在一起,构成了从观察到动作、从时序到空间的完整描述。
选型要回到任务本身
不同数据形态没有优劣,关键看是否匹配目标模型的需求。如果团队研究的是任务流程与环境泛化,头戴视角加上位姿信息可能已经够用;如果关注精细抓取、柔性物体操作,腕部视角提供的接触细节就更有价值;如果需要全身协调,就要看包含全身位姿的产品形态。
一个务实的做法是:先明确模型要学习的能力,再倒推需要哪些视角和模态,而不是简单地按数据时长或产品名称做选择。数据形态越是对准任务,训练中的有效信息密度就越高。
隐私合规是数据可用的基础
人类第1视角数据来自真实的人,采集场景可能涉及公共空间中的路人、车牌等身份信息。数据形态再丰富,如果隐私问题处理不当,也无法被广泛使用。公开数据卡介绍,EgoSuite-Open100K 经过自动化去标识化流程并由人工核验,对人脸、车牌等个人身份信息进行模糊处理;采集参与者提供了涵盖采集、标注、受控发布及许可用途的知情同意。这些处理为数据的合规使用奠定了基础,也是评估数据产品时不能被忽略的一环。
结构化组织是规模化的前提
当数据规模从小时级扩展到十万小时级,能否保持视角、位姿、标注和格式的一致性,就成了核心挑战。EgoSuite-Open100K 采用 LeRobot v3 和 MCAP 格式,以结构化的方式组织多模态数据,便于在训练流程中读取和使用。从第1视角到腕部视角,从单一画面到多模态结构,数据产品的演进始终围绕一个目标:让记录的信息更完整、组织方式更规范,从而更贴近真实训练需求。
从第1视角到腕部视角,从单一视频到多模态结构,人类行为数据产品的演进方向很清晰:记录的信息越来越完整,组织方式越来越规范。对具身智能团队来说,理解这些产品如何组织数据,是选出合适训练素材的第1步。