人形机器人与具身智能

为机器人训练 建立可规模化动作数据工厂

思看(Semcam Live) 面向人形机器人、具身智能、模仿学习、遥操作与 Sim2Real 研究,提供无标记人体示范动作采集、Goku 刚体 6DoF 追踪、Active Center 本地同步与多格式数据输出能力。研究团队可以在同一坐标系和同一时间轴中采集人体、机器人、工具、道具和实验对象的数据。

核心价值

机器人团队需要的不只是一次人体骨骼识别结果,而是一条稳定、可复查、可标定、可接入训练工具的数据管线。思看(Semcam Live) 通过边缘 AI 相机阵列捕捉自然人体动作,在本地完成三维重建、骨骼解算、手部动作、根轨迹、关节角和 retarget 数据输出;Goku 光学系统可同步追踪机器人末端、工具、道具和实验对象的 6DoF 位姿。二者在 Active Center 中共享工程、坐标系与时间轴,帮助团队把人类示范、机器人状态和场景对象组织成可长期积累的数据资产。

适用场景

01

模仿学习数据集

采集人类行走、转身、抓取、搬运、装配、操作工具和双手协作等示范动作,输出可进入训练流程的人体骨骼、关节角、手部动作和目标位姿数据。

02

遥操作与动作复现

通过实时无标记动作数据驱动机器人、数字孪生或仿真角色,让研发团队在远程控制、动作预演和任务复现中快速验证动作链路。

03

人机协作研究

在同一空间记录人的动作、机器人末端、工具和实验对象,支持协作任务、避障策略、空间行为和交互时序的量化分析。

04

工具与实验对象追踪

结合 Goku 光学刚体追踪记录工具、道具、夹具、末端执行器、移动平台和其他刚体对象的 6DoF 位姿,补足无标记人体捕捉无法稳定表达物体状态的问题。

05

Sim2Real 与仿真验证

将人体动作、机器人位姿和场景对象数据导入 MuJoCo、Isaac、ROS、Unity 或自研仿真系统,用于坐标转换、IK 验证、策略回放和真实实验对照。

06

高校与实验室教学

适合机器人、人工智能、人机交互、运动控制和数字孪生课程,学生无需复杂穿戴即可完成示范采集、数据解析、重定向和仿真验证练习。

思看(Semcam Live) 如何服务机器人数据工作流

01

无标记人体示范采集

示范者无需穿动捕服或贴点,即可完成走、跑、转身、抓取、搬运、操作工具、双手协作等动作,降低采集准备成本和动作干扰。

02

人体 + 刚体同场数据

思看(Semcam Live) 捕捉人体运动,Goku 追踪机器人末端、工具、道具、实验对象和其他刚体对象,把人、机器人和物体放入同一数据链。

03

统一坐标系与时间轴

Active Center 统一管理 思看(Semcam Live) AI 相机和 Goku 光学相机,让人体动作、刚体位姿和外部设备数据在同一工程中完成同步、标定、录制和回放。

04

面向训练的数据输出

可输出骨骼、根轨迹、关节角、手部动作、retarget 后目标位姿和刚体 6DoF 数据,便于进入模仿学习、遥操作、数据集构建和策略验证流程。

05

实时预览与 HPE 复算

120fps 实时链路用于现场预览、采集检查、遥操作验证和在线系统调试;HPE 高精度解算拓展可用于采后生成更高质量的训练数据。

06

本地部署与开发接口

动作采集、重建、记录、项目管理和数据输出均可在本地完成,并支持 ROS、C++、Python、MATLAB、MuJoCo、Isaac 等接口与流程接入。

差异化能力

思看(Semcam Live) 面向机器人数据采集的价值,不是把单段视频离线估计成一个姿态结果,而是用同步多相机、边缘 AI、精确标定和本地三维重建形成稳定数据链。相机端处理复杂图像特征,中心端接收结构化数据并完成跨相机融合、三角化、骨骼解算、IK、滤波和 retarget,因此无需持续回传海量原始视频流,也更适合在较大实验空间内部署多相机矩阵。

与传统机器人数据方案的关系

纯手柄遥操作、可穿戴设备和传统光学贴点方案在机器人研发中仍有价值,但它们往往带来穿戴负担、动作限制、贴点准备或刚体对象与人体数据割裂的问题。思看(Semcam Live) 的优势在于降低人类示范采集门槛,并通过 Goku 光学系统补足工具、末端执行器和场景对象的刚体追踪,让人体动作、机器人状态和物体轨迹能够在同一坐标系与同一时间轴中被记录和复现。

相关技术与集成

250关键点120fpsImitation LearningTeleoperationSim2RealROSMuJoCoIsaacRetarget6DoFC++ / Python

推荐使用产品型号

根据您的场景规模和需求,我们推荐以下配置

Semcam Live
PRO+

面向高质量动作数据采集的专业边缘 AI 动捕相机,内置 55 TOPS 嵌入式 GPU,支持 HPE 高精度解算拓展。

适合生命科学、高校实验室、机器人训练与动画/VFX

内置算力
55 TOPS
系统功耗
15W
最大分辨率
230万像素
最大捕捉人数
4人
最远追踪距离
18m
关节3D旋转角
支持
手指捕捉
✓ 支持
面部捕捉
—
HPE
✓ 支持
Semcam Live
ULTRA

面向大空间和多人捕捉的旗舰级边缘 AI 动捕相机,内置 100 TOPS 嵌入式 GPU,支持 12 人捕捉与 HPE 高精度解算。

适合大空间实验室、LBE、仿真实训与多人数据采集

内置算力
100 TOPS
系统功耗
18W
最大分辨率
520万像素
最大捕捉人数
12人
最远追踪距离
45m
关节3D旋转角
支持
手指捕捉
✓ 支持
面部捕捉
✓ 支持
HPE
✓ 支持
定制方案

不确定哪款适合您?

联系我们的技术团队,根据您的场景规模、人数、空间与精度要求,定制最优相机阵列方案。

把机器人动作数据采集从“单次演示”变成“可持续生产”。

联系 思看(Semcam Live) 团队,根据您的机器人类型、实验空间、采集人数、工具对象、同步设备和训练数据格式要求,规划适合人形机器人与具身智能研究的相机阵列和数据工作流。

FAQ

常见问题

产品行业应用

思看(Semcam Live) 是什么?

思看(Semcam Live) 是边缘计算 AI 无标记动作捕捉系统。相机侧完成目标检测、2D 关键点、ReID、追踪、分割、裁切和置信度计算,Active Center 在本地完成跨相机匹配、三角化、3D 关键点、骨架解算、IK、滤波、retarget 和导出。

行业应用工作流

人体捕捉需要穿戴设备或贴点吗?

人体动作捕捉不需要动捕服、惯性传感器或反光标记点。若项目需要追踪刚体对象,例如工具、道具、机器人末端、手柄或训练器具,可以使用 Goku 进行 6DoF 刚体追踪。

产品行业应用工作流

实时链路和 HPE 高精度解算拓展分别适合什么?

实时链路提供 120fps 动作输出和低于 100ms 的端到端延时,适合现场预览、实时驱动、互动和采集检查。HPE 是采后高精度处理流程,适合研究、训练数据生产、关键镜头和需要更高质量关键点结果的项目。

产品行业应用工作流

思看(Semcam Live) 能和 Goku 一起用吗?

可以。思看(Semcam Live) 负责无标记人体动作,Goku 负责机器人关节、末端执行器、工具、道具、手柄、训练器具、球拍、无人机和摄像机等刚体对象。二者在 Active Center 中共享坐标系、时间轴和项目。

行业应用数据输出

生命科学和高校实验室可以接哪些分析流程?

可连接 OpenSim、Visual3D、C3D、主流测力台、肌电和压力台流程,并可通过 Semcam Biomechanics Plugin 与 Semcam Action Quality Assessment Plugin 扩展指标计算、动作质量评价和数据导出。