人形機器人與具身智能

為機器人訓練 建立可規模化動作數據工廠

思看(Semcam Live) 面向人形機器人、具身智能、模仿學習、遙操作與 Sim2Real 研究,提供無標記人體示範動作採集、Goku 剛體 6DoF 追蹤、Active Center 本地同步與多格式數據輸出能力。研究團隊可以在同一座標系和同一時間軸中採集人體、機器人、工具、道具和實驗物件的數據。

核心價值

機器人團隊需要的不只是一次人體骨骼識別結果,而是一條穩定、可複查、可標定、可接入訓練工具的數據管線。思看(Semcam Live) 透過邊緣 AI 相機陣列捕捉自然人體動作,在本地完成三維重建、骨骼解算、手部動作、根軌跡、關節角和 retarget 數據輸出;Goku 光學系統可同步追蹤機器人末端、工具、道具和實驗物件的 6DoF 位姿。二者在 Active Center 中共享工程、座標系與時間軸,協助團隊把人類示範、機器人狀態和場景物件組織成可長期積累的數據資產。

適用場景

01

模仿學習數據集

採集人類行走、轉身、抓取、搬運、裝配、操作工具和雙手協作等示範動作,輸出可進入訓練流程的人體骨骼、關節角、手部動作和目標位姿數據。

02

遙操作與動作重現

透過即時無標記動作數據驅動機器人、數位孿生或模擬角色,讓研發團隊在遠端控制、動作預演和任務重現中快速驗證動作鏈路。

03

人機協作研究

在同一空間記錄人的動作、機器人末端、工具和實驗物件,支援協作任務、避障策略、空間行為和互動時序的量化分析。

04

工具與實驗物件追蹤

結合 Goku 光學剛體追蹤記錄工具、道具、夾具、末端執行器、移動平台和其他剛體物件的 6DoF 位姿,補足無標記人體捕捉無法穩定表達物件狀態的問題。

05

Sim2Real 與模擬驗證

將人體動作、機器人位姿和場景物件數據導入 MuJoCo、Isaac、ROS、Unity 或自研模擬系統,用於座標轉換、IK 驗證、策略回放和真實實驗對照。

06

高校與實驗室教學

適合機器人、人工智慧、人機互動、運動控制和數位孿生課程,學生無需複雜穿戴即可完成示範採集、數據解析、重定向和模擬驗證練習。

思看(Semcam Live) 如何服務機器人數據工作流程

01

無標記人體示範採集

示範者無需穿動捕服或貼點,即可完成走、跑、轉身、抓取、搬運、操作工具、雙手協作等動作,降低採集準備成本和動作干擾。

02

人體 + 剛體同場數據

思看(Semcam Live) 捕捉人體運動,Goku 追蹤機器人末端、工具、道具、實驗物件和其他剛體物件,把人、機器人和物體放入同一數據鏈。

03

統一座標系與時間軸

Active Center 統一管理 思看(Semcam Live) AI 相機和 Goku 光學相機,讓人體動作、剛體位姿和外部設備數據在同一工程中完成同步、標定、錄製和回放。

04

面向訓練的資料輸出

可輸出骨骼、根軌跡、關節角、手部動作、retarget 後目標位姿和剛體 6DoF 數據,便於進入模仿學習、遙操作、數據集構建和策略驗證流程。

05

即時預覽與 HPE 復算

120fps 即時鏈路用於現場預覽、採集檢查、遙操作驗證和線上系統調試;HPE 高精度解算擴充可用於採後生成更高品質的訓練數據。

06

本地部署與開發介面

動作採集、重建、記錄、專案管理和數據輸出均可在本地完成,並支援 ROS、C++、Python、MATLAB、MuJoCo、Isaac 等介面與流程接入。

差異化能力

思看(Semcam Live) 面向機器人數據採集的價值,不是把單段影片離線估計成一個姿態結果,而是用同步多相機、邊緣 AI、精確標定和本地三維重建形成穩定數據鏈。相機端處理複雜圖像特徵,中心端接收結構化數據並完成跨相機融合、三角化、骨骼解算、IK、濾波和 retarget,因此無需持續回傳海量原始影片流,也更適合在較大實驗空間內部署多相機矩陣。

與傳統機器人數據方案的關係

純手柄遙操作、可穿戴設備和傳統光學貼點方案在機器人研發中仍有價值,但它們往往帶來穿戴負擔、動作限制、貼點準備或剛體物件與人體數據割裂的問題。思看(Semcam Live) 的優勢在於降低人類示範採集門檻,並透過 Goku 光學系統補足工具、末端執行器和場景物件的剛體追蹤,讓人體動作、機器人狀態和物體軌跡能夠在同一座標系與同一時間軸中被記錄和重現。

相關技術與集成

250 關鍵點120fpsImitation LearningTeleoperationSim2RealROSMuJoCoIsaacRetarget6DoFC++ / Python

建議使用產品型號

根據您的場景規模和需求,我們推薦以下配置

Semcam Live
PRO+

面向高品質動作資料採集的專業邊緣 AI 動捕相機,內建 55 TOPS 嵌入式 GPU,支援 HPE 高精度解算擴充。

適合生命科學、高校實驗室、機器人訓練與動畫/VFX

內建算力
55 TOPS
系統功耗
15W
最大解析度
230萬像素
最大捕捉人數
4人
最遠追蹤距離
18m
關節3D旋轉角
支援
手指捕捉
✓ 支援
臉部捕捉
—
HPE
✓ 支援
Semcam Live
ULTRA

面向大空間與多人捕捉的旗艦級邊緣 AI 動捕相機,內建 100 TOPS 嵌入式 GPU,支援 12 人捕捉與 HPE 高精度解算。

適合大空間實驗室、LBE、模擬訓練與多人資料採集

內建算力
100 TOPS
系統功耗
18W
最大解析度
520萬像素
最大捕捉人數
12人
最遠追蹤距離
45m
關節3D旋轉角
支援
手指捕捉
✓ 支援
臉部捕捉
✓ 支援
HPE
✓ 支援
客製化方案

不確定哪款適合您?

聯絡我們的技術團隊,根據您的場景規模、人數、空間與精度要求,客製化最佳相機陣列方案。

把機器人動作數據採集從「單次演示」變成「可持續生產」。

聯絡 思看(Semcam Live) 團隊,根據您的機器人類型、實驗空間、採集人數、工具物件、同步設備和訓練數據格式要求,規劃適合人形機器人與具身智能研究的相機陣列和數據工作流程。

FAQ

常見問題

產品行業應用

思看(Semcam Live) 是什麼?

思看(Semcam Live) 是邊緣運算 AI 無標記動作捕捉系統。相機側完成目標偵測、2D 關鍵點、ReID、追蹤、分割、裁切和置信度計算,Active Center 在本地完成跨相機匹配、三角化、3D 關鍵點、骨架解算、IK、濾波、retarget 和導出。

行業應用工作流程

人體捕捉需要穿戴裝置或貼點嗎?

人體動作捕捉不需要動捕服、慣性感應器或反光標記點。若專案需要追蹤剛體對象,例如工具、道具、機器人末端、手柄或訓練器具,可以使用 Goku 進行 6DoF 剛體追蹤。

產品行業應用工作流程

即時鏈路和 HPE 高精度解算拓展分別適合什麼?

即時連結提供 120fps 動作輸出和低於 100ms 的端對端延遲,適合現場預覽、即時驅動、互動和擷取檢查。 HPE 是採後高精度處理流程,適合研究、訓練資料生產、關鍵鏡頭和需要更高品質關鍵點結果的專案。

產品行業應用工作流程

思看(Semcam Live) 能和 Goku 一起用嗎?

可以。 思看(Semcam Live) 負責無標記人體動作,Goku 負責機器人關節、末端執行器、工具、道具、手柄、訓練器具、球拍、無人機和攝影機等剛體物件。二者在 Active Center 中共享座標系、時間軸和項目。

行業應用資料輸出

生命科學和大學實驗室可以接哪些分析流程?

可連接 OpenSim、Visual3D、C3D、主流測力台、肌電和壓力台流程,並可透過 Semcam Biomechanics Plugin 與 Semcam Action Quality Assessment Plugin 擴展指標計算、動作品質評估和資料匯出。