Robots humanoïdes et IA incarnée

Construire une usine de données de mouvement évolutive pour l’entraînement robotique

Pour les robots humanoïdes, l’IA incarnée, l’apprentissage par imitation, la téléopération et la recherche Sim2Real, Semcam Live fournit la capture de démonstrations humaines sans marqueurs, le suivi 6DoF de corps rigides Goku, la synchronisation locale dans Active Center et la sortie de données multiformat. Les équipes peuvent capturer les données des personnes, robots, outils, accessoires et objets expérimentaux dans le même repère et sur la même chronologie.

Valeur clé

Les équipes robotiques n’ont pas seulement besoin d’une estimation ponctuelle de squelette humain, mais d’un pipeline de données stable, vérifiable, calibré et connectable aux outils d’entraînement. Semcam Live capture les mouvements humains naturels avec des réseaux de caméras IA en périphérie, puis produit localement reconstruction 3D, résolution squelettique, mouvements des mains, trajectoires racine, angles articulaires et données de retarget. Le système optique Goku peut suivre en parallèle les effecteurs de robot, outils, accessoires et objets expérimentaux en pose 6DoF. Dans Active Center, les deux partagent projet, repère et chronologie pour organiser démonstrations humaines, états robotiques et objets de scène en actifs de données accumulables.

Cas d’usage

01

Jeux de données pour apprentissage par imitation

Capturez des démonstrations humaines comme marcher, tourner, saisir, porter, assembler, utiliser des outils et coordonner les deux mains, puis exportez squelette, angles articulaires, mouvements des mains et poses cibles pour les pipelines d’entraînement.

02

Téléopération et reproduction du mouvement

Utilisez les données markerless en temps réel pour piloter robots, jumeaux numériques ou personnages simulés, afin de valider rapidement la chaîne de mouvement en télécommande, prévisualisation et reproduction de tâches.

03

Recherche en collaboration homme-robot

Enregistrez dans le même espace les mouvements humains, effecteurs de robot, outils et objets expérimentaux pour analyser quantitativement tâches collaboratives, évitement d’obstacles, comportements spatiaux et timing d’interaction.

04

Suivi d’outils et d’objets expérimentaux

Avec le suivi optique de corps rigides Goku, enregistrez les poses 6DoF des outils, accessoires, gabarits, effecteurs, plateformes mobiles et autres objets rigides, afin de compléter les états d’objet que la capture humaine markerless seule ne peut pas toujours représenter de manière stable.

05

Sim2Real et validation en simulation

Importez les mouvements humains, poses robotiques et objets de scène dans MuJoCo, Isaac, ROS, Unity ou des simulateurs internes pour la conversion de coordonnées, la validation IK, la relecture de politiques et la comparaison avec l’expérience réelle.

06

Enseignement universitaire et laboratoire

Adapté aux cours de robotique, IA, interaction homme-machine, contrôle du mouvement et jumeaux numériques. Les étudiants peuvent réaliser capture de démonstrations, analyse de données, retargeting et validation en simulation sans configuration portable complexe.

Comment Semcam Live soutient les workflows de données robotiques

01

Capture de démonstrations humaines sans marqueurs

Les démonstrateurs n’ont pas besoin de combinaison mocap ni de marqueurs pour marcher, courir, tourner, saisir, porter, utiliser des outils ou coordonner les deux mains, ce qui réduit le coût de préparation et les interférences sur le mouvement.

02

Données humaines + corps rigides dans la même scène

Semcam Live capture le mouvement humain tandis que Goku suit effecteurs de robot, outils, accessoires, objets expérimentaux et autres corps rigides, plaçant personnes, robots et objets dans la même chaîne de données.

03

Repère et chronologie unifiés

Active Center gère ensemble les caméras IA Semcam Live et les caméras optiques Goku, afin de synchroniser, calibrer, enregistrer et relire les mouvements humains, poses rigides et données d’appareils externes dans un même projet.

04

Sortie de données pour la formation

Les sorties incluent squelette, trajectoire racine, angles articulaires, mouvements des mains, poses cibles après retarget et données rigides 6DoF pour l’apprentissage par imitation, la téléopération, la construction de jeux de données et la validation de politiques.

05

Aperçu en direct et recalcul HPE

Le lien temps réel à 120fps sert à la prévisualisation, au contrôle de capture, à la validation de téléopération et au débogage en ligne. L’extension HPE haute précision peut générer après capture des données d’entraînement de meilleure qualité.

06

Déploiement local et interfaces développeur

Capture, reconstruction, enregistrement, gestion de projet et export de données peuvent fonctionner localement, avec prise en charge de ROS, C++, Python, MATLAB, MuJoCo, Isaac et des workflows associés.

Capacités différenciantes

La valeur de Semcam Live pour les données robotiques n’est pas d’estimer hors ligne une posture à partir d’une seule vidéo. Il construit une chaîne de données stable avec multi-caméras synchronisées, IA en périphérie, calibration précise et reconstruction 3D locale. Les caméras traitent les caractéristiques visuelles complexes, tandis que le système central reçoit des données structurées pour fusion multi-caméras, triangulation, résolution squelettique, IK, filtrage et retarget. Il n’est donc pas nécessaire de renvoyer en continu des flux vidéo bruts massifs au serveur, et les matrices multi-caméras deviennent plus pratiques dans de grands espaces expérimentaux.

Relation avec les méthodes traditionnelles de données robotiques

La téléopération par manette, les dispositifs portables et les systèmes optiques à marqueurs gardent une valeur en R&D robotique, mais ils peuvent apporter une charge de port, limiter le mouvement, demander une préparation de marqueurs ou séparer les données rigides des données humaines. Semcam Live réduit la barrière de capture des démonstrations humaines, tandis que Goku complète le suivi rigide des outils, effecteurs et objets de scène, pour enregistrer et reproduire mouvements humains, états robotiques et trajectoires d’objets dans le même repère et sur la même chronologie.

Technologies et intégrations associées

250 points clés120fpsImitation LearningTeleoperationSim2RealROSMuJoCoIsaacRetarget6DoFC++ / Python

Modèle de produit recommandé

En fonction de l'échelle de votre scène et de vos besoins, nous recommandons les configurations suivantes

Semcam Live

PRO+

Caméra professionnelle de mocap IA en périphérie pour l’acquisition de données de mouvement de haute qualité, avec GPU embarqué de 55 TOPS et prise en charge de l’extension haute précision HPE.

Pour les sciences du vivant, les laboratoires universitaires, l’entraînement robotique et l’animation/VFX

Puissance de calcul intégrée

55 TOPS

Consommation électrique du système

15W

résolution maximale

2,3 millions de pixels

Nombre maximum de personnes capturées

4 personnes

distance de suivi la plus éloignée

18m

Angle de rotation 3D de l'articulation

soutien

capture du doigt

✓ Pris en charge

capture du visage

—

HPE

✓ Pris en charge

Semcam Live

ULTRA

Caméra phare de mocap IA en périphérie pour grands espaces et capture multi-personnes, avec GPU embarqué de 100 TOPS, prise en charge de 12 personnes et traitement haute précision HPE.

Pour grands laboratoires, LBE, formation en simulation et acquisition multi-personnes

Puissance de calcul intégrée

100 TOPS

Consommation électrique du système

18W

résolution maximale

5,2 millions de pixels

Nombre maximum de personnes capturées

12 personnes

distance de suivi la plus éloignée

45m

Angle de rotation 3D de l'articulation

soutien

capture du doigt

✓ Pris en charge

capture du visage

✓ Pris en charge

HPE

✓ Pris en charge

Solution personnalisée

Vous ne savez pas lequel vous convient le mieux ?

Contactez notre équipe technique pour personnaliser la solution optimale de réseau de caméras en fonction de la taille de votre scène, du nombre de personnes, des exigences d'espace et de précision.

Faites passer la capture de données robotiques de la “démonstration ponctuelle” à la “production continue”.

Contactez l’équipe Semcam Live pour planifier une matrice de caméras et un workflow de données adaptés à vos types de robots, espaces d’expérimentation, nombre de participants, objets manipulés, équipements synchronisés et formats de données d’entraînement.

FAQ

ProduitsIndustries

Qu’est-ce que Semcam Live ?

Semcam Live est un système de capture de mouvement sans marqueur AI. La détection de cible, les points clés 2D, le ReID, le suivi, la segmentation, le recadrage et le calcul de confiance sont effectués côté caméra, et Active Center complète localement la correspondance entre caméras, la triangulation, les points clés 3D, la résolution de squelette, l'IK, le filtrage, le reciblage et l'exportation.

IndustriesWorkflow

La capture corporelle nécessite-t-elle un équipement portable ou des patchs ?

La capture du mouvement humain ne nécessite pas de combinaisons de capture de mouvement, de capteurs inertiels ou de marqueurs réfléchissants. Si votre projet nécessite le suivi d'objets à corps rigide, tels que des outils, des accessoires, des extrémités de robot, des poignées ou du matériel d'entraînement, vous pouvez utiliser Goku pour le suivi de corps rigide 6DoF.

ProduitsIndustriesWorkflow

Quand utiliser la capture temps réel ou HPE ?

Le lien en direct offre une sortie de mouvement de 120 ips et une latence de bout en bout inférieure à 100 ms, ce qui le rend adapté aux aperçus en direct, aux lecteurs en direct, aux interactions et aux inspections d'acquisition. HPE est un pipeline de traitement post-récolte de haute précision adapté à la recherche, à la production de données de formation, aux prises de vue clés et aux projets nécessitant des résultats clés de meilleure qualité.

ProduitsIndustriesWorkflow

Semcam Live peut-il être utilisé avec Goku ?

Oui. Semcam Live est responsable des mouvements humains non marqués et Goku est responsable des objets corporels rigides tels que les articulations des robots, les effecteurs finaux, les outils, les accessoires, les poignées, le matériel d'entraînement, les raquettes, les drones et les caméras. Les deux partagent le système de coordonnées, la chronologie et le projet dans Active Center.

IndustriesSortie de données

Quels flux d’analyse sont pris en charge pour les sciences de la vie et les laboratoires universitaires ?

Il peut être connecté aux processus OpenSim, Visual3D, C3D, à la plate-forme de force grand public, à l'électromyographie et à la plate-forme de pression, et peut être étendu avec le calcul d'index, l'évaluation de la qualité de l'action et l'exportation de données via le plug-in Semcam Biomechanics et le plug-in d'évaluation de la qualité de l'action Semcam.