Pourquoi l’IA sans marqueurs est l’avenir de la capture de mouvement

Si la future capture de mouvement ne fait que remplacer les marqueurs réfléchissants par des algorithmes et les combinaisons de mocap par des caméras, alors « le markerless par AI est l’avenir » reste seulement un slogan technique.

Selon nous, le changement réellement attendu ne se limite pas à « supprimer les marqueurs ». Le markerless par AI transforme la manière dont les données de mouvement sont capturées, traitées et utilisées : les personnes peuvent entrer plus naturellement dans l’espace, les systèmes peuvent enregistrer les mouvements à une fréquence plus élevée, les données peuvent circuler sur site en temps réel, puis continuer vers des workflows professionnels comme la robotique, les sciences de la vie, la formation par simulation, la production virtuelle et le divertissement interactif.

Notre réponse est donc claire : le markerless par AI deviendra l’avenir de la capture de mouvement.

Mais cet « avenir » ne signifie pas qu’une technologie unique remplacera sans condition toutes les solutions. Il ressemble davantage à une réorganisation de l’infrastructure de base : le mouvement humain sera progressivement acquis de manière naturelle par la vision AI, les objets clés continueront d’utiliser des méthodes de suivi à haute certitude adaptées à leur nature, et le calcul temps réel, le traitement post-capture et les logiciels métiers collaboreront dans la même chaîne de données.

C’est sur ce jugement que nous avons construit Semcam Live. Nous ne voulons pas livrer un résultat ponctuel de « vidéo vers mouvement », mais la capacité d’un espace professionnel à comprendre continuellement le corps humain, à produire des données de mouvement et à connecter des applications en aval.

1. L’avenir de la capture de mouvement doit d’abord rendre les personnes plus naturelles

L’objet de la capture de mouvement est l’être humain. Pourtant, dans de nombreux workflows traditionnels, la personne doit d’abord s’adapter au système : porter des équipements, coller des marqueurs, calibrer à répétition, voire modifier ses vêtements, l’amplitude de ses gestes et sa zone d’activité pour éviter des anomalies de données. La technologie peut bien sûr enregistrer le mouvement, mais elle peut aussi intervenir dans le mouvement qu’elle enregistre.

La première valeur de la mocap markerless par AI consiste à inverser cette relation : faire en sorte que le système s’adapte autant que possible à la personne, au lieu de demander à la personne de s’adapter d’abord au système.

Lorsque des sujets, acteurs, athlètes, apprenants ou démonstrateurs peuvent entrer dans l’espace dans un état plus proche de leurs tâches quotidiennes, la collecte de mouvement a davantage de chances de conserver son naturel. Pour les sciences de la vie, cela signifie que les chercheurs peuvent observer la marche, l’accroupissement, le lever, le demi-tour et d’autres comportements avec moins d’intervention ; pour la collecte de données robotiques, les démonstrateurs peuvent exécuter les tâches de manière plus continue ; pour la formation par simulation et les espaces interactifs, les participants n’ont pas à terminer d’abord un port complexe d’équipements avant que le système puisse réellement s’intégrer à l’exploitation quotidienne.

Cette orientation de l’analyse de mouvement markerless par vision n’est pas le jugement isolé d’une seule entreprise. Des revues sectorielles antérieures considéraient déjà « une analyse du mouvement rapide, non invasive et dotée d’une meilleure validité externe » comme un objectif de long terme, tout en rappelant au secteur que la précision et la robustesse doivent encore être validées en continu.[1]

Nous reconnaissons ces deux aspects : réduire l’intervention sur la personne est la valeur de la technologie markerless ; expliquer les résultats avec des conditions claires et des expériences reproductibles est la responsabilité qu’un produit professionnel doit assumer. Une entrée naturelle et une sortie professionnelle sont aussi le point de départ que nous avons toujours maintenu dans la conception de Semcam Live.

2. Le véritable avenir n’est pas une capture occasionnelle, mais la production continue de données de mouvement

Après la baisse du seuil de préparation, un changement plus profond peut se produire.

Par le passé, la capture de mouvement était souvent une ressource rare : on organisait spécialement des personnes, un espace et des équipements pour une expérience, une séquence de performance ou un projet important. À l’avenir, la capture de mouvement ressemblera davantage à une caméra, un capteur ou un terminal d’acquisition de données, devenant une capacité permanente dans les laboratoires, les centres d’entraînement, les sites de données robotiques et les espaces interactifs. Une personne entre dans l’espace, le mouvement est compris ; la tâche se termine, les données structurées entrent dans le processus suivant.

Cela signifie aussi que la manière d’évaluer la valeur produit doit changer. Nous ne pouvons pas seulement demander : « peut-il générer une animation de squelette ? » Nous devons aussi demander :

- Le même site peut-il démarrer rapidement une nouvelle session de capture ?

- Lors de croisements entre plusieurs personnes et d’occlusions partielles, l’identité et la trajectoire peuvent-elles rester continues ?

- Les données peuvent-elles entrer dans l’application en temps réel, au lieu de produire seulement un fichier après la fin de la capture ?

- Le site peut-il détecter à temps les sorties de cadre, les occlusions, les pertes d’images ou les faibles confiances, afin d’éviter de produire des lots de données invalides ?

- Le corps humain, les outils, les robots et les objets de scène peuvent-ils être compris sur une même timeline et dans un même système de coordonnées ?

- Les données peuvent-elles entrer dans les environnements d’analyse, de simulation, de moteur et de développement déjà utilisés par le client ?

Ces questions ne pointent plus vers une « fonction d’effet vidéo », mais vers une infrastructure de données de mouvement réutilisable. Le positionnement produit de Semcam Live consiste précisément à donner aux espaces fixes cette capacité de production de données de mouvement sur le long terme.

La recherche en aval exprime clairement ce besoin. L’équipe OpenCap de Stanford University souhaite faire sortir l’analyse du mouvement humain d’un petit nombre de laboratoires spécialisés. Son article public utilise des vidéos provenant de deux smartphones ou plus, associées à l’estimation de pose, au deep learning et à des modèles musculosquelettiques pour calculer la cinématique et la dynamique humaines ; dans une étude de terrain de 100 personnes, les cliniciens ont réalisé les analyses correspondantes 25 fois plus vite qu’avec la solution de laboratoire, à moins de 1 % du coût de cette solution.[2] Le reportage de Stanford University résume l’importance de ce travail comme la mise de l’analyse du mouvement humain à la portée de davantage de chercheurs, cliniciens et personnes ordinaires.[3]

Le système, les appareils et les méthodes de calcul utilisés dans cette recherche ne sont pas équivalents à Semcam Live, et les résultats de l’article ne peuvent pas servir à prouver les performances de notre produit. Mais ils valident un jugement aval important : lorsque le coût, le temps et le seuil professionnel de la capture diminuent, les données de mouvement peuvent passer de petits échantillons et d’une faible fréquence à des scénarios plus vastes et plus réalistes.

Nous voulons avancer d’un pas supplémentaire sur cette base : ne pas seulement abaisser le seuil d’une analyse ponctuelle, mais aussi donner aux sites professionnels une capture multi-vues synchronisée, un calcul local en temps réel, un traitement post-capture affiné et une connexion aux interfaces industrielles.

3. La valeur du markerless par AI ne concerne pas seulement l’animation

Le cinéma et le jeu vidéo ont fait connaître la capture de mouvement au grand public, mais la prochaine phase de croissance des données de mouvement vient de scénarios professionnels plus larges.

Dans les sciences de la vie, les chercheurs ne s’intéressent pas seulement à la manière dont le corps humain « semble bouger », mais aux angles articulaires, aux trajectoires corporelles, à la répétabilité et à la capacité d’entrer dans un workflow d’analyse musculosquelettique. L’article Stanford OpenCap a une valeur de référence non seulement parce qu’il présente un outil pratique, mais aussi parce que l’équipe de recherche a publié les échantillons, les mouvements, le système de référence et les erreurs : dans des tests de marche, d’accroupissement, de passage assis-debout et de saut avec réception chez 10 sujets sains, l’erreur absolue moyenne était de 4,5° pour les angles articulaires, de 6,2 % du poids corporel pour la force de réaction au sol, et de 1,2 % de « poids corporel × taille » pour les moments articulaires.[2]

Nous pensons que cette méthode, qui consiste à « préciser les conditions, rapporter les résultats et conserver les limites », a plus de valeur qu’une affirmation générale de « haute précision ». Lorsque Semcam Live entre dans des scénarios comme les sciences du sport, la recherche en rééducation ou l’ergonomie, il doit aussi être validé autour de mouvements précis, de populations précises et d’indicateurs précis, au lieu de remplacer les vraies questions de recherche des clients par un paramètre unique.

Dans la robotique et l’intelligence incarnée, les données de mouvement ont une autre valeur. Les documents de formation robotique de NVIDIA considèrent les données de démonstration de haute qualité comme la première étape de l’apprentissage par imitation, et listent les démonstrations vidéo, la capture de mouvement et la téléopération comme sources de données disponibles.[4] Les documents de NVIDIA sur le développement de robots humanoïdes indiquent aussi que l’entraînement de modèles de fondation nécessite de grands volumes de données, tandis que la collecte de démonstrations humaines dans le monde réel est souvent longue et coûteuse ; la coordination entre démonstrations réelles, simulation et données synthétiques devient un chemin important pour étendre les données d’entraînement.[5]

Cela montre que les robots n’ont pas besoin d’une « visualisation de squelette plus spectaculaire », mais de données de mouvement utilisables par les pipelines d’entraînement : comment les articulations humaines changent, comment les mains et les outils se déplacent l’un par rapport à l’autre, à quel moment une tâche se produit, quels coordonnées et timestamps les données utilisent, et comment elles entrent dans ROS, les environnements de simulation ou les frameworks d’entraînement.

Pour les équipes robotiques, la valeur recommandée de Semcam Live est de réduire la charge de préparation des démonstrations humaines par une méthode markerless, de soutenir la vérification et l’interaction sur site par une chaîne locale en temps réel, puis de placer le corps humain, les robots et les outils dans des relations de données alignables. Il ne peut pas remplacer le retargeting, le contrôle et les algorithmes de sécurité, mais il peut devenir une entrée de données de mouvement humain plus naturelle et plus continue.

Dans la formation par simulation, le LBE et la production virtuelle, la même logique s’applique. Ce dont les utilisateurs ont réellement besoin, c’est d’interactions à faible latence, de relations multi-personnes, de relecture du processus de mouvement et de synchronisation entre les humains et les accessoires, pas seulement de l’export d’une performance en fichier d’animation. La capture de mouvement évolue d’un outil de production de contenu vers une technologie générale permettant de comprendre « comment les personnes agissent » dans l’espace réel.

4. Pourquoi nous choisissons « multi-caméras+edge AI » plutôt que de traiter seulement une vidéo

Certains produits markerless légers estiment le mouvement humain à partir d’un point de vue unique ou d’une vidéo existante. Ce type de produit est simple à déployer et convient à la prévisualisation rapide, à l’animation de courtes vidéos et aux tâches qui n’exigent pas fortement une position spatiale en temps réel.

Nous choisissons de résoudre un autre problème : comment permettre à un site réel de produire des données de mouvement 3D sur le long terme, de manière stable et en temps réel.

Lorsqu’un point de vue unique rencontre un corps de côté, un demi-tour, un croisement de membres, une occlusion entre plusieurs personnes ou une occlusion par accessoire, les parties invisibles doivent généralement dépendre davantage de l’inférence du modèle. Les multi-caméras synchronisées peuvent observer le même mouvement depuis différents angles et récupérer la position spatiale par calibration, correspondance inter-vues et triangulation. Plus de caméras ne signifie pas automatiquement plus de précision ; la performance finale dépend encore de l’implantation des caméras, de la synchronisation, de la calibration, des modèles, de l’éclairage, des vêtements et des mouvements précis. Mais pour un site fixe, plusieurs personnes et des déplacements de grande amplitude, le multi-vues fournit une base d’observation géométrique plus complète.

Dans Semcam Live, nous faisons exécuter côté caméra la détection humaine, le suivi, la segmentation, les keypoints 2D, le ReID et le calcul de confiance, puis Active Center réalise localement la correspondance inter-caméras, la triangulation, les keypoints 3D, la résolution du squelette, l’IK, le filtrage, le retargeting et l’export.[6][7]

Nous plaçons une partie de la compréhension visuelle là où les données sont générées, puis le centre réalise la fusion multi-vues. L’objectif n’est pas d’empiler des paramètres de puissance de calcul, mais de rapprocher un site multi-caméras d’un système exploitable : les résultats de capture peuvent être vus en temps réel sur site, le centre n’a pas besoin de dépendre par défaut du cloud public, plusieurs positions de caméra peuvent couvrir ensemble un espace, et les keypoints, la confiance, les squelettes et les trajectoires peuvent continuer à être transmis aux logiciels en aval.

Cette architecture nécessite une installation, une calibration, un réseau et une exploitation professionnels. Pour les utilisateurs qui n’ont besoin que de traiter occasionnellement un élément vidéo, ce n’est pas forcément le choix le plus léger ; mais si une équipe a besoin d’un site fixe, d’une capture multi-personnes continue, de limites locales de données, d’une sortie temps réel ou d’interfaces professionnelles, Semcam Live mérite davantage d’être inclus dans une évaluation formelle.

5. Le markerless humain ne signifie pas que tous les objets sur site doivent être markerless

Dans les tâches réelles, la personne n’est souvent pas le seul objet.

Les démonstrations robotiques doivent enregistrer les outils, les objets cibles et les effecteurs terminaux des robots ; la formation par simulation doit enregistrer les instruments, les équipements et les objets manipulés ; le LBE doit synchroniser casques, contrôleurs et accessoires ; la production virtuelle peut aussi nécessiter que les acteurs, les caméras et les objets clés restent dans une relation unifiée. Le corps humain se prête à l’estimation de squelette par AI à partir d’indices visuels, tandis que les objets rigides recherchent surtout une pose stable à six degrés de liberté. Les deux types d’objets n’ont pas besoin d’être forcés dans la même logique de suivi.

Nous faisons donc travailler Semcam Live avec le système de suivi optique Goku : le corps humain est capturé par la chaîne markerless AI, les corps rigides clés comme les robots, outils et accessoires sont suivis par la chaîne optique, puis Active Center les place dans un système de coordonnées et une timeline unifiés.[6][7]

Nous ne décrivons pas cela comme « tous les objets sont markerless », mais comme le choix de la technologie la plus adaptée selon l’objet. C’est aussi une caractéristique produit importante de Semcam Live pour la robotique, la formation par simulation, le LBE et la production virtuelle : préserver l’expérience d’entrée naturelle du corps humain tout en fournissant aux objets clés des données de pose indépendantes et fusionnables.

Pour les utilisateurs en aval, cette combinaison rend la sémantique des données plus complète. Avec seulement un squelette humain, le système peut savoir que « la main avance » ; lorsque la pose de l’outil est aussi obtenue, l’application peut aller plus loin et déterminer la relation relative entre la main et l’outil, si l’outil atteint la zone cible, et si le processus de tâche respecte des conditions prédéfinies. Quant à la reconnaissance de prise, à la notation du mouvement, au contrôle robotique ou aux stratégies de sécurité, ils doivent toujours être combinés à des algorithmes métier et à des connaissances sectorielles spécifiques ; un système de mocap ne peut pas les prendre automatiquement tous en charge.

6. Les données de mouvement futures doivent pouvoir entrer dans les workflows des clients

Les données de mouvement ne commencent à créer de la valeur que lorsqu’elles quittent l’interface de démonstration et entrent dans les activités réelles.

Semcam Live fournit des directions de connexion vers des environnements de développement, logiciels et formats comme ROS, C++, Python, Matlab, MuJoCo, NVIDIA Isaac, OpenSim, Visual3D, C3D, Unreal Engine, Unity, Blender, Maya, MotionBuilder, ainsi que FBX, BVH, modèle corporel paramétrique et modèle corporel de haute précision.[7]

Ces interfaces et formats couvrent les workflows typiques de la robotique, des sciences de la vie, de l’animation et de l’interaction temps réel, et reflètent aussi notre jugement produit : la capture de mouvement future ne sera pas enfermée dans un lecteur, mais deviendra un nœud de la chaîne de données du client.

Mais les noms d’interfaces ne sont pas des résultats livrés. L’utilisabilité réelle dépend aussi des versions, champs, systèmes de coordonnées, timestamps, unités, confiances, exemples de code et du support technique. Nous devons non seulement améliorer continuellement la connectivité, mais aussi montrer aux utilisateurs comment une chaîne complète fonctionne grâce à des tutoriels orientés tâches, des projets d’exemple, des données téléchargeables et des cas réels : de la disposition et calibration des caméras, à la capture et au contrôle qualité, puis au résultat final dans des messages ROS, des fichiers C3D, des environnements de simulation ou des moteurs temps réel.

Si votre équipe dispose déjà d’une pile logicielle mature, vous devriez tester avec de vraies interfaces lors du choix d’un système de mocap, au lieu de seulement consulter une liste de compatibilité. Nous invitons les utilisateurs à valider Semcam Live avec leurs propres mouvements, sites, squelettes, réseaux et logiciels cibles, car l’adéquation du produit doit finalement se vérifier dans le workflow du client.

7. Quelles équipes sont les mieux adaptées à Semcam Live

Si votre besoin principal consiste seulement à convertir occasionnellement une courte vidéo en animation, et si vous acceptez les limites d’un point de vue unique, le traitement post-capture et un workflow au niveau des assets, des produits de mocap vidéo légers peuvent déjà suffire.

Si votre équipe fait face aux tâches suivantes, Semcam Live mérite une évaluation prioritaire :

- Construire un site réutilisable de collecte de données de mouvement robotique ;

- Mener en laboratoire ou en centre d’entraînement des recherches de mouvement répétées, multi-personnes et de longue durée ;

- Avoir besoin d’une sortie de squelette temps réel de niveau 120fps ou d’interaction sur site ;

- Avoir des exigences claires de traitement local des données, de fonctionnement intranet et de contrôle sur site ;

- Devoir comprendre simultanément le mouvement humain et des corps rigides comme des robots, outils et accessoires ;

- Souhaiter connecter les données à ROS, Python, MuJoCo, Isaac, OpenSim, C3D ou des moteurs temps réel ;

- Avoir besoin à la fois de feedback sur site et de traitement post-capture affiné des données clés.

Nous recommandons de commencer la preuve de concept par une tâche aux limites claires. Par exemple, une équipe robotique peut choisir un ensemble d’opérations d’outils à deux mains, une équipe de sciences de la vie peut choisir la marche et l’accroupissement, et une équipe de formation par simulation peut choisir une tâche individuelle avec des instruments et étapes clairement définis. Définissez d’abord les mouvements, l’espace, le nombre de personnes, le format de sortie, la latence et les indicateurs qualité, puis décidez de la disposition des caméras et de la configuration système. Une telle validation est plus proche d’une décision d’achat réelle que le visionnage d’une démonstration idéale.

8. Pourquoi nous choisissons toujours fermement le markerless par AI

Parce que ce qui est réellement rare dans la capture de mouvement n’a jamais été seulement une animation plus belle, mais des données de mouvement suffisamment naturelles, suffisamment continues et suffisamment utilisables.

Lorsque les personnes n’ont pas besoin d’une longue préparation pour les équipements, la fréquence de capture peut augmenter ; lorsque le multi-caméras et l’edge AI entrent dans des espaces fixes, les données de mouvement peuvent être générées en temps réel et en continu ; lorsque le corps humain et les corps rigides clés sont dans une relation spatio-temporelle unifiée, le système peut comprendre la tâche et pas seulement la pose ; lorsque les données peuvent entrer dans les logiciels de robotique, de sciences de la vie, de simulation et de contenu, elles passent d’un résultat ponctuel à un actif de long terme.

Voici l’« avenir » tel que nous le comprenons :

- Ne pas utiliser AI pour remplacer tous les capteurs, mais laisser chaque type d’objet utiliser la technologie la plus adaptée ;

- Ne pas seulement générer un fichier d’animation, mais faire entrer les données de mouvement en temps réel dans les workflows industriels ;

- Ne pas envoyer par défaut toutes les vidéos brutes vers le cloud public, mais permettre aux clients d’établir localement des limites de données claires ;

- Ne pas seulement viser la réussite d’une démonstration, mais permettre à un espace de produire des données de manière répétée et sur le long terme ;

- Ne pas éviter les limites, mais construire la confiance avec des conditions de test, des résultats bruts et des tâches réelles.

Le markerless par AI est l’avenir de la capture de mouvement non pas parce que les mots « markerless » semblent plus avancés, mais parce qu’il donne pour la première fois aux données de mouvement la possibilité de devenir quotidiennes, scalables et infrastructurales.

Ce que fait Semcam Live consiste à transformer cette possibilité en un système pour sites professionnels : observer l’espace réel avec des multi-caméras synchronisées, comprendre le corps humain avec l’edge AI, réaliser la reconstruction 3D locale avec Active Center, servir différentes étapes avec le temps réel et HPE, compléter les corps rigides clés par le suivi optique, puis remettre les données via des interfaces ouvertes aux personnes qui créent réellement de la valeur.

Si votre objectif n’est pas seulement d’obtenir un résultat de mouvement, mais de permettre à un laboratoire, un site de données, un centre d’entraînement ou un espace interactif de produire continuellement des données de mouvement, nous serons heureux de valider Semcam Live avec vous au moyen de tâches réelles.

L’avenir ne sera pas décidé par un slogan. Il sera construit par des captures réelles répétées, des validations publiques répétées et des workflows connectés un par un.

Et c’est précisément ce que nous faisons.

---