Robots humanoides e IA encarnada

Crear una fábrica escalable de datos de movimiento para entrenamiento robótico

Para robots humanoides, IA encarnada, aprendizaje por imitación, teleoperación e investigación Sim2Real, Semcam Live ofrece captura de demostraciones humanas sin marcadores, seguimiento rígido 6DoF con Goku, sincronización local en Active Center y salida de datos en múltiples formatos. Los equipos pueden capturar datos de personas, robots, herramientas, accesorios y objetos experimentales en el mismo sistema de coordenadas y línea de tiempo.

Valor central

Los equipos de robótica necesitan más que una estimación puntual de esqueleto humano. Necesitan una canalización de datos estable, revisable, calibrable y conectable a herramientas de entrenamiento. Semcam Live captura movimiento humano natural con matrices de cámaras de IA en el borde y genera localmente reconstrucción 3D, resolución de esqueleto, movimiento de manos, trayectorias raíz, ángulos articulares y datos de retarget. El sistema óptico Goku puede seguir de forma sincronizada efectores finales, herramientas, accesorios y objetos experimentales en 6DoF. En Active Center, ambos comparten proyecto, sistema de coordenadas y línea de tiempo para organizar demostraciones humanas, estados robóticos y objetos de escena como activos de datos acumulables.

Escenarios de aplicación

01

Conjuntos de datos para aprendizaje por imitación

Captura demostraciones humanas como caminar, girar, agarrar, transportar, ensamblar, usar herramientas y coordinar ambas manos, y exporta esqueleto, ángulos articulares, movimiento de manos y poses objetivo para flujos de entrenamiento.

02

Teleoperación y reproducción de movimiento

Usa datos markerless en tiempo real para controlar robots, gemelos digitales o personajes simulados, ayudando a validar rápidamente la cadena de movimiento en control remoto, previsualización y reproducción de tareas.

03

Investigación de colaboración humano-robot

Registra en el mismo espacio movimiento humano, efectores de robot, herramientas y objetos experimentales para apoyar análisis cuantitativo de tareas colaborativas, evasión de obstáculos, comportamiento espacial y tiempos de interacción.

04

Seguimiento de herramientas y objetos experimentales

Con el seguimiento óptico rígido Goku, registra poses 6DoF de herramientas, accesorios, utillajes, efectores finales, plataformas móviles y otros cuerpos rígidos, complementando estados de objetos que la captura humana sin marcadores no puede representar de forma estable por sí sola.

05

Sim2Real y validación en simulación

Importa movimiento humano, poses robóticas y objetos de escena en MuJoCo, Isaac, ROS, Unity o sistemas de simulación propios para conversión de coordenadas, validación IK, reproducción de políticas y comparación con experimentos reales.

06

Docencia universitaria y de laboratorio

Adecuado para cursos de robótica, IA, interacción humano-computadora, control de movimiento y gemelos digitales. Los estudiantes pueden completar captura de demostraciones, análisis de datos, retargeting y validación en simulación sin una configuración wearable compleja.

Cómo Semcam Live apoya los flujos de datos robóticos

01

Captura de demostraciones humanas sin marcadores

Los demostradores no necesitan trajes de mocap ni marcadores para caminar, correr, girar, agarrar, transportar, operar herramientas o coordinar ambas manos, reduciendo el coste de preparación y la interferencia en el movimiento.

02

Datos humanos + cuerpos rígidos en una misma escena

Semcam Live captura el movimiento humano mientras Goku sigue efectores robóticos, herramientas, accesorios, objetos experimentales y otros cuerpos rígidos, poniendo personas, robots y objetos en una misma cadena de datos.

03

Sistema de coordenadas y línea de tiempo unificados

Active Center gestiona conjuntamente cámaras Semcam Live AI y cámaras ópticas Goku, sincronizando, calibrando, grabando y reproduciendo movimiento humano, poses rígidas y datos de dispositivos externos en un solo proyecto.

04

Salida de datos para entrenamiento.

Las salidas incluyen esqueleto, trayectorias raíz, ángulos articulares, movimiento de manos, poses objetivo tras retarget y datos rígidos 6DoF para aprendizaje por imitación, teleoperación, construcción de datasets y validación de políticas.

05

Vista previa en vivo y recálculo de HPE

El enlace en tiempo real a 120fps sirve para previsualización, revisión de captura, validación de teleoperación y depuración online. La extensión de alta precisión HPE puede generar datos de entrenamiento de mayor calidad después de la captura.

06

Implementación local e interfaces de desarrollo

Captura, reconstrucción, grabación, gestión de proyectos y exportación de datos pueden ejecutarse localmente, con soporte para ROS, C++, Python, MATLAB, MuJoCo, Isaac y flujos relacionados.

Capacidades diferenciadas

El valor de Semcam Live para la captura de datos robóticos no es estimar una pose offline desde un único vídeo. Forma una cadena de datos estable con multicámara sincronizada, IA en el borde, calibración precisa y reconstrucción 3D local. Las cámaras procesan características visuales complejas y el sistema central recibe datos estructurados para fusión entre cámaras, triangulación, resolución de esqueleto, IK, filtrado y retargeting. Así no es necesario enviar continuamente enormes flujos de vídeo sin procesar al servidor, y resulta más práctico desplegar matrices multicámara en espacios experimentales grandes.

Relación con métodos tradicionales de datos robóticos

La teleoperación con mando, los dispositivos wearables y los sistemas ópticos con marcadores siguen teniendo valor en I+D robótica, pero suelen introducir carga de uso, limitaciones de movimiento, preparación de marcadores o separación entre datos de objetos rígidos y datos humanos. Semcam Live reduce la barrera de captura de demostraciones humanas, mientras Goku complementa con seguimiento rígido de herramientas, efectores finales y objetos de escena, permitiendo registrar y reproducir movimiento humano, estado robótico y trayectorias de objetos en el mismo sistema de coordenadas y línea de tiempo.

Tecnologías e integraciones relacionadas

250 puntos clave120fpsImitation LearningTeleoperationSim2RealROSMuJoCoIsaacRetarget6DoFC++ / Python

Modelo de producto recomendado

Dependiendo de la escala y las necesidades de su escena, recomendamos las siguientes configuraciones

Semcam Live
PRO+

Cámara profesional de mocap con IA en el borde para capturar datos de movimiento de alta calidad, con GPU embebida de 55 TOPS y soporte para la extensión HPE de alta precisión.

Para ciencias de la vida, laboratorios universitarios, entrenamiento robótico y animación/VFX

Potencia informática incorporada
55 TOPS
Consumo de energía del sistema
15W
resolución máxima
2,3 millones de píxeles
Número máximo de personas capturadas
4 personas
mayor distancia de seguimiento
18m
Ángulo de rotación 3D de la articulación
apoyo
captura de dedo
✓ Compatible
captura facial
—
HPE
✓ Compatible
Semcam Live
ULTRA

Cámara insignia de mocap con IA en el borde para grandes espacios y captura multiusuario, con GPU embebida de 100 TOPS, soporte para 12 personas y procesamiento HPE de alta precisión.

Para laboratorios de gran espacio, LBE, entrenamiento de simulación y captura multiusuario

Potencia informática incorporada
100 TOPS
Consumo de energía del sistema
18W
resolución máxima
5,2 millones de píxeles
Número máximo de personas capturadas
12 personas
mayor distancia de seguimiento
45m
Ángulo de rotación 3D de la articulación
apoyo
captura de dedo
✓ Compatible
captura facial
✓ Compatible
HPE
✓ Compatible
Solución personalizada

¿No estás seguro de cuál es el adecuado para ti?

Póngase en contacto con nuestro equipo técnico para personalizar la solución óptima de conjunto de cámaras según el tamaño de su escena, la cantidad de personas, el espacio y los requisitos de precisión.

Convierte la captura de datos de movimiento robótico de una “demo puntual” en “producción continua”.

Contacta al equipo de Semcam Live para planificar una matriz de cámaras y un flujo de datos adecuados para robótica humanoide e IA encarnada según tu tipo de robot, espacio experimental, número de participantes, objetos manipulados, equipos de sincronización y formatos de datos de entrenamiento.

FAQ

Preguntas frecuentes

ProductosIndustrias

¿Qué es Semcam Live?

Semcam Live es un sistema de captura de movimiento sin marcadores AI de computación de vanguardia. La detección de objetivos, puntos clave 2D, ReID, seguimiento, segmentación, recorte y cálculo de confianza se completan en el lado de la cámara, y Active Center completa localmente la coincidencia entre cámaras, triangulación, puntos clave 3D, resolución de esqueletos, IK, filtrado, reorientación y exportación.

IndustriasFlujo de trabajo

¿La captura del cuerpo requiere parches o equipos portátiles?

La captura del movimiento humano no requiere trajes de captura de movimiento, sensores inerciales ni marcadores reflectantes. Si su proyecto requiere rastrear objetos de cuerpo rígido, como herramientas, accesorios, extremos de robots, manijas o equipos de entrenamiento, puede usar Goku para el seguimiento de cuerpos rígidos 6DoF.

ProductosIndustriasFlujo de trabajo

¿Cuándo conviene usar captura en tiempo real frente a HPE?

El enlace en vivo ofrece una salida de movimiento de 120 fps y una latencia de extremo a extremo inferior a 100 ms, lo que lo hace adecuado para vistas previas en vivo, recorridos en vivo, interacciones e inspecciones de adquisición. HPE es un proceso de procesamiento de alta precisión poscosecha adecuado para investigación, producción de datos de capacitación, tomas clave y proyectos que requieren resultados de puntos clave de mayor calidad.

ProductosIndustriasFlujo de trabajo

¿Se puede utilizar Semcam Live con Goku?

Sí. Semcam Live es responsable del movimiento humano no marcado y Goku es responsable de objetos de cuerpo rígido como articulaciones de robots, efectores finales, herramientas, accesorios, mangos, equipos de entrenamiento, raquetas, drones y cámaras. Ambos comparten el sistema de coordenadas, la línea de tiempo y el proyecto en Active Center.

IndustriasSalida de datos

¿Qué flujos de análisis se admiten para ciencias de la vida y laboratorios universitarios?

Se puede conectar a OpenSim, Visual3D, C3D, placa de fuerza convencional, electromiografía y procesos de plataforma de presión, y se puede ampliar con cálculo de índice, evaluación de la calidad de la acción y exportación de datos a través del complemento Semcam Biomechanics y el complemento de evaluación de la calidad de la acción Semcam.