Humanoide Roboter und Embodied AI

Eine skalierbare Bewegungsdatenfabrik für Robotertraining aufbauen

Für humanoide Roboter, Embodied AI, Imitation Learning, Teleoperation und Sim2Real-Forschung bietet Semcam Live markerlose Erfassung menschlicher Demonstrationen, Goku-Rigid-Body-Tracking mit 6DoF, lokale Synchronisation in Active Center und Datenexport in mehreren Formaten. Forschungsteams können Daten von Menschen, Robotern, Werkzeugen, Requisiten und Versuchsobjekten im selben Koordinatensystem und auf derselben Zeitachse erfassen.

Kernwert

Robotikteams benötigen mehr als eine einmalige Schätzung eines menschlichen Knochenmodells. Sie brauchen eine stabile, überprüfbare, kalibrierbare Datenpipeline, die sich an Trainingstools anbinden lässt. Semcam Live erfasst natürliche menschliche Bewegungen mit Edge-AI-Kameraarrays und gibt lokal 3D-Rekonstruktion, Knochenmodelllösung, Handbewegungen, Root-Trajektorien, Gelenkwinkel und Retarget-Daten aus. Das optische Goku-System kann Roboter-Endeffektoren, Werkzeuge, Requisiten und Versuchsobjekte synchron in 6DoF verfolgen. In Active Center teilen beide ein Projekt, Koordinatensystem und eine Zeitachse, sodass menschliche Demonstrationen, Roboterzustände und Szenenobjekte zu langfristig nutzbaren Datenassets organisiert werden können.

Anwendungsbereiche

01

Datensätze für Imitation Learning

Erfassen Sie menschliche Demonstrationen wie Gehen, Drehen, Greifen, Tragen, Montage, Werkzeugbedienung und beidhändige Koordination und exportieren Sie Knochenmodell-, Gelenkwinkel-, Handbewegungs- und Zielposendaten für Trainingspipelines.

02

Teleoperation und Bewegungsreproduktion

Nutzen Sie markerlose Echtzeit-Bewegungsdaten, um Roboter, digitale Zwillinge oder Simulationsfiguren anzusteuern und Bewegungsabläufe für Fernsteuerung, Bewegungsprobe und Aufgabenreproduktion schnell zu validieren.

03

Mensch-Roboter-Kollaborationsforschung

Zeichnen Sie menschliche Bewegungen, Roboter-Endeffektoren, Werkzeuge und Versuchsobjekte im selben Raum auf, um kollaborative Aufgaben, Ausweichstrategien, räumliches Verhalten und Interaktionstiming quantitativ zu analysieren.

04

Tracking von Werkzeugen und Versuchsobjekten

Mit Goku Optical Rigid-Body-Tracking lassen sich 6DoF-Posen von Werkzeugen, Requisiten, Vorrichtungen, Endeffektoren, mobilen Plattformen und anderen starren Objekten erfassen und Objektzustände ergänzen, die markerlose menschliche Erfassung allein nicht stabil abbildet.

05

Sim2Real und Simulationsvalidierung

Importieren Sie menschliche Bewegungen, Roboterposen und Szenenobjekte in MuJoCo, Isaac, ROS, Unity oder eigene Simulationssysteme für Koordinatentransformation, IK-Validierung, Policy-Replay und Vergleich mit realen Experimenten.

06

Hochschul- und Laborlehre

Geeignet für Kurse in Robotik, KI, Mensch-Computer-Interaktion, Bewegungssteuerung und digitalen Zwillingen. Studierende können Demonstrationserfassung, Datenanalyse, Retargeting und Simulationsvalidierung ohne komplexe Wearable-Konfiguration üben.

Wie Semcam Live Roboter-Datenworkflows unterstützt

01

Markerlose menschliche Demonstrationserfassung

Demonstrierende benötigen weder Mocap-Anzug noch Marker und können gehen, laufen, drehen, greifen, tragen, Werkzeuge bedienen und beidhändig arbeiten. Das senkt Vorbereitungskosten und Bewegungsbeeinflussung.

02

Mensch + Rigid-Body-Daten in einer Szene

Semcam Live erfasst menschliche Bewegung, während Goku Roboter-Endeffektoren, Werkzeuge, Requisiten, Versuchsobjekte und andere starre Körper verfolgt. Menschen, Roboter und Objekte werden so in eine gemeinsame Datenkette gebracht.

03

Einheitliches Koordinatensystem und Zeitachse

Active Center verwaltet Semcam Live AI-Kameras und optische Goku-Kameras gemeinsam, sodass menschliche Bewegungen, Rigid-Body-Posen und externe Gerätedaten in einem Projekt synchronisiert, kalibriert, aufgezeichnet und wiedergegeben werden.

04

Datenausgabe für das Training

Ausgegeben werden Knochenmodell, Root-Trajektorien, Gelenkwinkel, Handbewegungen, retargetete Zielposen und Rigid-Body-6DoF-Daten für Imitation Learning, Teleoperation, Datensatzaufbau und Policy-Validierung.

05

Live-Vorschau und HPE-Neuberechnung

Die 120fps-Echtzeitstrecke dient Vorschau vor Ort, Capture-Kontrolle, Teleoperationsvalidierung und Online-Debugging. Die HPE-Hochpräzisionserweiterung kann nach der Aufnahme Trainingsdaten höherer Qualität erzeugen.

06

Lokale Bereitstellung und Entwickler-Schnittstellen

Bewegungserfassung, Rekonstruktion, Aufzeichnung, Projektmanagement und Datenexport können lokal erfolgen und unterstützen ROS, C++, Python, MATLAB, MuJoCo, Isaac und verwandte Workflows.

Differenzierende Fähigkeiten

Der Wert von Semcam Live für Roboterdatenerfassung liegt nicht darin, aus einem einzelnen Video offline eine Pose zu schätzen. Es bildet mit synchronisierten Mehrkameras, Edge AI, präziser Kalibrierung und lokaler 3D-Rekonstruktion eine stabile Datenkette. Die Kameras verarbeiten komplexe Bildmerkmale; das zentrale System empfängt strukturierte Daten für kamerübergreifende Fusion, Triangulation, Knochenmodelllösung, IK, Filterung und Retargeting. Dadurch müssen keine massiven Rohvideoströme dauerhaft an den Server übertragen werden, und Multi-Kamera-Matrizen lassen sich in größeren Versuchsräumen praktikabler einsetzen.

Beziehung zu traditionellen Roboterdaten-Methoden

Reine Gamepad-Teleoperation, Wearables und traditionelle optische Marker-Setups behalten in der Robotikentwicklung ihren Wert, bringen aber oft Trageaufwand, Bewegungseinschränkungen, Marker-Vorbereitung oder getrennte Daten für starre Objekte und Menschen mit sich. Semcam Live senkt die Hürde für menschliche Demonstrationserfassung, während Goku das Rigid-Body-Tracking von Werkzeugen, Endeffektoren und Szenenobjekten ergänzt. So können menschliche Bewegung, Roboterzustand und Objekttrajektorien im selben Koordinatensystem und auf derselben Zeitachse aufgezeichnet und reproduziert werden.

Verwandte Technologien und Integrationen

250 Schlüsselpunkte120fpsImitation LearningTeleoperationSim2RealROSMuJoCoIsaacRetarget6DoFC++ / Python

Empfohlenes Produktmodell

Abhängig von Ihrer Szenengröße und Ihren Anforderungen empfehlen wir die folgenden Konfigurationen

Semcam Live
PRO+

Professionelle Edge-KI-Mocap-Kamera für hochwertige Bewegungsdatenerfassung, mit 55 TOPS Embedded-GPU und Unterstützung der HPE-Hochpräzisionserweiterung.

Für Life Sciences, Hochschullabore, Robotiktraining und Animation/VFX

Integrierte Rechenleistung
55 TOPS
Stromverbrauch des Systems
15W
maximale Auflösung
2,3 Millionen Pixel
Maximale Anzahl gefangener Personen
4 Personen
weiteste Verfolgungsdistanz
18m
Gelenk-3D-Rotationswinkel
Unterstützung
Fingererfassung
✓ Unterstützt
Gesichtserfassung
—
HPE
✓ Unterstützt
Semcam Live
ULTRA

Flaggschiff-Edge-KI-Mocap-Kamera für Großräume und Mehrpersonenerfassung, mit 100 TOPS Embedded-GPU, 12-Personen-Capture und HPE-Hochpräzisionsverarbeitung.

Für Großraumlabore, LBE, Simulationstraining und Mehrpersonen-Datenerfassung

Integrierte Rechenleistung
100 TOPS
Stromverbrauch des Systems
18W
maximale Auflösung
5,2 Millionen Pixel
Maximale Anzahl gefangener Personen
12 Personen
weiteste Verfolgungsdistanz
45m
Gelenk-3D-Rotationswinkel
Unterstützung
Fingererfassung
✓ Unterstützt
Gesichtserfassung
✓ Unterstützt
HPE
✓ Unterstützt
Maßgeschneiderte Lösung

Sie sind sich nicht sicher, welches das Richtige für Sie ist?

Kontaktieren Sie unser technisches Team, um die optimale Kamera-Array-Lösung basierend auf Ihrer Szenengröße, Anzahl der Personen, Platz- und Genauigkeitsanforderungen anzupassen.

Machen Sie aus Roboter-Bewegungsdaten keine Einzeldemo, sondern kontinuierliche Produktion.

Kontaktieren Sie das Semcam Live Team, um passend zu Robotertyp, Versuchsraum, Teilnehmerzahl, Werkzeugobjekten, Synchronisationsgeräten und Trainingsdatenformat eine Kameraanordnung und Datenpipeline für humanoide Robotik und Embodied-AI-Forschung zu planen.

FAQ

FAQ

ProdukteBranchen

Was ist Semcam Live?

Semcam Live ist ein markerloses Edge-Computing-Bewegungserfassungssystem AI. Zielerkennung, 2D-Schlüsselpunkte, ReID, Tracking, Segmentierung, Zuschneiden und Konfidenzberechnung werden auf der Kameraseite abgeschlossen, und Active Center führt lokal den kameraübergreifenden Abgleich, Triangulation, 3D-Schlüsselpunkte, Knochenmodelllösung, IK, Filterung, Retargeting und Export durch.

BranchenWorkflow

Erfordert die Körpererfassung tragbare Ausrüstung oder Pflaster?

Für die Erfassung menschlicher Bewegungen sind keine Bewegungserfassungsanzüge, Trägheitssensoren oder reflektierende Markierungen erforderlich. Wenn Ihr Projekt die Verfolgung von Starrkörperobjekten wie Werkzeugen, Requisiten, Roboterenden, Griffen oder Trainingsgeräten erfordert, können Sie Goku für die 6DoF-Starrkörperverfolgung verwenden.

ProdukteBranchenWorkflow

Wann nutze ich Echtzeit-Capture und wann HPE?

Der Live-Link liefert eine Bewegungsausgabe von 120 Bildern pro Sekunde und eine End-to-End-Latenz von unter 100 ms, wodurch er sich für Live-Vorschauen, Live-Fahrten, Interaktionen und Aufnahmeinspektionen eignet. HPE ist eine hochpräzise Verarbeitungspipeline nach der Ernte, die sich für Forschung, Schulungsdatenproduktion, Schlüsselaufnahmen und Projekte eignet, die qualitativ hochwertigere Schlüsselpunktergebnisse erfordern.

ProdukteBranchenWorkflow

Kann Semcam Live mit Goku verwendet werden?

Ja. Semcam Live ist für die unmarkierte menschliche Bewegung verantwortlich, und Goku ist für starre Körperobjekte wie Robotergelenke, Endeffektoren, Werkzeuge, Requisiten, Griffe, Trainingsgeräte, Schläger, Drohnen und Kameras verantwortlich. Beide teilen sich das Koordinatensystem, die Zeitleiste und das Projekt in Active Center.

BranchenDatenausgabe

Welche Analyse-Workflows werden für Life Sciences und Universitätslabore unterstützt?

Es kann mit OpenSim, Visual3D, C3D, gängigen Kraftmessplatten-, Elektromyographie- und Druckplattformprozessen verbunden werden und kann mit Indexberechnung, Aktionsqualitätsbewertung und Datenexport über das Semcam Biomechanics Plugin und das Semcam Action Quality Assessment Plugin erweitert werden.