1. Startseite
2. Newsroom
3. News
4. Avatare ohne Marker Suits und nur mit Handykameras

Wenige Smartphone-Kameras kreieren tanzende Avatare

Neue Computer-Vision-Technik macht Marker-Anzüge für die Bewegungserfassung überflüssig

© MPI-IS

Forscherinnen und Forscher des Max-Planck-Instituts für Intelligente Systeme und der Carnegie Mellon University haben auf einer Computer Vision Konferenz eine neue Technik vorgestellt, die eine hochpräzise 3D-Bewegungserfassung, zum Beispiel mit Smartphonekameras ermöglicht. Teure Spezialhardware sowie die bekannten, hautengen Motion-Capture-Anzüge mit reflektierenden Markern braucht es fortan nicht mehr. Das Team taufte seine Erfindung Mamma: Markerless Accurate Multi-person Motion Acquisition. Da das System in der Lage ist, menschliche Bewegungen ohne Marker präzise zu erfassen, ist es nun einfach und kostengünstig, hochwertige Animationen und virtuelle Avatare zu erstellen.

Seit Jahrzehnten erfordert der Goldstandard für die Erfassung menschlicher Bewegungen und die Übertragung dieser Daten in die digitale Welt, dass Schauspielerinnen und Schauspieler Anzüge mit physischen Markern tragen, die von Kameras in einem speziellen Studio erfasst werden. Dieser Prozess hat sich bewährt, ist jedoch zeitaufwendig und teuer. Marker müssen manuell platziert werden, sie können abfallen, und wenn zwei Personen sich zu nahe kommen - beispielsweise bei einer Umarmung oder beim Tanzen -, kann das System nicht alle Marker verfolgen, da eine Person die andere vor der Kamera verdeckt und die Genauigkeit dadurch erheblich abnimmt. Um die Bewegung in solchen anspruchsvollen Sequenzen wiederherzustellen, ist eine umfangreiche Nachbearbeitung erforderlich. Die Macher der Hollywood-Blockbuster "Avatar" oder "Der Herr der Ringe" wissen, wovon wir reden.

Kommerzielle Marker-freie Systeme gibt es zwar, doch sie sind nach wie vor teuer und gelten allgemein als weniger genau als Marker-basierte Systeme. Dieses Problem veranlasste Forschende am Max-Planck-Institut für Intelligente Systeme und an der Carnegie Mellon University, eine Computer-Vision-Technologie zu entwickeln, die genau die gleichen Ergebnisse liefert wie Motion-Capture-Anzüge - jedoch ohne die mühsame manuelle Nachbearbeitung des Videomaterials. Das Team ging sogar noch einen Schritt weiter: es löste das schwierige Problem, wenn Menschen eng zusammenstehen oder tanzen.

© MPI-IS

"Markerless Accurate Multi-person Motion Acquisition" (Mamma) verarbeitet das Videomaterial mehrerer Kameras, die aus unterschiedlichen Perspektiven filmen. Es schätzt virtuelle Marker in all diesen Kameraansichten und passt anschließend ein menschliches Körpermodell (SMPL-X) an die künstlichen Marker an. Auf diese Weise "sieht" Mamma 512 virtuelle Tracking-Punkte direkt auf der Haut der Personenen. Zudem kann Mamma Posen wiedergeben, die es während des Trainings vorher noch nie gesehen hat. Im Gegensatz zu früheren Versuchen der markerlosen Erfassung, die oft nicht alle Bewegungen genau darstellen können und nicht öffentlich verfügbar sind, wurde Mamma speziell dafür entwickelt, mit Standard-Smartphone-Kameras einwandfrei zu funktionieren. Komplexe soziale Interaktionen sowie Körperkontakt stellen fortan keine Herausforderung mehr dar. Karate-Avatare oder Ringer, die gegeneinander kämpfen, oder zwei digitale Personen, die Salsa tanzen, wirken fast genauso realistisch wie echte Sportlerinnen oder Tänzer.

"Der Unterschied zwischen unserer Technik und Systemen auf Basis von Anzügen und Markern beträgt weniger als einen Millimeter. Mamma aber kann die Daten dreimal schneller verarbeiten, als wenn ein Schauspieler einen Marker-Anzug trägt und die Daten dann übertragen werden. Das System funktioniert sogar mit normalen Smartphones wie zum Beispiel mehreren iPhones", sagt Hanz Cuevas Velasquez. Er ist wissenschaftlicher Mitarbeiter in der Abteilung für Perzeptive Systeme am Max-Planck-Institut für Intelligente Systeme und Erstautor der Mamma-Publikation.

Branchen im Wandel

Die Expertinnen und Experten gehen davon aus, dass ihre Technik tiefgreifende Auswirkungen auf verschiedene Branchen haben wird, darunter die Medizin oder Biomechanik, Virtual Reality (VR) oder das Metaversum, die Sportwissenschaft oder die Film- und Gaming-Industrie, um nur einige zu nennen.

"Das System kann zum Beispiel in der Physiotherapie zur Erfassung von Patientenbewegungen eingesetzt werden. Da es keine Marker benötigt, stört es Patienten wesentlich weniger und kann zudem in natürlicheren Umgebungen statt in einem Labor eingesetzt werden", sagt Anastasios Yiannakidis, Ingenieur am Institut.

Sporttrainer könnten das System nutzen, um während des Trainings die Form und Technik mehrerer Athleten gleichzeitig zu analysieren, ohne deren Bewegungen durch sperrige Ausrüstung zu stören.

Durch die präzise Rekonstruktion sowohl der Form als auch der Haltung des Körpers und der Hände einer Person kann Mamma lebensechte digitale Avatare für soziale VR-Umgebungen erstellen, wodurch virtuelle Interaktionen menschlicher und ausdrucksstärker wirken.

"Mamma ist in vielerlei Hinsicht bahnbrechend. Es ermöglicht Spieleentwicklern, realistische, kontaktreiche Animationen wie Ringen oder Tanzen aufzunehmen, ohne den Aufwand eines riesigen Motion-Capture-Studios. Dank unserer Technologie können auch kleinere, unabhängige Studios und Forschungsteams Avatar-Bewegungen erstellen, die genauso ausgefeilt wirken wie in Blockbustern mit großem Budget", sagt Tsvetelina Alexiadis, Leiterin des Datenteams der Abteilung. Sie ist ebenfalls Autorin der Studie.

Durch die Open-Source-Veröffentlichung von Mamma hofft das Team, eine neue Innovationswelle bei der Erfassung der Bewegungen mehrerer Personen anzustoßen, um menschliche Bewegungen besser nachzubilden und somit besser zu verstehen.

Hintergrundinformationen

Das Mamma-Projekt ist eine Zusammenarbeit zwischen dem Max-Planck-Institut für Intelligente Systeme in Deutschland und der Carnegie Mellon University in den USA. Die Forschungsergebnisse wurden auf der CVPR-2026-Konferenz vorgestellt: https://mamma.is.tue.mpg.de/