Un sistema de captura de movimiento humano usando una sola cámara portátil
Investigadores del Instituto de Tecnología de Tokio (Tokyo Tech) y de la Universidad Carnegie Mellon han desarrollado conjuntamente un nuevo sistema de captura del movimiento humano que consiste en una única cámara ultra ancha de ojo de pez montada en el pecho del usuario. La simplicidad de su sistema podría ser propicia para una amplia gama de aplicaciones en los campos de los deportes, la medicina y el entretenimiento.
Las tecnologías basadas en la visión por computador están avanzando rápidamente debido a los recientes avances en la integración del aprendizaje profundo. En particular, la captura del movimiento humano es una esfera de investigación muy activa que impulsa avances, por ejemplo, en la robótica, la animación generada por computadora y la ciencia del deporte.
Los sistemas convencionales de captura del movimiento en estudios especialmente equipados suelen basarse en la fijación de varias cámaras sincronizadas en el techo y las paredes que captan los movimientos de una persona que lleva un traje de cuerpo entero equipado con numerosos sensores. Esos sistemas suelen ser muy costosos y limitados en cuanto al espacio y el entorno en que puede moverse la persona que los lleva.
Ahora, un equipo de investigadores dirigido por Hideki Koike en el Tokyo Tech presenta un nuevo sistema de captura de movimientos que consiste en una única cámara ultra ancha de ojo de pez montada en el pecho del usuario. Su diseño no solo supera las limitaciones de espacio de los sistemas existentes, sino que también es rentable.
Llamado MonoEye, el sistema puede capturar el movimiento del cuerpo del usuario así como la perspectiva de este, o «viewport«. «Nuestra lente ultra ancha de ojo de pez tiene un campo de visión de 280 grados y puede capturar las extremidades del usuario, su cara y el entorno que le rodea», dicen los investigadores.
Para lograr una robusta captura de movimiento multimodal, el sistema ha sido diseñado con tres redes neuronales profundas capaces de estimar la postura corporal en 3D, la postura de la cabeza y la postura de la cámara en tiempo real.
Los investigadores ya han entrenado estas redes neuronales con un extenso conjunto de datos sintéticos que consiste en 680.000 representaciones de personas con una amplia gama de formas corporales, vestimenta, acciones, condiciones de fondo e iluminación, así como 16.000 fotogramas de imágenes foto-realistas.
Sin embargo, aún quedan algunos desafíos debido a la inevitable brecha entre los conjuntos de datos sintéticos y los del mundo real. Los investigadores planean seguir ampliando su conjunto de datos con más imágenes foto-realistas para ayudar a minimizar esta brecha y mejorar la precisión.
Los investigadores prevén que la cámara montada en el pecho podría transformarse en el futuro en un accesorio cotidiano como un clip de corbata, un broche o un equipo deportivo. (Fuente: NCYT Amazings)
