新的应用程序可以用智能手机进行实时的全身动作捕捉-阿百川

　　美国西北大学（Northwestern University）的工程师们已经开发出一种新的全身动作捕捉系统，而且它不需要专门的房间、昂贵的设备、笨重的摄像头或一系列传感器。

　　这个名为MobilePoser的新系统利用了已经嵌入到消费者移动设备中的传感器，包括智能手机、智能手表和无线耳塞。MobilePoser结合了传感器数据、机器学习和物理学，可以实时准确地跟踪一个人的全身姿势和空间中的全局平移。

　　西北大学的Karan Ahuja是这项研究的负责人，他说：“MobilePoser通过先进的机器学习和基于物理的优化，在移动设备上实时运行，达到了最先进的精度，在游戏、健身和室内导航方面开启了新的可能性，而不需要专门的设备。”“这项技术标志着移动动作捕捉的重大飞跃，使沉浸式体验更容易获得，并为各行各业的创新应用打开了大门。”

　　Ahuja的团队将于10月15日在匹兹堡举行的2024年ACM用户界面软件与技术研讨会上发布MobilePoser。“MobilePoser：移动消费设备中imu的实时全身姿势估计和3D人工翻译”将作为“姿势输入”会议的一部分进行。

　　作为人机交互方面的专家，Ahuja是西北大学麦考密克工程学院计算机科学的Lisa Wissner-Slivka和Benjamin Slivka助理教授，在那里他领导着传感、感知、交互计算和体验（SPICE）实验室。

　　大多数电影爱好者都熟悉动作捕捉技术，这些技术经常出现在幕后镜头中。为了创造CGI角色——比如《指环王》中的咕噜，或者《阿凡达》中的纳美人——演员们穿着覆盖着传感器的合身西装，在专门的房间里徘徊。计算机捕获传感器数据，然后显示演员的动作和微妙的表情。

　　“这是动作捕捉的黄金标准，但运行这种设置的成本高达10万美元，”Ahuja说。“我们想开发一种方便、大众化的版本，基本上任何人都可以用他们已有的设备使用。”

　　其他的动作感应系统，比如微软的Kinect，依赖于固定的摄像头来观察身体的动作。如果一个人在相机的视野范围内，这些系统工作良好。但对于移动或移动应用来说，它们是不切实际的。

　　为了克服这些限制，Ahuja的团队转向惯性测量单元（imu），这是一种使用传感器组合的系统——加速度计、陀螺仪和磁力计——来测量物体的运动和方向。

　　这些传感器已经安装在智能手机和其他设备中，但其保真度太低，无法用于精确的动作捕捉应用。为了提高性能，Ahuja的团队添加了一种定制的多阶段人工智能（AI）算法，他们使用公开可用的大型综合IMU测量数据集进行训练，这些数据集是由高质量的动作捕捉数据生成的。

　　通过传感器的数据，MobilePoser可以获得加速度和身体方向的信息。然后，它通过人工智能算法提供这些数据，该算法估计关节位置和关节旋转，行走速度和方向，以及用户的脚与地面之间的接触。

　　最后，MobilePoser使用基于物理的优化器来优化预测的动作，以确保它们与现实生活中的身体动作相匹配。例如，在现实生活中，关节不能向后弯曲，头部不能360度旋转。物理优化器确保捕获的动作也不会以物理上不可能的方式移动。

　　由此产生的系统的跟踪误差只有8到10厘米。相比之下，微软Kinect的跟踪误差为4到5厘米，假设用户呆在摄像头的视野内。使用MobilePoser，用户可以自由漫游。

　　阿胡贾说：“当一个人戴着不止一种设备时，比如手腕上戴着智能手表，口袋里装着智能手机，准确率会更高。”“但这个系统的一个关键部分是它的适应性。即使有一天你没有手表，只有手机，它也能适应，找出你的全身姿势。”

　　虽然MobilePoser可以给玩家带来更身临其境的体验，但这款新应用也为健康和健身提供了新的可能性。它不仅仅是计算步数，还能让用户看到自己的全身姿势，这样他们就能确保自己在锻炼时的姿势是正确的。这款新应用还可以帮助医生分析患者的活动能力、活动水平和步态。Ahuja还设想这项技术可以用于室内导航——这是目前GPS的一个弱点，它只能在室外工作。

　　阿胡贾说：“现在，医生用计步器跟踪病人的活动情况。”“这有点可悲，对吧？”我们的手机可以计算罗马的温度。他们对外部世界的了解比我们自己的身体还要多。我们希望手机不仅仅是智能计步器。手机应该能够检测到不同的活动，确定你的姿势，成为一个更积极主动的助手。”

　　为了鼓励其他研究人员在这项工作的基础上继续努力，Ahuja的团队已经将其预训练模型、数据预处理脚本和模型训练代码作为开源软件发布。Ahuja还表示，这款应用将很快在iPhone、AirPods和Apple Watch上推出。

　　更多信息：Vasco Xu等人，MobilePoser：移动消费设备中imu的实时全身姿态估计和3D人体翻译，第37届ACM用户界面软件与技术研讨会论文集（2024）。引文：新的应用程序使用智能手机执行实时的全身动作捕捉（2024年10月15日）检索自2024年10月15日https://techxplore.com/news/2024-10-app-real-full-body-motion.html此文档受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。