魅族手机定位追踪 把苹果全家桶用于VR全身追踪是哪个体验
此前，青亭网曾报导了一项无需摄像头的VR全身追踪方案：Standable:FullBodyEstimation（简称SFBE），这套方案就是运用了头显+双手柄数据来模拟分析身体动作数据，效果仍旧不错。
近期在CHI2023活动上，卡内基梅隆大学FutureInterfacesGroup科研队伍公布了一项类似的研究：IMUPoser，这是一个基于IMU定位的全身姿态预测方案，特点是运用iPhone、AppleWatch、Airpods等常见的电子产品来为VR提供全身追踪数据。相比于此前开发的摄像头背部追踪方案，IMUPoser方案更易于使用，而且成本更低，无需额外的硬件。
在VR中追踪全身难？
为了让VR更容易上手，Meta已经停产了PCVR产品，开始主推VR一体机，并赢得了市场广泛欢迎，引发了VR硬件潮流。VR一体机的弊端是开箱即用，戴上能够玩，但在功能、硬件性能上仍然有局限。
包括为了防止额外的设定和费用，Quest一体机并没有官方的身上追踪配件，在VR中操控身体Avatar时，只能靠头手三点定位和IK算法来分析下半身动作。
此前，FIG曾探索在Quest手柄上加入广角镜头来追踪下半身，这样的方案仍然可行，但必须复杂的计算，而且提高了费用。相比之下，如果用几乎人人都有的手机来定位身上姿态，似乎更容易上手。与用电脑摄像头追踪姿态不同，IMUPoser使用IMU来定位，这只是VR追踪组件常用的科技，区别是他们更常使用电脑、耳机、智能手环，使用IMUPoser意味着无需穿戴特殊的硬件，就能推测全身姿态。
实际上，苹果此前早已为类似的细则申请专利，考虑到苹果拥有相当完整的软硬件生态，而且其穿戴设备一般都具有加速度计、陀螺仪等运动监测传感器，可以较好的定位。未来也许可以让AR/VR头显、手机、智能手环、耳机等设施联动，从而推动全身动作追踪。
算法预测全身姿态
IMUPoser方案的一大重点，是将从电脑、智能手表等设施收集（本文用苹果生态，结合iPhone、以及可选搭配Airpods、AppleWatch，并用MacBook进行数据回流）的数据融合，并计算出用户的身体姿态。其使用的算法基于定制的双向LSTM模型（长短记忆模型），输出SMPL动捕模型。
而电脑、手表、耳机可为全身姿态追踪提供足够数据，包括四肢的位置，以及走路、蹲坐等状态。另外，可借助距离传感器识别电脑在口袋内部还是外部。还能依据智能手表和手机之间的距离（基于UWB定位），来识别手机在那个口袋、哪只手上。
当然，IMUPoser定位虽然限于手持手机的画面，当你将电脑放在裤兜时，也可以分别追踪左右腿。耳机也是这么，可以放到口袋中。因此或许会发生24种最有也许的搭配，比如智能手表和电脑在同右边头部上，或是耳机和电脑在同一个口袋中。在一些画面中，甚至没法通过一个设备（音箱、手机或手表）来定位IE，全身定位数据不完整。
因为缺乏四肢的绝对位置数据，该方案并不是完全精确，经检测手机的即时定位准确性约90.8%，智能手表和耳机的定位准确性接近100%。但当追踪数据小于最低标准时，则必须用预测算法来补偿。比如在分析姿态时也许应该插入预设动作。当IMUPoser识别到用户在行走时，便会假设没用电脑、手表定位的右侧大腿、腿也在移动，只是和另左侧不同步（基于人的自然步行姿态）
应用前景
科研人员强调，全身追踪可用于多种场景魅族手机定位追踪，比如健身、移动游戏、情景感知、虚拟助手、康复训练等等。
那么IMUPoser能代替更专业的手脚动捕工具吗？在具体性上，它还不够，但它可以拿来完善、补充已有的运动追踪设备，比如AR/VR头显。
比如数据量不稳定外，IMUPoser的其它限制还包含IMU定位的噪声等等。而且在追踪上半身动作时，如果缺乏一只头部的位置数据，IMUPoser则会复制追踪到的另一只手动作。比如，当你拿起一只手打招呼魅族手机定位追踪，系统分析的结果却是举双手。
经过验证，科研人员看到下半身追踪最精确的情境，需要用到双腿IMU数据（两个裤兜分别放了电脑、耳机）。在缺乏部分头部数据时，则可依照双腿运动的相关规律，来预测出非常合理的动作。参考：acm