由于手部遮挡和手部运动的复杂性，机器对手部与物体互动的理解仍然是一个挑战。

Meta Reality Labs的研究人员发布了一个名为HOT3D的数据集（“Hand and Object Tracking”的缩写）。该数据集旨在帮助开发一个基于视觉的系统，更好地理解手部与物体的互动，从而实现新的应用。

研究人员在论文中写道：“例如，这样的系统将能够在用户之间传授技能。首先捕捉专家用户执行一系列手部与物体互动的过程（如组装家具、打网球等），然后使用捕捉到的信息来指导经验较少的用户，例如通过AR眼镜。这些技能也可以类似地从人类转移到机器人，使自主机器人能够即兴学习。该系统还可以帮助AI助手更好地理解用户动作的上下文，或者为AR/VR用户提供新的输入能力，例如将任何物理表面变成虚拟键盘，或将任何铅笔变成多功能魔杖。”

该数据集可以在Meta的HOT3D项目页面上获取，并且还有研究论文的链接。

数据集是通过Quest和其他（即将推出的）Meta设备录制的。该数据集包含了超过800分钟的第一视角视频记录，展示了与33种日常物体的互动。除了简单的拾取、查看和放下物体的场景外，数据集中还包括厨房、办公室和客厅环境中的典型动作。

用于捕捉视频数据的两款Meta设备是Project Aria眼镜和Quest 3 VR头显。由于Meta使用这些设备，该数据集可能主要用于训练公司现有和未来的AI/AR/VR眼镜和头显的AI系统。

【文章来源:87870，转载须注明来源及链接，否则将追究其法律责任！】