另一位VR开发者找到了访问Quest 3透视摄像头的更简单的方法。
Meta并未正式允许第三方开发者访问Quest头显的摄像头,但本周早些时候,手部追踪健身应用XRWorkout的联合创始人兼首席开发者Michael Gschwandtner提出了一种巧妙的解决方案。
Gschwandtner的方法是让用户使用Quest的投屏功能,将画面投到他应用内的WebView/网页视图上,然后加载oculus.com/casting URL。但这需要煞费苦心地在WebView中登录Meta账户,并执行投屏操作。
现在,另一位VR开发者Julian Triveri提出了一种不涉及WebView或投屏的技术,因此不需要登录账户或启动系统操作。
Triveri发现,Android Media Projection API(旨在为自定义录制或投屏设置提供屏幕捕捉功能)适用于Quest头显,并且能够返回视场中心82度的1024×1024帧。虽然略低于使用投屏方法获得的帧,但仍然可以运行自定义计算机视觉模型。
该API需要用户授予权限,但在此之后,应用就可以完全访问用户所看到的内容。
Triveri在GitHub上发布了这项技术的开源演示,外媒UploadVR已经确认该技术可按描述的那样运行。他甚至还添加了一个分支,展示了该技术如何用于驱动AprilTag跟踪。
这种方法的一个有趣的限制是,它不能在录制或向头显投屏时使用,所以Triveri不得不使用PC来录制视频。与Gschwandtner的方法一样,另一个限制是捕获的视图同样包括虚拟对象和界面,而不仅仅是摄像头视图,这可能会干扰计算机视觉任务。
随着Triveri的发现,理论上任何Quest应用现在都能够以最小的阻力来访问透视摄像头。Meta会允许这种方法传播吗?或者该公司会在未来版本的Quest Horizon OS中修复这个漏洞吗?
上个月,Meta首席技术官安德鲁·博斯沃思在一次采访中表达了他对有意让Quest开发者访问透视摄像头的想法,并表示Meta将“继续关注”这个问题。
相比之下,苹果的Vision Pro头显只向企业用户提供原始访问权限,并且仅限于非公开的内部应用。
【文章来源:87870,转载须注明来源及链接,否则将追究其法律责任!】