ar眼镜交互最优解？facebook认为是肌电感知手环-2024欧洲杯买球平台

发布时间：2022.04.15 16:29  访问次数：  作者：

2020年对于oculus是收获颇丰的一年，尤其是在发布quest 2后，大幅推动同年第四季度非广告营收增长，并持续成为steamvr月活最高的vr机型，而且整个quest应用商店已经有60款vr游戏的营收超过100万美元。这些成绩是在quest一代出现之前难以实现的，因此可以肯定facebook在近两年为vr行业带来了一个关键拐点。

那么对于ar，facebook在2021年又有哪些规划呢？才刚进入三月，该公司ceo就接受媒体采访专门分享对ar/vr的布局，而今天facebook reality labs也在博客中公布了关于人机界面相关的最新研究成果，并透露对于未来ar交互的布局，以及为什么启动project aria项目等信息。

frl在博客中表示：将在接下来的一系列文章中，一一解析facebook未来10年将在ar眼镜上进行的研究方向，包括具备场景意识、基于ai算法、可以推断用户意图的ar界面等等。

对于未来的ar眼镜，frl认为它将足够轻量化、外观时尚，而且足以取代计算机或手机，可以为你和家人提供具有临场感的逼真虚拟社交环境，同时场景感知ai算法将帮助你处理日常任务，为你提供直观的3d虚拟内容，并将数字和真实世界自然融合。此外，有了ar眼镜你即使不低头看手机，也能同时身处数字和真实世界，应用场景足够灵活。

它的应用场景也足够多样化，比如：视觉导航、翻译、钥匙定位、数据可视化等等，有无限可能。

面临的挑战

frl首席科学家micahel abrash将ar交互称为“最难也最有趣的多学科问题之一”，因为这将需要全新的界面，并颠覆人类与计算机交互的惯有方式。据悉，上一次人机交互方式出现关键变化时，还是doug engelbart发明鼠标时，后来鼠标也为当代的图形用户界面打下了基础。同时，图形用户界面的诞生从根本上改变了人机交互界面技术，带来了长达10年的大变革。

对于ar眼镜来说，它需要应对全天候场景，在任何日常情况中都能使用，而且需要功能足够强大，可为使用者提供想知道的信息。此外，它还需要模拟人脑运行的方式，以足够自然的形式显示信息、执行任务，不干扰日常生活。

abrash表示：为了让ar真正普及，ar眼镜需要具备低门槛、全天候使用、自然交互等特点，它将成为使用者身体的一个外设。这样的愿景对于现有的人机接口技术来讲还有些遥远，不过frl将向engelbart学习，发明出全新类型的界面，带来以人为中心的体验。

简单来讲，这种理想中的ar界面更像是ai助手，它可以主动分析你的需求，并将意图自然转化为任务，不干扰使用者的日常生活。

举个例子，ar眼镜助手可能会询问你是否要听歌，而佩戴了体感手环的你只需要动动手指即可确认播放。或者，当你走进咖啡厅时ai助手可能会询问是否需要帮你点一杯咖啡，你也可以用手指动作来确认或拒绝。

当你想用ar办公时，只需要戴上轻量化的体感手套，这时候ar眼镜中将出现虚拟屏幕和键盘，并通过手势识别来让你编辑文档。未来基于体感手套的输入方式有望和用键盘打字一样容易。与此同时，当ai助手识别到周围环境吵闹时，会启动你的入耳式耳机的主动降噪功能，让你能专心办公。有趣的是，当服务员走过来与你交流时，ai算法将分割并增强服务员的声音，在降噪的同时还能让你听到服务员讲话。

当你在和服务员对话时，算法会自动将来电转至语音信箱，不打扰你的对话。此外，算法还可以ar提示你即将来临的日程。而这一系列动作，将由ai算法自动完成。

除了上述功能外，ar眼镜还需要被社会所接受，具备安全性、隐私性、无干扰、容易使用和学习、全天候舒适体验、可靠等特征。

总之，未来的ar界面将重新思考人类与计算机交互的方式，就像图形用户界面一样彻底改变人与数字世界的关系。

关于ar界面研发

为了开发ar交互界面，frl组织了一个高度跨学科的团队，其中包括科研人员、工程师、神经科学家等等。而负责这一团队的，是facebook科研主任sean keller。据悉，keller于2014年入职oculus，曾担任三年科研经理，后来在2017年成为frl ar/vr交互和输入研发部门的负责人。

sean keller

keller表示：最开始研发ar/vr交互的团队只有5个人，而六年后的现在已经成长为拥有数百名专家的团队，我们的科研目标是研发以人为中心的ar交互模型。

那么理想中的ar界面需要具备哪些条件呢？

在去年的facebook connect大会上，abrash曾表示：全天候、超低门槛的ar界面将建立在两个技术基础之上：超低使用门槛输入方式，以及支持场景识别和个性化的ai算法。

细节方面，超低使用门槛输入指的是，使用者从输入想法到ar眼镜执行任务的过程应该尽可能快速且直观。尽管市面上已经有语音识别、手势识别、眼球追踪等体感输入方式，但这些技术需要使用者主动说话或是动手，不方便使用。在未来，人们将需要用更加自然、无干扰的方式来控制ar眼镜。

facebook收购的手势识别手环技术ctrl-labs

为了探索未来的ar交互，frl开始研究基于肌电感知的方案，发现最有前景的交互形态是通过体感手环来实现。在2019年的时候，facebook就收购了emg手势识别手环公司ctrl-labs，这家公司的技术特点是通过识别从脊椎传达到手掌的肌电信号，来控制电子设备，可识别手指动作，精度可达毫米级。除此之外，ctrl-labs的技术还可以推断使用者的意图，甚至能识别残缺手掌的手势。

frl表示：这种基于emg的交互方式用起来毫不费力，就像是你可以随时随地触发虚拟按钮一样。

而未来ar界面所需的另一个关键技术：支持场景识别和个性化的ai算法，它将能够在多样化的场景中，根据你的动作和环境实时分析意图，同时还能逐渐适应和学习，自动预测你想执行的任务。而你需要做的，只是确认和选择算法预测的决定，足够简单快捷。

frl补充，将支持场景识别的ai算法与超低使用门槛的输入方式结合，具有很大潜力，尽管如此目前依然面临一些关键挑战，比如：如何将强大的技术集成在一个可全天候佩戴、舒适的产品中，或者如何实现丰富的体感反馈（就像手机的震动一样关键）。

而为了实现上述两个关键技术，ar需要配合柔性穿戴式系统来进行操作。目前，keller的团队正在探索靠近皮肤表面的穿戴式emg传感器，可识别和传输人体数据，未来计划将这项技术用于开发多种形态的全天候手环/手套或手环，配合ar眼镜来实现两种形式的交互。

除此之外，frl认为未来ar眼镜将支持更加多样化的交互方式，比如：神经输入、手势识别、姿态识别、语音识别、计算机视觉、imu触敏输入、触控等等。与此同时，也将需要支持场景感知的ai算法，去实现环境理解、视觉搜索等功能，提升交互效率。

总之，frl在研发的ar界面就像是一款高度集成的智能助手，不需要你打开独立的应用，就能快速满足你的需求。此外，它还可以实时分析和学习你的动作，并通过与你对话，不断提升预测能力，帮助你快速获取信息。

project aria ar眼镜原型

frl认识到，开发ar界面是一个长期的项目，用于培训ai预测模型的传感技术和个人数据还不够多。这也是为什么facebook启动project aria项目，利用原型眼镜来收集第一人称的数据。

frl将在不断探索中为未来打基础，预计在十年后会让大家用上这项技术。而目前短期内的目标则是，利用有限的场景感知ai来为你推荐慢跑时想听的歌曲，在下周的博客中，frl将继续分享关于手环式人机接口和自适应界面的最新成果。此外，在今年下旬还将展示更多关于全天候穿戴式设备和体感手套的最新研究。

参考：

https://tech.fb.com/inside-facebook-reality-labs-the-next-era-of-human-computer-interaction/