“克隆”一个自己去上班，微软VR远程会议机器人，还原动作口型眼神

编者按：本文来自微信公众号“智东西”（ID:zhidxcom），作者：李水青，36氪经授权发布。

看点：真人“分身”实现远程零距离开会！微软最新研究：精准还原眼神、肢体甚至步伐。

智东西5月6日消息， 今天，微软研究院推出了在线会议虚拟机器人系统VROOM，可以使参加远程会议用户的虚拟形象出现在办公场所，并和在场同事进行实时交流互动。

许多人还记得《西游记》里的场景，当唐僧师徒四人遇到最难过的坎儿时，观音菩萨的“化身”在最后关头出现，为孙悟空指点迷津，说完后立马消失不见。现在，这种“神仙画面”也呈现在了现实的远程会议中。

微软发布的VROOM虚拟机器人系统正是类似这种“神仙操作”。这款系统的实际体验效果如何？背后有哪些黑科技，又是如何运作的？通过微软研究院及西蒙·弗雷泽大学研究人员发布的论文以及相关体验资料，我们也身临现场体验了一回。

戴上VR头显设备，在家远程办公的用户可以让自己的“化身”去现场开会。

▲远程办公者所需设备简单

不仅可以身临其境地进入办公室，还能够让办公室里的同事看到自己“似魔鬼的步伐”。

▲办公室在场者看到的画面

当然，办公室同事需要带上AR头显设备。远程工作者“化身”身边的机器人的辅助，远程工作者和办公室在场工作者可以“在一个时空汇聚”，看到彼此并打招呼。

更神奇的是，远程工作者和办公室在场工作者能够进行无缝的工作讨论。对于远程工作者来说，他能通过第一视角，看到工作白板上的文字，并与“眼前的”在场工作者进行讨论。

对于在办公室的在场工作者来说，他可以看到真实场景中叠加的同事形象，并与对方进行交互。虽然这种画面有时候比例有些奇怪，但是可以看到交互还是很流畅的。

▲远程工作者和在场工作者进行讨论时，双方的视角

对于远程工作者来说，他的手臂及手势动作会被VR设备控制器记录，从而呈现在“化身”身上。

同时，在VROOM系统作用下，他的脸会呈现在远程“化身”的头上，为了增强真实感，还增加了口型、眨眼等伴随动作。

VROOM系统还为远程工作者提供第一人称视角，并且可以360°自由移动。远程工作者可以和其它使用AR头显的人一样，看到自己的手部动作和手势。

对于在场工作者来说，他们可以通过微软HoloLens AR头显，看到远程用户的真人大小的“化身”叠加在真实的办公室场景中。

VROOM如何使得远程工作者和办公室现场的环境和员工互动起来呢？这需要远程机器人的配合，拍摄下“化身”所在场景的情况。

远程呈现机器人并不是新事物，它可以通过巡视周围空间，为不在场的人呈现当场的画面。但是此前，这种呈现是不聚焦的。比如，远程参会者指着桌上的一个模型，让在场工作者拿起来，并就此进行讨论，这在之前难以实现。

▲通过VROOM，远程工作者能与在场者进行专注的互动

VROOM则是一个探索如何提高机器人远程呈现的社会体验的双向系统。

VROOM系统的作用在于，将本地（AR）和远程（VR）用户汇聚到一个时空“场”中，增强使用远程呈现机器人的体验。

▲VROOM运作模式：左图为在场者场景，右图为远程工作者场景

由上图可知，在本地空间内，在场工作者通过佩戴微软HoloLens AR耳机，叠加远程呈现机器人的作用，能够看到远程工作者的真人大小的“化身”以及手势动作。

在远程空间中，通过VROOM系统，远程工作者可以获得远程呈现机器人上面的摄像头拍摄的图像，通过VR头显设备，看到第一人称视角的自主活动的场景。

VROOM已被美国计算机学会（ACM）的计算机系统人类因素会议（ACM CHI Conference on Human Factors in Computing System）接受发表。该会议原定于上周在夏威夷举行，但由于新冠肺炎等原因被取消了。VROOM是其之前一项研究贡献的续篇，2018年，ACM CHI上就出现了Mini-Me，正是一种将化身带入会议中以进行混合现实会议和互动的方式。

▲微软官网关于VROOM的论文

VROOM由西蒙·弗雷泽大学与微软研究院的研究人员共同研发，他们在论文中说：“为了让虚拟机器人和VROOM的配合呈现更直观，我们用了屏幕。但是其实在使用时，不需要屏幕，只需要带着VR头显就可以了。未来，这一技术可能继续迭代，能够使用任何可驱动的带有360°摄像功能的机器人。”

作者认为，VROOM技术非常适用于需要白板书写、讨论设计的会议，这使得与会者能够和在场人一样参与进来，提高效率。

除此之外，已经有研究者将远程呈现机器人用于博物馆、远程学术会议、远距离社交等领域，但主要关注远程呈现体验本身，而不是创造全新的机器人远程呈现交互体验。

目前，VROOM仅演示了一对一的交互。未来，VROOM可能会开发多对多的应用程序，让人们在共享的混合现实工作空间中进行互动，或者与成本更低的移动机器人一起工作。

疫情使得人们更加“非接触式”交互，而VR/AR正是一项打破原本时空界限的技术。除了VROOM，上个月被引入VR Zoom会议的Space，上周HTC推出的Vive Sync应用都是探索。

技术的“魔力”可能迟到但不会缺席。在疫情的“社交隔离”前期，许多人疑惑为什么AR/VR技术没有发挥营造“虚拟在场感”的优势，产生让人眼前一亮的应用。现在来看，一切都在进行当中。