文/ VR陀螺 ZJ

不久前，微软正式推出了Mesh平台，此举透露了微软下一步想要主导MR领域的野心。Mesh将成为其中的重要一环，这尤其体现在企业客户方面。

但除了公告中包含的一些细节外，真正让一些业内人士感到兴奋的是Mesh发布时附带的演示视频（见下文）。它看起来就像钢铁侠全息实验室里的东西，但有非常真实的传感器和显示技术的支持。

视频来源：Microsoft

那么这段视频是否真实准确呢？如果是的话，视频中的一些东西又是如何实现的呢？如果微软真的专注于企业领域，那么包括那个令人惊奇的《精灵宝可梦Go》概念演示在内的以消费者为中心的例子，背后的意义是什么？

为了解读Mesh对于HoloLens 2和整个MR领域的真正意义，微软的混合现实业务主管Greg Sullivan接受了外媒采访，并回答了关于Mesh的许多问题。

核心能力：为用户带来临场感

Greg Sullivan表示，微软的Mesh平台是一项Azure服务，它是一个协作的沉浸式平台，使用Azure来为用户提供这些功能。其解释道：“它将利用我们几年前推出的Azure远程渲染技术，并使用Azure来管理用户身份，无论是通过Azure Active Directory还是通过用户的微软账户。”

Sullivan指出，Mesh的核心能力之一是一种临场感，使用户能感觉到就好像真的身处于距离数百或数千英里的地方一样。Mesh为用户带来临场感的方式之一是让虚拟化身出现在某个地方。

其说道：“我们为用户呈现临场感的方式之一就是虚拟化身。我们从《AltspaceVR》的虚拟化身形象系统开始，团队把它带到了Azure平台上，所以现在它将具备Azure的所有企业级管理和安全性，以及人们所期望的其他东西。”

图源：Microsoft

当用户佩戴着HoloLens时，由于该设备拥有位置跟踪和环境感应摄像头，因此HoloLens中的传感器能够在用户移动时进行追踪。有趣的是，在Mesh中，HoloLens 2还可以做到完整的手部跟踪。

正如人们所看到的，HoloLens 2在每只手上都能追踪到25个不同的关节点。所以当用户佩戴着HoloLens并使用Mesh时，会在虚拟世界中成为一个虚拟化身，而且这个虚拟化身会拥有完全的手部动作。

Sullivan还指出，需要更多的传感器才能实现完全的容积捕获。目前HoloLens中的传感器并不能捕捉用户的容积，它们现在只能捕捉用户在空间中的6DoF运动，以及所有的手部动作。

“如果你仔细看视频，你会看到我们对Azure Kinect开发者套件和相机的参考。Azure Kinect深度感应相机与HoloLens 2中的深度感应传感器相同，” Sullivan说道。

“这种特殊的相机是我们在Kinect中使用过的ToF红外相机。这比仅使用HoloLens内置的传感器来追踪用户，并且仅仅将用户表现为虚拟化身要更上一层楼。”

但如果使用Mesh的用户并没有HoloLens 2，又能够使用怎样的工具来连接这个平台呢？

对此，Sullivan表示：“我想先把Mesh平台和云服务区分开来。通过云服务，开发者可以把这些Mesh平台的功能构建到自己的应用中去，这是一个沉浸式的协作云服务。任何开发者都可以用同样的方式进行编程，就像游戏开发者为Xbox编写一款游戏那样，只要插入Xbox Live，就可以自动让它成为一款多人联网游戏。”

“Mesh通过插入Mesh SDK并将该功能添加到应用程序中，使任何应用都能成为沉浸式、协作式的混合现实应用程序。所以这个应用可以在HoloLens上运行，也可以在Oculus上运行......你可以在Windows MR头显中，也可以在PC、Mac或智能手机上使用。所以，Mesh应用的执行环境是跨平台的。”

Sullivan进一步指出，微软的愿景是无论用户使用何种设备，都能在某种程度上参与Mesh。人们能在多种设备上运行支持Mesh的应用，这样就可以与朋友或同事在三维的虚拟空间中进行协作。区别在于使用不同的硬件会有不同的体验。如果大家都通过HoloLens 2运行一个Mesh应用，那么将能够以虚拟化身的形式进行互动和协作。

Sullivan表示，虽然不能透露具体时间，但微软将推出支持Mesh的Microsoft Teams。如果用户是通过笔记本电脑加入会议，那么只能通过二维屏幕显示内容，虽然设备中没有内置位置跟踪功能，但仍然能够通过支持Mesh的Microsoft Teams加入会议。

图源：Microsoft

“如果我们构建的这个平台只有在有HoloLens的情况下才能使用，那就限制了实际能使用这个平台的人数。口袋里装着智能手机的人远比拥有HoloLens的人要多得多。所以我们看中的是所有的终端，以及现在人们能体验MR的所有方式，无论是《精灵宝可梦GO》还是其他东西，”

Sullivan说道。“这些智能设备有AR框架、iOS和Android、ARKit和ARCore，我们可以为它们添加新的能力，让开发者可以为平台构建应用，不管是在iPhone，还是Mac或PC端，他们都可以为应用添加Mesh能力。”

赋能开发者，开发Mesh的创造性应用

在微软宣布推出Mesh并进行演示后，有人认为这个平台与另一个远程协作平台Spatial很相似，同时微软也与Spatial保持着密切的合作关系。

对于二者在功能上是否有重叠或潜在竞争关系这个问题，Sullivan表示：“任何开发者都可以在他们的应用中构建协作、共享的沉浸式体验。这将意味着Spatial可以与我们合作，对协作平台基底进行探索维护，然后他们可以进行补充，并集中精力进行投资和资源投入，以使他们的服务和应用与众不同。”

Sullivan在采访中表示，目前Spatial已经有了一个良好开端，他们对自己能提供的价值有了非常清晰的认识，这在某些方面上将使他们能更专注于自己的产品。但人们仍然需要有人来提供一个通用的基础，在这个基础上，开发者们可以建立属于自己的应用，并满足特定受众的需求。

其说道：“这更像是一些底层标准……要考虑的是如何解决一些基础性的管道问题。然后你可以在这个基础上进行构建。”

从Sullivan的说法来看，如果举例来说，微软的Mesh平台就像我们正在使用的网络浏览器，而开发者们可以在此基础上为人们创建可以满足各种需求的浏览器。

Sullivan还表示，微软将通过SDK免费为开发者提供Mesh平台，就像游戏开发者可以免费为Xbox Live构建应用一样，开发者同样能够免费构建含有Mesh功能的应用。

其还透露，微软希望能通过预览版Mesh获得开发者的反馈。“当我们开发Kinect时，能看到开发者对如何使用Kinect充满了创造力。人们用很多非常有趣的方式来使用Kinect的深度感应摄像头，而且这些用例都与Xbox游戏无关。这也是开发者们发挥创造力的直接结果。”

“现在我们的Mesh正处于预览阶段，我们期待着将这个平台交给开发者后，能让我们学到很多关于如何使用它的创新方法。”

疫情推动人们接受新概念

在疫情的影响之下，远程工作已经逐渐成为常态。许多人都在通过远程协作软件进行视频会议，并已经开始将AR和VR技术视作替代方案。Sullivan表示，在疫情的背景下，他们意识到了临场感的重要性。

其说道：“每个人在使用Zoom或者Teams的时候都会或多或少产生倦怠感。这些工具很神奇，它们能让我们在特殊时期继续进行自己的工作，但它也凸显了一些我们无法从这些体验中获得的东西。”

“我们无法通过这些工具获得真正的临场感。我们无法在走廊上对话，在对话时无法望向对方的眼睛，也没有正在合作的实感，这些都是我们很想念的事情。有些时候，人们确实需要临场感，并且希望能够面对面交流。”

图源：Microsoft

“在这过去的一年中，我们看到了技术如何改善我们的工作方式，”Sullivan说道。

“对我个人来说，我已经不再需要通勤了。因此，我认为在这种情况下，技术可以真正帮助我们解决一些现在所面临的问题。在过去的一年里，这场疫情已经成为推动人们接受这一概念的加速器。我不认为它从根本上改变了什么，但在某种意义上来说，它加速了一些可能会发生的事情的进程。”

原文链接：

https://hololens.reality.news/news/inside-microsoft-mesh-what-is-does-work-we-have-answers-0384467/