全息透镜作为一种高匹配的增强现实眼镜，已经广泛应用于工业甚至军事领域。但这一次，陀螺君居然在HoloLens上看到了游戏应用的出现，让佩戴者用皮卡丘框起来。这是上周在IT活动Ignite 2021上，微软与任天堂合作展示的Pokemon Go的HoloLens版本。这个版本和以前的手机版本不一样。玩家可以直接与宠物精灵互动，两个玩家可以在现实中相遇，看到对方的宠物精灵，进行宠物精灵之战。相比口袋妖怪Go，微软对黑科技“全息传输”的复制更引人注目，微软技术研究员基普曼通过全息投影出现在会场。
什么是微软Mesh？
Mesh作为Azure支持的新的混合现实平台，是微软在这次会议上正式推出的。据微软称，这将简化多用户XR应用程序的创建。我们可以把Mesh理解为微软为开发者创建多人XR应用提供的开发工具。Mesh平台允许不同物理位置的人通过不同类型的设备，以虚像甚至全息投影的形式进行协作和分享，投射出最真实的自己与MR世界的人交流，就像与现实世界的人互动一样。
微软黑科技“全息传输”可用。它的MR平台网格有多好
基普曼说:“你可以感觉到你与他人分享内容，或者通过不同的磁共振设备传输内容，即使你不在同一个物理位置。”据微软介绍，Mesh是微软多年研发的成果，涵盖了手眼运动跟踪和Hololens的发展到创建持久全息图和创建个性化虚拟图像的人工智能模型。云计算是微软的核心业务，Mesh的底层是Azure，得益于其庞大的计算资源、数据、人工智能和MR服务。因此，Mesh是云计算的进一步延伸。Mesh支持的全息传输和高精度虚拟角色人脸和运动跟踪需要云计算来帮助解决操作、硬件、渲染和存储等诸多问题。
基普曼说:“我们正在Azure中构建越来越多的价值，智能云。在这些协作体验中，内容存储在云中，而不是存储在设备或应用程序中，我们需要特殊的镜头才能看到他。”借助支持网格的应用程序，无论地理位置如何，用户都可以使用3D物理模型(从小型家具到喷气发动机等)。)在共享虚拟空间中作为自己的虚拟图像或全息投影图像出现，并在全息模型上进行协作。
那微软为什么要推出多用户XR应用开发平台Mesh呢？微软在介绍中说，MR是继大型机、个人电脑、智能手机之后的第四波电脑，正在成为横跨消费和商业领域的主流。MR把人从屏幕体验中解放出来，让人们在自己的空间里直接与人或物互动。据报道，全球上亿用户通过手机体验了任天堂的MR，财富杂志统计的500强机构中，有超过50%的机构使用了HoloLens等MR解决方案，以提高投资回报，促进业务发展。鉴于此，能给人带来MR体验的应用数量应该是相当可观的，但事实并非如此，因为一些开发条件限制了开发者MR体验的开发，尤其是以下四个问题:
1.在MR体验中呈现现实的人需要花费大量的时间和资源；
2.在跨时区和设备类型的共享磁共振空间中，保持全息图的稳定并不容易。
3.很难在MR体验中引入高保真的3D模型来支持客户拥有的文件格式；
4.在地理上分散的磁共振对话中，同步用户的动作和表情是一项复杂的任务。
为了解决这些挑战，微软推出了Mesh，允许开发者设计多用户MR应用，而不用担心复杂的技术挑战。
网格功能展示和技术分析
微软对Mesh的定位主要是创造一种可以跨屏、自然交互、与真实视图和人交互的体验。所以平台需要围绕微软现有的HoloLens平台、MR头戴式平台以及更常见的平台进行设计。事实上，Mesh平台从跨平台支持、云服务、LBA AR支持等多个方面定义了未来XR应用的一些特性。从每个功能的单一角度来看，都有相应的企业和服务面对一些蓬勃发展的特定用户群体。
1.与其他微软平台和工具交流
Mesh基于Azure，可以和其他微软平台和工具进行通信。借助身份服务，如Azure活动目录和微软帐户，用户可以在适当的身份验证和授权后进入安全和可信的会话。微软图形允许用户在商业或消费者空间访问内容和联系人等信息。而且作为开发者，不需要担心计费、音视频传输等核心基础设施，以及底层的实时管理功能。除了核心平台之外，微软由AI支持的关键功能使Mesh能够通过为MR实施大规模多用户在线(MMO)场景来解决一些复杂的技术挑战。
2.存在感
Mesh提到的在场主要指两点。第一点是有代表性的头像。在多用户MR体验中，不同类型的设备使用不同的代表性头像，这些头像可以由用户定制。Mesh为用户提供具有代表性的3D头像，并通过设备的由内向外传感器呈现。Mesh平台有自己的头像和定制制作工具，可以直接使用头像。此外，该平台还可以通过其AI驱动的动作模型，帮助现有头像捕捉与用户动作一致的动作和表情。
第二点是通过由外向内的传感器实现真正的360度全方位拍摄，可以自定义相机设置，比如通过Mixed Reality Capture Studio高保真保存拍摄的3D图像，或者用Azure Kinect拍摄深度敏感的应用图像，帮助生成全息图像。全息图生成后，基于网格开发的应用程序可以在XR头显示器或手机、PC或平板电脑上启用，以使用全息图并将其呈现给用户。
3.空间地图
在Mesh出现之前，各种设备只有自己的局部世界地图，在Mesh的帮助下，这些局部缓存地图可以进行合并和优化，形成对空间和环境的全局理解。这个框架锚定内容，分享愿景，并在3D中合作。Mesh创建的地图比GPS更精确，即使在GPS无法定位的空间。它有助于传递与特定兴趣点相关联的“世界锁定全息图”。此外，网格可以生成与给定对象的精确布局和几何对齐相同的理解，以便开发人员可以轻松构建可能需要被视觉信息覆盖的应用程序对象，这些视觉信息将对象与视觉信息(如指令、服务记录和其他重要数据)完全匹配。
4.全息渲染
全息渲染是智能边缘云计算和智能云架构的典型例子。在Mesh的支持下，全息渲染可以实现高保真，不需要设备的操作和功耗。网格允许开发人员通过云连接为每个场景和模型在本地独立渲染和远程渲染之间进行选择，使开发人员在设计应用程序时具有更大的灵活性，可以根据不同的设备优化延迟和保真度。而且全息渲染还支持大部分3D文件格式，在启用Mesh的应用中进行局部渲染，解决了引入用户现有3D模型进行协作的问题。
5.多用户同步
对于开发者来说，在虚拟协作会议中创建一个共同的全息图视角并相互交流是一个很大的挑战。在网格中，共享内容是通过多用户同步来实现的，这将有助于更新参与者的姿势、动作、表情或空间全息图的变化。所有这些都发生在100毫秒的延迟内，无论是在相同的物理空间还是在不同的时区。Mesh中的空间音频会增强这些功能，从而创造出多用户场景中处于同一物理空间的感觉。
据微软称，为了利用这些功能，Mesh将为开发者提供跨平台的SDK，让开发者可以针对不同的设备类型创建应用。目前Mesh与C++和C#一起支持Unity，未来几个月Mesh将支持虚幻、巴比伦和React Native。除了访问功能，软件开发工具包还为开发人员在应用程序中使用提供了一个预构建的UX结构。这将使开发人员能够更快、更简洁地提供磁共振体验。随着Mesh平台的出现，这一系列新功能汇集在一起，成为XR应用的特色呈现。这种融合把零星的技术方向变成了整体，让XR的概念一步步具体化，这是它最大的贡献。
Mesh背后的Azure智能云的价值
基于Mesh开发的XR应用可以广泛应用于很多领域和场合，这主要归功于Azure智能云带来的价值。Mesh的虚拟协作功能使跨时区的用户能够以数字方式聚集在一起，一起讨论和理解他们，这有助于更快地查看数据和做出更好的决策。用户可以随时一起训练。得益于Holoportation(微软开发的3D视频采集系统)、全息共享和可视化功能，合作伙伴无需在路上花费时间和精力就可以面对面学习。
比如在远程医疗中，专家可以看到其他医生的诊断，并覆盖数据以保证共识，更好的解决问题，共同决策。设计师和工程师可以一起进行3D设计，团队成员在参与设计时可以用不同的设备分享想法和创意。同事们可以在内容上实时合作，要么亲自合作，要么通过全息传输。Mesh的多应用场景和基于云计算平台的azure的本质，意味着微软Azure行业和MR业务的拓展。
微软技术研究员亚历克斯·基普曼(Alex Kipman)表示:“从一开始，这就是混合现实的梦想。”其实你可以感觉和分享内容的人在一个地方，也可以从不同的混合现实设备中传输，即使没有物理上的在一起也可以和人在一起。"
他认为，随着越来越多的人活跃在网格平台上，我们所有人都参与了Azure智能云的价值构建。在这些协作体验中，内容不在当前用户的设备或应用程序中。全息内容上传到云端，意味着用户佩戴的混合现实设备只需要负责视觉效果和交互的沉浸式呈现。对于计算能力有限的个人来说，这是一个飞跃。"最重要的是，随着XR应用在Meah平台的逐渐发展和成熟，更多前所未见的安全隐患和网络安全事件成为关注的焦点。与之前的体验相比，在基于Azure的智能云Meah平台上获得的全新AltspaceVR体验，可以让公司使用企业级安全功能(包括安全登录、会话管理和隐私合规)在虚拟现实中举行会议和工作聚会。
Azure智能云为Meah提供了容纳大量模型场景和角色的前提条件，这也是平台区别于传统APP的地方。你可以理解，在XR环境下，应用之间的穿梭更像是城市之间的旅行，其间不会有下载过程，也不会有硬件计算能力适配的问题。事实上，从2020年底开始，各大厂商都开始全面实施基于云服务的平台服务战略。其中Epic的数字人类平台和HTC的VR社交平台都拥抱了云技术。云计算的力量和资源将被分配到每一个普通消费者手中，以获得更安全、更具性价比的XR体验，这也是XR行业普及的曙光。
微软在XR布局上不遗余力，就像技术总监亚历克斯·基普曼(Alex Kipman)从“海底深处”突然“闪现”，然后以一段诗意而浪漫的朗诵开始——一个人的梦想只是一场梦，一个大家共同梦想的梦，就叫现实。错失移动互联网机遇的微软，正在结合云计算在MR领域的优势，让大家更接近未来。网眼绝不是锦上添花。如果保持这个优势，拥有XR底层开发系统和云计算支持的微软，将会定义XR未来的一些标准。