编译/VR陀螺

近日，美国专利商标局公布了苹果公司的一项专利申请，该专利涉及增强现实技术和一种显示内容的方法，特别是显示环境的相应表示。这是一项技术性很强的专利，在增强现实领域工作的工程师和开发人员会更好地理解这份专利。

不过该专利中的一个主题是所有苹果粉丝都能理解的，那就是新的SharePlay功能，这允许用户与朋友在他们的设备或电视上一起看电影，这项新功能已经在WWDC21上亮相。

而这份专利就是探讨这项功能在技术上的意义，该专利申请深入探讨了未来一代用于AR的SharePlay，该功能也可以搭配未来的混合现实头显一起使用。苹果在专利中使用多个立体模型视图介绍了 "家庭增强现实（ER）环境"。

苹果在其专利背景中指出，以前可用的设备可以在操作环境中显示内容。在增强现实（AR）应用中，操作环境对应于包括物理对象的物理（例如，现实世界）环境，先前可用的设备会显示叠加在物理环境图形表示上的虚拟对象。在虚拟现实（VR）应用中，操作环境对应于包括纯虚拟对象的虚拟环境。

然而，该设备缺乏一种机制，以便在操作环境中实现对显示内容的三维（3D）操纵。该设备还缺乏一种显示虚拟物体的机制，使虚拟物体和物理物体在操作环境中不会相互遮挡。

家庭增强现实（ER）环境

苹果公司的发明向我们介绍了一种新的方法，包括通过显示设备显示他们称之为 "家庭增强现实（ER）环境 "的东西，其特征是家庭ER世界坐标，包括第一ER环境的第一立体视图表示。

在某些情况下，一个设备可以在操作环境中显示一个或多个对象。在一些应用中，该设备修改了当前操作环境的显示。修改当前的操作环境可以包括在当前操作环境内各自的预定位置显示不同的虚拟对象，这与用户输入无关。在当前操作环境中的预定位置显示一个虚拟对象会出现问题，因为该虚拟对象和也在当前操作环境中的物理（例如，现实世界）对象可能会互相阻挡（例如，遮挡），从而降低当前操作环境提供的功能。

相比之下，苹果专利中的各种实施方案包括系统、方法和电子设备，该系统、方法和电子设备响应于检测针对第一ER环境的第一立体模型视图表示的第一输入，将包括在第一立体模型视图表示中的ER对象的子集转化为主ER环境，将其作为主ER世界坐标和第一ER世界坐标的一个函数。

在一些实施方案中，该方法包括响应检测到第二输入而移动ER对象的子集。例如，在一些实施方案中，该方法包括在家庭ER环境内相对于物理对象移动ER对象的子集。因此，消除了物理对象和 ER 对象之间的遮挡（例如，障碍物），使得关于家庭ER环境的功能集更加丰富。

在某些情况下，设备可以在操作环境中显示内容。例如，在传统的视频会议应用中，操作环境对应于一个共享的通信环境。该设备根据各自记录的个人视频流，显示与共享通信环境相关的远程定位的个人。因此，这些人能够以图形化的方式彼此互动。该设备以二维（2D）显示操作环境内的内容，如与视频会议相关的平面2D视频流。然而，该设备缺乏一种用于在操作环境中对显示内容进行三维（3D）操作的机制。

在某些情况下，设备可以在操作环境中显示内容。例如，在传统的视频会议应用中，操作环境对应于一个共享的通信环境。该设备根据各自记录的个人视频流，显示与共享通信环境相关的远程定位的个人。因此，这些人可以以图形方式彼此互动。该设备以二维（2D）显示操作环境内的内容，如与视频会议相关的平面2D视频流。然而，该设备缺乏一种机制，以使操作环境内显示的内容能够进行三维（3D）操作。

相比之下，各种实施方案包括方法、系统和电子设备，它们能够根据用户的输入改变多个显示的立体模型视图中的第一个视图。多个立体模型视图表示对应于多个增强现实（ER）环境。多个视图中的每一个都与各自的ER世界坐标集相关，该坐标集描述了各自的ER环境。

根据用户的输入，电子设备可以改变多个立体模型视图中的第一个视图视角，同时根据各自的ER世界坐标集保持其中ER对象的先前排列位置。因此，多个立体模型视图中的第一个视图可以从三维视角进行操作，从而实现与ER环境有关的更丰富的功能集。

苹果公司专利中的一系列专利图2J-2N，说明了与第一ER环境相关的ER会话的功能。

图源：patentlyapple

在苹果的专利图2J中，ER会话使个人的各自图形表示能够同时在第一ER环境中存在。例如，ER会话使化身#236所代表的特定个人能够在第一ER环境内。在一些实施方案中，电子设备(#203 HMD、iPhone或iPad)能接收加入ER会话的请求并显示相应的指示。

例如，在一些实施方案中，该指示对应于ER加入界面#254。此外，如图所示，电子设备播放(例如，通过扬声器)第一组语音数据#256，该语音数据与ER会话相关联的特定个人有关。如第一组语音数据是加入ER会话的口头请求，例如 "嘿，Bob。来加入我的ER环境，我们可以虚拟地一起看电视。"

作为另一个例子，第一组语音数据可以包括与第一ER环境相关的环境噪音，例如来自电视#234的噪音。

图源：patentlyapple

苹果公司的专利图3是根据一些实施方案，基于用户输入而改变ER环境立体模型视图的方法流程图。在各种实施方案中，该方法300或其部分是由HMD执行的。

该专利深入研究了HMD的注视点和眼动追踪以及手部追踪。在各种实施方案中，电子设备利用手部追踪数据操纵ER环境立体模型视图的显示。例如，在一些实施方案中，电子设备会移动立体模型视图表示，以追踪用户手的当前位置。

此外，苹果公司指出，身体姿势传感器获得指示用户头部或身体位置的身体姿势数据。在各种实施方案中，电子设备会利用身体姿势数据操纵ER环境的立体模型视图显示。

例如，身体姿势数据表明用户正在侧转头部，电子设备可以根据数据相应地操纵ER环境的立体模型视图。

想了解更多细节，可以查阅苹果的专利20210311608。

来源：patentlyapple