编译/VR陀螺

今天，美国专利商标局发布了苹果公司的一项专利申请，专利涉及下一代光场全景相机系统，该系统最终将用于iPhone、iPad和未来的HMD设备。这一点很重要，因为Google在2018年收购了光场图像领域的领导者之一Lytro，并将在未来某个时候将这种系统推向市场。

总体而言，苹果的发明将提供一种光场全景系统，其中手持移动设备的用户执行手势以捕获来自不同位置的场景图像。此外还可以捕获其他信息，例如位置和方向信息。图像和信息可以被处理以确定包括图像的相对位置和图像的深度信息的元数据。图像和元数据可以被存储为光场全景。

该光场全景相机系统可以由渲染引擎处理光场全景，以渲染场景的不同3D视图，允许观看者以6DoF从不同的位置和角度探索场景。用户可以使用诸如移动设备或头显之类的设备渲染和查看系统，使用者可以看到场景中对象的背后或上方，放大或缩小场景，或查看场景的不同部分。

如果您曾经看过这样的图像和功能，那么您就会知道这将是iPhone相机和未来HMD的杀手级应用。

从技术上讲，苹果指出，在光场摄影中，光场相机捕获场景中光的颜色强度以及光线在空间中传播的方向，这与仅记录浅色强度的常规相机大不相同。一种类型的光场相机使用放置在图像传感器前面的微透镜阵列，而多摄像机阵列是光场摄像机的另一种类型。

虚拟现实（VR）允许用户体验身临其境的环境并与之互动。例如，诸如头戴式显示器（HMD）的虚拟现实系统可以向用户显示立体场景，以创建沉浸式体验，并且计算机可以实时调整场景内容以向用户提供移动的场景。

苹果的发明提供了用于捕获、处理和渲染光场全景的方法和设备的各种实施例。

在光场全景系统的实施例中，持有包括照相机的移动设备的用户，例如智能手机、平板电脑或平板设备，执行手势以将照相机移动到感兴趣的场景以捕获一组来自不同位置的场景数字图像。

苹果的专利图2以图形方式示出了光场全景系统的组件。

苹果的专利图4A至图4F示出了可用于捕获用于生成光场全景的帧的iPhone上的非限制性示例手势。苹果的专利图5A和5B以图形方式示出了使用诸如智能电话或平板设备之类的手持移动设备来观看光场全景。

苹果的专利文件进一步指出，来自设备运动和位置感应技术的位置和方向信息，也可能会与图像一起捕获。

捕获的图像和信息可以被处理以确定元数据，该元数据包括图像相对于场景的相对位置以及图像中捕获场景的内容深度和几何信息。图像和元数据可以统称为光场全景。

观看者可以使用HMD，移动设备（如智能手机，平板电脑或平板设备）或计算机系统上的渲染和查看系统来探索由光场全景图表示的捕获场景。场景的光场全景数据（图像和元数据）可以由渲染引擎进行处理，以渲染场景的不同3D视图，并允许观看者以6DoF从不同的位置和角度探索场景。

通过使用渲染和查看系统，使用者可以更改其查看位置和角度，以查看场景中对象的背后或上方，放大或缩小场景或查看场景的不同部分。相比之下，典型的360度全景图（或Photo Sphere全景照片）只能在渲染中提供3DoF，这意味着观看者只能旋转其头部，而无法像浏览光场全景图一样通过内容进行平移。

实施例可以例如允许观看者通过HMD在沉浸式虚拟现实中体验捕获场景的广角内容。捕获的图像具有“视差”意识，即在虚拟现实中渲染图像时，场景中的对象将根据其在世界中的位置以及观看者相对于它们的位置而正确移动。此外，与通常在虚拟现实系统中查看的计算机生成内容的渲染相比，图像内容将显得更逼真。

最后，苹果的专利图7示出了用于光场全景系统的实时和后处理架构。

美国专利局今天发布的这项苹果专利申请已于2019年第三季度提交。考虑到这是专利申请，目前尚不知道这种产品上市的时间。

作为记录，苹果早在2017年6月就发表了一份专利报告，标题为“苹果获得了可为Mac、iDevices和头显提供沉浸式AR体验的光场相机关键专利”。该专利最初于2016年提交，因此，苹果从事该项目至少已有3至5年的时间。

来源：patentlyapple