编译/VR陀螺

近日，美国专利商标局正式授予苹果公司一项重要的眼动追踪专利，该专利涉及一种确定注视端点的方法和装置，特别是用于确定用户主体对空间3D物体的注视端点。

苹果公司的授权专利涵盖了一种用于确定主体注视端点的系统，该系统包括一个眼动追踪单元，适于确定主体的一只或多只眼睛的注视方向；一个头部追踪单元，适于确定包括头部和/或眼动追踪单元相对于参考坐标系的位置和方向；一个3D场景结构表示单元，该单元通过现实世界场景的物体在参考坐标系中的坐标来表示其3D位置和/或其3D结构，从而提供该场景的3D结构表示；计算单元，用于根据注视方向、眼动追踪器位置和3D场景结构表示来计算注视端点，和/或根据注视方向、眼动追踪器位置和3D场景结构表示来确定主体正在注视的3D场景中的物体。

通过使用3D表示法、眼动追踪器和头部追踪器，不仅可以确定2D平面上的注视点，还可以确定主体正在注视的物体和/或3D中的注视端点。

根据一个实施方案，该系统包括一个模块，用于计算场景的3D结构表示的物体上的注视端点，其中所述注视端点是根据注视方向与3D结构场景表示中的物体的交点计算的。

注视方向与3D表示的交集提供了一种几何方法来计算注视 “hits”或与3D结构相交的位置，因此提供了真实的注视端点。因此，可以确定场景中3D物体上的真实注视端点。

根据一个实施方案，该系统包括一个模块，用于根据主体两只眼睛的注视方向的交叉点计算注视端点，和/或一个模块，用于根据计算的注视端点和现实世界场景中物体的3D位置和/或3D结构确定主体正在注视的物体。

通过使用视差来计算主体眼睛的注视方向的交点，可以确定注视端点。然后，这个注视端点可以用来确定用户正在注视的物体。

根据一个实施方案，被注视的物体通过选择其3D位置和/或结构最接近计算出的注视端点的物体被确定为主体正在注视的物体。

根据一个实施方案，该系统进一步包括一个场景摄像头，适于从任意视角获取场景的一个或多个图像；一个模块，用于将3D注视端点映射到由场景摄像头拍摄的场景图像的图像平面上。

通过这种方式，不仅可以确定3D结构上的3D注视端点，而且还可以确定由场景摄像头拍摄的任何场景图像上的相应位置。这样就可以确定由摄像头从任意角度拍摄的场景图像中的注视点，换句话说就是形成一个任意的位置。

根据一个实施方案，场景摄像头的位置是已知的，或由一些位置或物体跟踪机制确定，并且通过执行3D注视端点对所述场景摄像头图像的投影来进行映射。

这是一种从3D注视端点推导出摄像头在任意位置拍摄的场景图像中的对应点的方法。

根据一个实施方案，该系统进一步包括：一个用于基于3D结构表示生成从任意视角看到的场景图像的模块；一个用于将3D注视端点映射到由场景图像生成模块生成的图像上的模块，其中，该映射是通过将3D注视端点执行投影到由所述场景图像生成模块生成的场景图像上而进行的。

以这种方式，可以不通过使用场景摄像头拍摄图像，而是通过基于3D结构表示来生成任意的场景图像。在该场景图像中，可以通过将注视端点投射到场景图像上或通过例如突出显示来指示或可视化注视端点或被注视对象。

根据一个实施方案，所述眼动追踪器是一个头戴式眼动追踪器；所述场景摄像头是一个头戴式场景摄像头。

此外，如果眼动追踪器是头戴式的，那么头戴式追踪器也自动传递眼动追踪器的位置/方向。对于场景摄像头来说也是如此。利用头部追踪器确定的头部位置（位置和方向），可以根据头戴式眼动追踪器在坐标系中确定的注视方向，确定头部追踪器的参考坐标系中的相应注视方向。

头部追踪器提供的位置也通过给定的设置自动提供眼动追踪器的位置，其中眼动追踪器固定在头部并与头部有确定的空间关系，例如，通过安装框架将其安装在用户头部。

根据一个实施例，专利所述3D结构表示单元包括3D场景结构检测单元，该单元适于确定场景的物体的3D结构和位置或其在参考坐标系中的几何表面结构，以获得真实世界场景的3D结构表示。

图源：patentlyapple

苹果公司的专利图2示意性地说明了一种注视端点确定系统。

苹果公司的专利3示意性地说明了根据本发明的另一个实施方案的注视端点确定系统。

专利图2进一步说明了3D模型/参考模型是在实际注视测量之前使用3D结构检测器“离线”创建的（图2上半部分中的步骤a）。

然后，可以将注视端点映射到由场景摄像头拍摄的场景图像上。为此，可以使用任何摄像头的位置和参数将3D结构映射到二维场景图像的3D投影中。通过这种方式，可以将视线撞击3D结构的位置映射到由场景摄像头拍摄的场景图像的相应位置。这一映射过程在图2中步骤b中得到了示意性的说明，它显示了3D结构到场景图像的映射过程（例如通过使用3D投影执行）。

想了解更多专利细节，请查阅苹果公司的授权专利11676302。这项专利的主要发明人为苹果公司的计算机视觉高级工程经理Tom Sengelaub。

来源：patentlyapple