编译/VR陀螺

为最新的高分辨率显示器渲染3D图形从来都不是一件容易的事，而具有高刷新率双显示器的VR头显的挑战性则要增加很多倍，Oculus的母公司Facebook非常了解这一点。近日，Facebook研究人员揭示了一种对实时渲染的3D内容进行超采样的新技术，该技术使用机器学习立即将低分辨率，以及在计算上更容易的图像转换为非常接近的高分辨率参考资料。

了解Facebook创新的最简单方法是，将蒙娜丽莎想象成只有16个彩色正方形（例如4×4网格）。看着网格的人会看到一张充满锯齿状的四方形图像，从中也许可以识别出蒙娜丽莎的著名轮廓，但是受过训练的计算机可以立即识别出网格并将其替换为原始艺术品。利用三层卷积神经网络，Facebook的研究人员开发了一种技术，该技术不仅适用于平面图像，而且适用于3D渲染场景，可将“高度混叠的输入”转换为“实时的高保真度和时间稳定的结果”，并赋予色彩、深度和时间运动矢量。

从计算的角度来看，研究表明，与原始《毁灭战士》游戏相似的3D环境可以通过预先培训而升级为类似《雷神之锤》的VR体验。这并不意味着任何开发人员都可以将原始的3D引擎转换为丰富的VR体验，而是该技术可以帮助功耗受限的VR设备（如Oculus Quest）在内部渲染较少的像素，同时显示漂亮的输出内容，使用机器学习作为捷径来获得接近参考的质量结果。

尽管机器培训的细节很复杂，但最终的结果是，这个神经网络是使用从给定3D场景的100个视频中捕获的图像进行训练的，因为真实的用户可能会从各种角度来体验它。这些图像可实现全分辨率参考场景，该场景将需要140.6毫秒才能在1600 x 900像素下进行渲染，而在400 x 225像素下以26.4毫秒进行渲染，然后在17.68毫秒内对4×4升采样，总计44.08毫秒，在非常接近原始图像的情况下，渲染时间节省了近3.2倍。这样，Quest VR头显的佩戴者将受益于已经在功能更强大的计算机上进行了全面探索的场景。

研究人员说，他们的系统通过提供更高的重建精度，大大优于最新的虚幻引擎的时间抗锯齿缩放技术，如上图所示。他们指出，Nvidia的深度学习超级采样（DLSS）最接近其解决方案，但DLSS依赖专有的软件或硬件，这些软件或硬件可能无法在所有平台上通用。 Facebook称其解决方案不需要特殊的硬件或软件，并且可以轻松地集成到现代3D引擎中，利用它们的现有输入来提供4×4超级采样，而普通解决方案最多只能使用2×2升采样。

但这种方法也并不完美。尽管对生成的图像进行了所有高级培训并在时间上保持了平稳性，但是在复制过程中可能会丢失一些细微的细节。尽管为实现“高分辨率显示应用程序”而花费的资金仍然存在疑问，但人们有望获得更强大的功能、更好的优化和专业的工程技术来改善系统的性能。

基础研究论文已经以“实时渲染的神经超级采样”发表，该论文由Facebook Reality Labs的Lei Xiao，Salah Nouri，Matt Chapman，Alexander Fix，Douglas Lanman和Anton Kaplanyan创作，将于7月中旬在Siggraph 2020上展示。

来源：venturebeat