编译/VR陀螺

在已经公布双 4K Micro-OLED、自研芯片和全新操作系统之后，PICO 开始进一步解释 Project Swan 背后的产品逻辑。

AWE USA 2026 期间，PICO 产品经理 Ke Jing 与软件工程师 Nan Ye 带来了一场名为《Road to Project Swan: Breakthroughs in Spatial Multitasking and AI Development on PICO OS 6》的演讲，围绕 Project Swan、PICO OS 6、空间多任务和 AI 开发工具链，披露了更多技术细节。

Project Swan 是 PICO 计划于 2026 年在全球推出的下一代旗舰 XR 设备。在这场约 25 分钟的演讲中，PICO 并未公布产品价格、重量、续航等最终信息，而是将重点放在了硬件、操作系统与开发生态如何配合。

从整体思路来看，PICO 希望 Project Swan 摆脱传统 VR/MR 设备以单一沉浸式应用为中心的运行方式。2D 应用、3D 内容、浏览器、游戏和现实环境可以同时出现在一个空间中，开发者则可以继续使用 Android、Web、Unity、Unreal 等已有技术栈。在此基础上，PICO 还开始将 AI Agent 引入 XR 开发流程，让 AI 完成项目创建、应用迁移、性能分析和 3D 场景搭建。

一、单眼4K、4000 PPI，先让“空间计算”具备可用性

PICO 首先介绍了 Project Swan 的显示和混合现实能力。Project Swan 将采用定制 Micro-OLED 显示系统，像素密度达到 4000 PPI，平均角分辨率约为 40 PPD，视野中心区域最高可达到 45 PPD。

相比单纯强调面板分辨率，PPD 更能体现用户实际看到的画面精细程度。对于以虚拟屏幕、文字阅读和生产力为主要场景的空间计算设备而言，能否清晰显示小字号文字，直接影响设备是否能够长时间替代实体显示器。

PICO 对 Project Swan 的定位也较为直接，希望其显示效果能够接近高端物理显示器，为多窗口办公、浏览器、文档和 3D 内容并行提供基础。

显示之外，另一个重点是混合现实。从摄像头捕捉环境，到传感器融合、空间定位、画面处理，再到最终显示于人眼，混合现实需要经过一条较长的感知和成像链路。任何环节出现延迟、畸变或者追踪漂移，都会破坏虚拟内容与现实环境之间的稳定关系。

为此，PICO 为 Project Swan 设计了一颗面向混合现实的自研芯片 PICO Silicon，负责传感器融合、空间计算和图像处理。按照 PICO 公布的数据，Project Swan 的混合现实端到端延迟据称最低可达到 12 ms。

在芯片架构上，Project Swan 采用双芯片方案。PICO Silicon 主要处理追踪、传感器融合及空间计算流水线，另一颗旗舰 SoC 则承担应用计算、图形渲染和显示任务。

将感知计算与应用渲染拆分，可以减少不同任务之间的资源争抢，也有利于控制高分辨率显示带来的发热和功耗。对于需要长时间维持透视、眼手追踪和多应用运行的设备而言，这种架构的价值并不局限于提升峰值性能。

不过，双 4K 显示、自研芯片和低延迟透视只是硬件基础。PICO 在本次分享中更想说明的是，当设备具备更高的清晰度和混合现实能力之后，传统 VR/MR 操作系统如何充分利用这些硬件。

二、把渲染管线交给系统，PICO OS 6攻向空间多任务

传统 VR/MR 平台大多围绕单一沉浸式应用设计。应用启动后，会独占主要渲染资源和用户视野。用户从一款 VR 游戏切换至浏览器、视频或其他应用时，通常需要退出当前体验，重新进入另一个相对封闭的运行环境。

这种模式适合游戏和沉浸式内容，却难以支撑多个应用长期并行。尤其在生产力场景中，用户可能需要同时打开浏览器、文档、视频、通信工具和 3D 模型，传统的应用级独立渲染方式会迅速增加系统负担。

PICO OS 6 的核心改变，是将渲染管线从应用层上移至操作系统层。PICO 将这套底层架构称为 PICO Spatial Engine。应用不再分别控制完整的渲染流程，而是将内容提交给系统，由操作系统统一管理场景、光照、纹理和最终画面，并根据不同应用的运行状态动态分配 CPU 与 GPU 资源。

在这一架构下，系统更像一个空间场景的统一调度中心。用户可以在实体桌面上方放置浏览器和 Android 应用窗口，同时打开 3D 模型、游戏或虚拟化身。现实环境、2D 窗口、3D 内容和虚拟背景由系统统一组合，应用之间无需反复退出和切换。

PICO 将应用运行方式分为 Full Space 与 Shared Space。Full Space 接近当前常见的 VR 游戏，单个应用占据完整沉浸空间；Shared Space 则更接近桌面操作系统的多窗口模式，不同应用可以共同存在于同一个混合现实空间。

演讲中展示了一个较为典型的使用场景：用户坐在实体电脑前，空中同时运行视频、浏览器和其他 2D 应用，朋友则以 3D 虚拟形象进入同一空间。不同类型的内容共同依附于真实桌面和房间，而非存在于彼此隔离的应用中。

交互方式也会根据使用场景变化。浏览内容时可以使用眼动和手势，游戏和 3D 创作可以继续使用手柄，处理复杂工作时则可以连接键盘和鼠标。开发者无需针对每一种输入方式重新设计完整的应用逻辑，系统会负责识别和切换输入设备。

统一渲染还为操作系统级 AI Agent 提供了基础。当操作系统可以理解并调度不同应用、窗口和空间对象后，未来的 AI Agent 才有可能跨应用整理信息、移动内容或执行连续任务，而非只能停留在单个应用内部。

三、从Kotlin到AI Agent，PICO大幅降低XR开发门槛

操作系统重新设计之后，PICO 面临的另一个问题是更多的原生内容。新的空间多任务能力需要开发者重新理解 2D 窗口、3D 对象和现实环境之间的关系。若开发者必须完全抛弃已有技术栈，从头学习一套 XR 开发体系，Project Swan 上市初期的内容供给很难快速形成规模。

PICO 给出的方案，是尽可能将 Android、Web 和游戏引擎开发者带入空间计算。对于原生 Android 开发者，PICO 推出了基于 Kotlin 的 PICO Spatial SDK。开发者可以继续使用 Android Studio、Kotlin 和声明式 UI 开发应用，并通过 PICO Spatial Plugin、PICO Spatial Editor 和 PICO Spatial UI 加入 3D 场景、物理效果、混合现实、空间音频及粒子系统。

原有 Android 应用可以继续运行，开发者也可以逐步将普通 2D 界面升级为空间窗口，在窗口旁增加可交互的 3D 商品、模型或视频内容。

Web 开发者则可以通过开源的 WebSpatial 框架，使用 HTML、CSS、JavaScript 和 React 构建空间应用。按照 PICO 的规划，同一套 WebSpatial 应用可以运行于桌面、移动设备、PICO OS 及其他空间计算平台，降低开发者针对不同设备重复开发的成本。

Unity 与 Unreal Engine 仍是游戏和高质量 3D 内容的主要入口。PICO 为 PICO OS 6 升级了相关 SDK，并继续支持 OpenXR。开发者可以制作占据完整空间的沉浸式游戏，也可以将桌游、轻量游戏和 3D 角色放入 Shared Space，与浏览器、视频及其他应用共同运行。

为缩短开发周期，PICO 还提供了可以在 PC 和 Mac 上运行的 PICO Emulator。即使开发者尚未拿到 Project Swan，也可以模拟系统环境、空间场景和输入方式，提前构建及测试应用。

本次演讲中增量最大的一部分，来自 AI 开发工具。PICO 为官方开发文档提供了适合大模型读取的 Markdown 版本及 llms.txt，减少 AI Agent 解析网页和寻找文档的时间。同时，PICO 将项目模板、开发规范和迁移流程封装为 Agent Skills，并通过 MCP、Hooks 和命令行工具连接不同的 AI 编程平台。

开发者可以使用自然语言要求 AI 创建一个空间应用，AI Agent 会选择相应模板、调用 SDK、生成项目结构并逐步补充功能。

PICO 现场展示了一个科学教育应用。应用同时包含牛顿摆、双摆、分子结构和太阳系等 3D 内容，并使用 2D 面板展示控制界面。按照演讲中的说法，这类原本需要数天完成的原型，现在可以在数小时内构建。

另一个案例是将传统 2D 视角射击游戏迁移至 PICO OS 6。AI Agent 可以添加 SDK 依赖、创建空间窗口并迁移 UI 逻辑，约 10 至 15 分钟生成一个基础版本。随后，开发者还可以要求 AI 将 2D 元素转为 3D 内容，加入手部追踪、头显追踪和空间交互。

当迁移后的游戏只能运行在约 50 FPS 时，AI Agent 还可以调用性能分析工具，生成问题报告并修改代码。PICO 展示的案例中，优化后的游戏最终稳定运行在 90 FPS。

针对 3D 资产制作，PICO Spatial Editor MCP 可以协调基础几何体搭建、文生 3D、图生 3D 和场景布局。演示中，开发者只需描述一个包含石头、松树等元素的中国庭院，AI Agent 便可以自动生成资产、导入编辑器，并调整尺寸、位置和方向。

PICO 也展示了 AI 在 Unity 项目中的使用方式，包括添加 VST 透视、空间网格、手部追踪、射击、护盾、物理坠落、空间音频和特效等功能。

这套开发链路很大程度上降低了空间应用的试错成本。过去，一名 Android 或 Web 开发者即使拥有成熟的产品想法，也需要补充大量 3D 引擎、空间交互和性能优化知识。如今，PICO 试图通过 SDK 与 AI Agent，将这些能力封装为可以被调用的工具。

来源：AWE XR