2024年9月11日，由VR陀螺联合CIOE中国光博会主办的「光聚未来•第五届中国AI+AR技术应用高峰论坛」在深圳国际会展中心顺利举办。

本次活动以“光聚未来”为主题，聚焦AI与AR技术融合发展，从底层核心技术、生产工艺、产品应用多维度展开深度探讨。来自京东方、JBD、芯明、谷东科技、鲲游光电、Eulitha、VR陀螺以及陀螺研究院的行业嘉宾为到场观众带来了精彩的分享，演讲内容干货满满。

其中，芯明 副总裁 周凡博士为与会来宾奉上了“芯明空间计算芯片解锁MR无限潜能”的主题演讲。

以下为演讲实录（内容略有删减调整）：

大家下午好，非常荣幸在此给大家做一个分享，我叫周凡，来自芯明。

众所周知，科技的变化可以极大地影响人类生活，每一个科技的每一个小的改变，对人类生活方式的转变，对生产力的推动，就如蝴蝶效应般影响深远和显著。此前，我们习惯用鼠标、键盘对个人电脑进行操控，这也称之为个人计算时代。而现在我们已经进入到移动计算时代，仅仅操控方式的一个小改变，就引发了一系列变革和技术进步。举一个很日常的例子，如今只需带上手机，我们几乎可以在中国的全境内进行支付而不用携带任何现金。这也印证了上述这句话，科技变化可以带来极大变革，原因在于微小变化背后通常会涉及一系列复杂的技术演进和发展。

随着芯片、人工智能、空间计算等技术的发展和日益成熟，我们即将进入空间计算时代。今年大家耳熟能详的以苹果Vision Pro为代表的各种MR头显，可以看到这些面世产品的成熟度正日益增加，而与之紧密结合的空间计算和空间操控所带来的变革无疑也将进一步影响到我们的生活方式。

从 3D 空间计算而言，它最终会实现智能设备和真实世界的互动，通过链接人与机器之间的交互，从而推动机器更好地理解真实的三维世界，进而对制造、机器人、娱乐包括社交等多个行业产生影响。我们相信随着真实世界和虚拟世界的融合深入，它们将非常彻底地改变人类的生活方式。而芯明聚焦和深耕空间计算技术，从事这一技术领域底层核心技术研发，上述提到的空间计算对各行业的影响，也和我们的技术息息相关。

回到这次分享的主题，在MR或 XR 行业，在行业中耕耘许久的人士都熟悉和感知到几个显著痛点。首先，无论是空间计算应用，或高性能MR头显，它都需要集成和处理众多传感器信息，而众多传感信息数据量非常庞大，很多传感器可能会超过4K的分辨率，达到90帧及以上刷新率，如摄像头、Lidar、磁力计、ToF等，这些传感器数量通常高达10个G以上。因此，必须低延时和低功耗去处理大量传感器所带来的海量数据，同时还要对传感器的数据进行融合，这样才能给予MR头显或者空间计算应用更好的技术支撑。

其次，随着行业的快速发展，端侧算力需求日益增加。比如大家所熟知的手势识别、眼动追踪等算法，都需要在端侧完成，而不是把所有源数据传回到系统的CPU或者GPU进行处理，否则很难解决延时问题，从而难以支撑复杂的空间计算及应用。但纵观目前空间计算或者MR应用的关键和基础技术算法，较为传统的做法就是将算法直接跑在CPU或GPU等主控芯片上，由此带来最直接的问题就是延时、功耗和系统主控芯片算力需求大幅度增加。

可以预见，随着应用复杂性的增加，我们对于时延和功耗的需求逐渐增大，在传统芯片上跑复杂算法，例如软件化SLAM、异步时间扭曲等，仅依赖主控芯片运行软件算法的方案难以持续。

对此，芯明认为，要全力提升产品力，必须从最基本的应用需求入手，将产品力打入到更底层的芯片技术，因此我们设计把行业需求转化到芯片的Spec，推出了针对MR空间感知计算的专用芯片。芯明MR感知计算芯片可以低时延处理大量传感器数据，比如实时处理摄像头数据4K、90帧及以上，并兼具多传感器数据融合处理。

具体而言，为解决端侧需求，芯片内部放置了通用的3D视觉AI处理引擎，可实现AI 相关的算法端侧运行。对于行业应用，例如空间计算等的底层技术算法，我们将行业技术需求和通用基础算法直接做成硬件引擎放置于芯片中，依托单芯片就可实现3D感知，包括SLAM算法、AI等应用，不需要额外的外置AI芯片。我们的理念是将尽量多的需求应用高度集成为一个单芯片解决方案，从而解决在MR应用或者空间计算应用中的痛点。

从公司核心技术来看，作为一家以客户需求为导向，专注空间计算及人工智能芯片和产品研发的公司，芯明的自研系列芯片是目前全球唯一单芯片集成芯片化3D立体视觉、AI、SLAM的系统级芯片，同时也是目前全球唯二实现3D双目立体算法芯片化量产的公司。

细分到3D感知赛道，我们的技术和产品始终处于全球前列，我们的芯片3D感知深度分辨率和帧率可以在FHD上做到60fps，在720P做到120fps的刷新率，同时我们内置了系统AI算力引擎，基于不同芯片的spec，AI算力在3.5 ~ 40 TOPS不等。同时芯明已成功实现单芯片支持6路摄像头的多传感器融合，可更方便快捷地构建多芯片子系统组合，并兼具更低的功耗，能耗根据不同系统负载可达0.5 ~ 0.9W。

总体而言，芯明的核心就是深刻理解更多系统与行业应用需求，并将其放置在芯片spec中，因为我们相信只有从最底层的基础芯片技术出发，才能够有效提升产品力。

从产品方向看，芯明的产品线拥有端到端的全栈解决方案。目前我们量产芯片为NU4000和NU4100，今年会推出NU4500，其中NU4100到NU4500都是12nm制程，我们也正和全球领先的客户积极讨论和探索NU5000的spec。

从空间计算以及相关MR的感知计算芯片延伸，我们有很多更为广泛的产品线和客户，不仅仅局限于MR 的客户，例如机器人或者泛机器人客户。芯明为他们设计可直接使用的3D模组，或便携的空间拍摄相机，感知距离根据需求可长可短，接口也根据需求差异化支持。

芯明目前接触的基本都是细分行业的龙头客户群体，对这些客户而言，他们在市面上已经很难去找到现有的标准化产品或解决方案，因此我们会主动与该类细分行业龙头合作，针对企业需求设计定制化解决方案，目前已实现的案例包括虚拟数字人、空间拍摄/扫描、养老机器人，口扫仪等。基于以上解决方案的合作，我们进一步丰富了算法库，从而可以高效将其复用到创新领域，帮助客户设计定制适合他们需求的产品或解决方案。

再总结一下，芯明的产品是从芯片出发，从模组到解决方案到算法库，端到端的全栈解决方案。未来我们也会更深入客户需求，加强理解，把需求带到芯片spec里，从而让高性能芯片spec更好地满足行业实际需求。

回到MR感知计算芯片，目前行业设计高性能 MR硬件设备的趋势是分离式设计，即通用计算芯片和感知计算芯片分离。典型设计案例是苹果Vision Pro，它沿用分离式设计架构，以M2作为通用硬件芯片，感知计算芯片则使用自研空间计算芯片R1。

而我们的空间计算芯片也类似于苹果R1的感知计算芯片，目的是为解决数据延时问题，尤其是在处理多达 10 到 12个传感器信息时，分散主控芯片算力。当然，也不仅仅是为了分散算力，主要是为降低延时去实现端侧计算。

目前，芯明的空间计算芯片已量产，并被全球领先的MR设备厂商成功应用，去年底已有产品发布，在全球开始出售，后续我会再详细地讲解这部分。

我们把芯片设计成可扩展架构，一个单芯片可处理6路摄像头信息。这样做的核心原因是我们发现很多客户需求相对有限，直接设计成10路、12路，存在过剩问题。在此背景下，芯片架构为单芯片、处理6路摄像头、带传感器和IMU，这样的spec就可以满足大部分客户的需求。

而对于比较复杂、高性能的MR头显，我们设计可扩展架构，使其可便捷地使用内部协议构架子系统，从而增加到两颗、三颗芯片来实现具体MR空间计算需求。客户若需要处理6个、12个和18个摄像头的多传感器信息融合，在芯片里也有多传感器融合引擎，可以把多个摄像头的信息进行裁剪和拼接，满足不同系统需求。

从软件应用而言，我们已经和很多行业的细分龙头企业实现合作，因此软件支持MR头显主芯片不同平台（Windows/Linux/Android），可提供成熟的API 接口。在此背景下，针对目前市面上较为常用以及主流的通用摄像头，我们均已构建了完善的驱动库，只要并非太过冷门的机型，大概率都可直接进行使用。

去年开始，我们和全球高性能工业头显供应商建立合作，他们使用芯明芯片作为MR感知计算芯片来设计最新一代MR头显。这款头显在去年12月份已量产，进行了全球发售。在选择芯明之前，客户挑选了许久，因为很难寻求专门的MR感知芯片，毕竟就目前而言，空间计算芯片在市场上仍较为稀缺，巨头企业如苹果都倾向于自研芯片搭载在自身产品应用，不会对外进行发售。

据我所知，现在国内外也有很多相关的芯片设计厂商，正在进行空间计算芯片的研发，但是多数厂商还未实现量产，所以去年合作方最终找到芯明，将芯明的空间计算芯片添加到头显产品中。仅从MR头显硬件spec而言，该产品比苹果Vision Pro其实更高，两者的区别是苹果倾向于To C，这家企业聚焦To B。他们使用两颗芯明空间计算芯片构建子系统处理10路摄像头的信息，BOM成本相对上一代方案预估降低超过2倍。客户也反馈，芯明是目前全球唯一能够找到且能适应他们需求的芯片供应商。

就现阶段而言，我们已经在实践中取得了一些不错的成绩，实现了和全球头部互联网公司、全球Top 3笔记本厂商，全球高端工业MR头显供应商、欧洲最大的媒体集团、中国Top 3自主移动机器人公司以及无人机等企业的合作。目前PPT上标注的合作客户是130+，其实目前数字已远远超过。我们致力于通过和每个细分领域龙头企业合作，将需求带入芯片设计，帮助客户去实现设计能够更好满足需求的产品。

我的分享到此结束，谢谢大家！