本文系投稿,作者:刘哲
有关3D-AR系列文章,此为第一篇
从电脑到手机,再到头显,核心变革是计算机从二维到三维。之前受限于技术的瓶颈,电视、电脑、手机均是以二维平面为核心设计的计算机生态。但现实环境、人类生活本身是三维立体的,导致二维的计算机与三维的现实环境是完全割裂的。2010年三维空间感知技术的出现,计算机逐渐能像人一样感知三维空间的长、宽、高,能够实现空间定位、运动追踪、虚拟遮挡等功能,全球科技巨头开始探索和开发三维计算机。
苹果首款设备Vision Pro发布,意味着基于空间计算的三维计算机生态开始商业化。苹果2023年发布的首款头显,是从芯片、集成电路,到计算机硬件、操作系统、软件工具等,完全以空间三维建立的一套全新的三维计算机系统,进而帮助人类在现实世界中构建起一套平行的三维计算机世界,从而实现三维内容交互,让人类工作、生活更加富有效率,这是新一轮人机交互变革,也是新一轮信息技术产业革命。
全新的三维内容应用生态。苹果、微软、谷歌、Meta等花费十年时间,难道是让人们带个笨重的头显,来看二维的图片、视频的吗?新的生态体系,是以三维内容为主的虚拟与现实的融合交互,包括游戏、电商、广告、教育、文博、旅游、家居等全新应用生态。三维内容交互,将成为人们日常应用,无处不在,是新一代互联网生态体系。整个计算机系统,将使人类现实生活在效率、体验上大幅提升。
3D内容迎来十万亿级新蓝海。随着科技的发展、计算机的不断迭代,大众传播介质经历了“文字-图片-视频”,而基于空间计算的三维计算机时代,信息传递的核心介质是3D内容,即3D模型。3D内容将从极小众市场,变成C端日常交互和应用的十万亿级市场,开启全新蓝海。
3D内容生产—最大刚需和难点。一个三维内容开发(AR应用),需要多个乃至十个3D模型(如现实环境中虚拟的盆栽、虚拟的宠物、虚拟的购物包包)。根据苹果及业内共识,3D模型是目前AR生态开发中最困难、最昂贵的环节,一个模型的生产周期在数小时到几天时间,成本在几百美元到上千美元。
3D内容的生产,其重要性仅次于苹果为代表的头显设备。面对着未来十年全球数十万亿级3D内容市场,以及面临的技术、商业、成本难题,谁掌握了精度高、还原度高、效率快、成本低的3D内容生产技术,谁就掌握了下一个数字世界的生产工具。全球科技巨头均在投入攻关3D内容生产的关键环节,以苹果、微软、谷歌、Meta为代表的全球科技巨头近几年纷纷收购和研发进入领域,中国军团深耕十余年拥有技术和商业优势,这将开启一场全球科技产业争霸的新篇章。
一、计算机:从2D升级到3D
计算机发展几十年,经历了几次革命性变革。
第一次变革—PC时代的信息数字化。上世纪80年代的计算机的发明、图形界面的应用,PC时代的核心是信息数字化。
第二次变革—手机时代的社交生活数字化。以苹果2007年推出iPhone为标志,移动互联网席卷而来,核心是社交生活数字化。
第三次变革—头显/眼镜时代的三维内容交互。以苹果2023年发布的Vision Pro为标注,将开启基于空间计算,全新的三维计算机及三维内容生态。
信息产业变革的核心,图源:网络
(一)全新的3D硬件
二维计算机生态与三维人类现实生活的悖论。之前受限于技术的瓶颈,算力的不足,电视、电脑、手机均是以二维平面为核心设计的计算机生态。但现实环境,人类生活本身是三维立体的。二维的计算机与三维的现实环境是完全割裂的,人们使用计算机,就必须进入二维屏幕的内容生态,而脱离了现实环境。
2010年三维空间感知技术出现,打造三维计算机成为可能。随着摄像头和算力提升,计算机能像人一样感知三维空间的长、宽、高,能够实现空间定位、运动追踪、虚拟遮挡等功能,这意味着计算机世界可以在现实环境中构建。
硅谷三巨头—苹果、微软、谷歌同时认识三维计算机生态的战略意义和商业价值,开始探讨和着手打造下一代计算平台。
2012年,谷歌率先推出全世界第一款3D设备-谷歌Glass,面向C端市场,但因各种不成熟而销声匿迹。2014年,谷歌卷土重来,推出AR手机-Tango,其增加了具备深度感知功能的激光摄像头,手机厂商联想与华硕承做,但效果不佳随后放弃。2017年苹果推出ARkit,谷歌重启AR项目。
2015年,准备了五年的微软选择先B端后C端的路线,推出了第一款在B端能够商用的3D设备-Hololens,2019年推出了Hololens 2。Hololens在工业、医疗、商业发展迅速,并获得美国陆军4.8亿合同。
习近平主席2015年参观体验微软3D眼镜-Hololens,图源:央视新闻
苹果首款设备Vision Pro,意味着真正开始商业化。苹果实际上是与谷歌、微软同一批开展打造新计算机平台中心的巨头,苹果头显研发已经有七年,也就是2016年开始研发,考虑到研发前的技术储备、相关公司收购,立项和探索实际上始于乔布斯在世的2011年左右。
在全球科技巨头均发布相关头显设备时,为什么苹果会最后发,因为苹果一向以产品是否足够好、能否商业化推广作为推出的唯一标准,虽然其设备先进性、成熟度方面远高于同类公司。
苹果2023年发布的首款头显,是从芯片、集成电路,到计算机硬件、操作系统、软件工具等,完全以空间三维建立的一套全新的三维计算机系统,进而帮助人类在现实世界中构建起一套平行的三维计算机世界,从而实现三维内容交互,让人类工作、生活更加富有效率,这是新一轮人机交互变革,也是新一轮信息技术产业革命。
苹果Vision Pro强调对空间感知及3D内容体验,图源:苹果
3D硬件发展史,图源:网络
(二)全新的3D操作系统
不单是3D硬件设备,科技巨头打造了全新的3D操作系统。有别于电脑、手机,新的头显设备增加了大量用于三维空间感知、三维内容交互的元器件,如激光摄像头、多个摄像头并行、各种传感器等,其配套的操作系统是基于三维空间计算而开发构建的,与之前二维操作系统完全不一样。
1、苹果
visionOS提供了两种类型的应用:Windows(2D窗口)和Volume(同时会支持2D窗口和3D内容,更适合3D)。
Apple Vision Pro开发界面展示,图源:苹果公司
苹果2D-3D开发跨越,图源:苹果公司
苹果新系统的开发体系,图源:苹果官方
苹果希望新内容开发首选3D,图源:苹果公司
2、其他公司
国内众多AR眼镜/头显,其3D操作系统基本上由虹宇科技提供。AR眼镜公司Xreal,在CES 2020年发布的星云系统,即是全新的3D系统。
图源:虹宇科技
Xreal发布的操作系统—3D System,图源:Xreal
新设备传输的核心是3D内容,图源:虹宇科技
(三)3D软件工具及生态
为构建新的三维内容生态体系,除了硬件设备、操作系统外,以苹果为代表的科技巨头近些年构建了一系列配套的3D软件生产工具。
1、苹果
计算机从2D升级到3D,苹果相继打造了3D空间感知(LiDAR以及其他摄像头)、3D实时计算(R1芯片)、3D交互方式(手势交互)、3D数据格式(USDZ)、3D空间音频技术、3D软件生态工具(Reality Composer、RealityKit、Reality Converter)。
2018年推出3D全新文件格式USDZ,支持3D/AR物品展示,支持跨应用,用户可以在Adobe、网页、iMessage等应用中进行拖拽展示。同时推出AR购物AR Quick Look,零售商通过上传3D模型提供产品的AR预览。
2019年推出三维场景设计工具Reality Composer和AR渲染平台RealityKit,进一步提供满足基于3D数据的复杂AR场景。
2020年1月,苹果推出Reality Converter,使开发人员能将常见的3D文件格式转换成Pixar的USDZ格式,Reality Converter可以预览OBJ,GLTF和USD文件在USDZ中的显示方式,同时处理纹理和修改文件元数据,然后将其转换为USDZ。
2021年6月,苹果推出Object Capture小工具,主要是小体量、规则完整的3D物体的3D数字化,但实践效果欠佳。
2022年6月,苹果推出LiDAR摄像头,主要是用于3D空间感知定位,让后续3D-AR投放效果更佳精准。
苹果构建的3D数据软件生态,图源:网络
苹果构建的3D数据软件生态,资料来源:苹果官方
苹果新计算机系统中鼓励3D内容开发,资料来源:苹果公司
苹果强调的3D空间设计-对于3D数据投放,图源:苹果公司
随着3D硬件设备、3D操作系统、3D软件工具的开发、迭代和升级,计算机将从之前的二维世界进入到全新的三维世界,互联网内容生态也将面临全面3D化。
APP将不再局限于二维世界,图源:苹果官网
苹果可以直接从网页中摘取3D内容到现实环境中,图源:苹果官网
二、全新的三维内容应用生态
苹果、微软、谷歌、Meta等花费十余年时间研发,就是为了让人们带个笨重的头显,来看二维的图片、视频的吗?AR/VR主要应用是看二维的图片、视频吗?
2022年12月,亚马逊首席技术官Werner Vogels:
创新快速增长的领域是空间计算,互联网上的静态2D产品图片将成为过去,取而代之的是3D模型,3D内容很快就会像视频一样普及。3D对象和环境将像你今天最喜欢的社交媒体短视频一样容易创建和使用。你可以拿起、旋转这些模型并将其放置在客厅,就像你今天在网页浏览器中看到的那样自然。一盏虚拟灯不仅会放置在您客厅的地板上,你还将可以打开和关闭它,实时观察环境光如何与您的虚拟家具互动,并了解它对你能源消耗的影响。
2018年,Oculus种子投资者Castle:
AR将需要巨大的数据集来传输。这包括高质量的3D模型,在低功率设备之间来回传输,以及可能超过无线设施的工作范围。这一挑战为技术和通信协议的改进提供了巨大的机会。该行业还将要求大规模实现真实世界物品的无缝数字化。零售将被增强现实/虚拟现实技术改变。就像消费者不会购买没有产品照片的电子商务产品一样,我们最终将生活在一个消费者将会与他们感兴趣的产品的3D模型互动的世界里。
2017年,优酷创始人、阿里巴巴大文娱主席古永锵
10年后,人们无论在路上、办公室还是家里的任何场景,都有可能将体验到360°的3D内容。
苹果构建起的新生态体系,是以三维内容为主的虚拟与现实的融合交互。三维内容交互,将成为人们日常应用,无处不在,是新一代互联网生态体系。整个计算机系统,将使人类现实生活在效率、体验上大幅提升。
三维内容交互与娱乐是核心,图源:网络
苹果新设备主要开发3D内容APP,图源:苹果官网
(一)游戏
游戏行业之前主要是基于二维平面的手机游戏、电脑游戏,里面部分采用3D数据,而苹果生态体系下,将是虚实融合、强调全方位、沉浸性的3D-AR游戏体验,其3D内容也与之前手机端的2D游戏、“3D”游戏有着本质区别。
苹果AR游戏展示,图源:苹果官网
苹果AR游戏-国际象棋,图源:苹果官网
苹果展示的3D保龄球交互,视频来源:苹果官网
(二)电商
苹果一直都看好3D-AR电商在其生态体系、Vision Pro的应用。苹果在2017年发布ARkit时,就与宜家合作推进3D-AR电商。随着Vision Pro的推出,软件功能的不断完善,3D-AR电商会逐渐成为主流电商模式。
京东推出天工计划,吸引全球最多的3D数字化团队。2016年,京东发布VR/AR战略,开始构建商品3D数据,吸引全球100多支3D数字化技术团队。2017年4月,京东发布天工计划1.0,同时发起了人工智能3D建模大赛,意图选拔低成本、高质量、高效率的自动化建模团队。2017年12月,重点是打造AR开放平台,加快商品的三维化展示进程。2018年5月,京东“天工计划”正式升级至3.0阶段,致力于开发AR终端解决方案。
阿里巴巴AR-GO,打造“造物神”计划。阿里巴巴2017年尝试AR,AR购物AR-GO首次出现在2017年2月的天猫家装节中,消费者可以将各类家具以1:1的比例摆放在自己家中,查看家装实景效果。2017年7月,淘宝购物节直接使用了AR购物直播。与京东类似,阿里推出“造物者”计划探索商品三维建模方案。2020年5月,天猫618宣布开启3D购物时代,首次将3D购物技术大规模应用于宜家等100个商业体。
亚马逊AR View,搭建AR应用场景。2017年11月2日,亚马逊推出名为 AR View 的新功能。AR View它可以在客户订购产品之前向客户展示该产品在家中摆放的3D效果透视图,用户可以对虚拟商品进行移动、旋转、缩放等操作,全方位多角度的预览商品放置后的效果。
此外,2020年广交会应用了3D技术,给采购商带来真实的购物体验。苹果库克2021年9月发布会后表示:AR已经是一种很好的购物方式。
3D商品展示及AR商品展示,图源:网络
苹果曾展示的3D电商,图源:网络
(三)广告
随着3D-AR生态的发展,3D-AR广告将是一种新的形态,将更具有沉浸性和交互性,3D模型将成为其媒介基础。
部分3D数据展示,图源:网络
(四)音乐
苹果在23年WWDC中演示了一款3D-AR应用,可以将虚拟的3D光碟、音乐器械投放在现实环境中,人们用手操作虚拟的光碟,会演奏出惟妙惟肖的音乐。畅享下,后续听周杰伦的歌曲,可以将周杰伦的3D影像投放在现实环境,边跳边唱。
图源:苹果
(五)教育
新的生态体系,对于教育行业有着极大的促进作用。如上地理课,就可以将地球仪投放在现实环境中。上物理课,可以投放处虚拟的实验室进行操作。
AR地球仪,视频来源:苹果官网
(六)工业
工业端主要与数字孪生相结合,可以呈现工厂的内部面貌,展示相关的生产工艺流程。
图源:网络
(七)文博
随着3D/AR生态的发展,博物馆将以3D/AR的形式传播,让文物“活过来”,用户将能在家中体验和参观文物。
苹果与BBC合作的文博,图源:苹果官网
3D文物展示,图源:郑州文物馆
(八)医疗
3D医疗,图源:苹果
(九)家居
宜家推出的《IKEA Place》基于苹果2017年ARkit可以放置单件AR家具和装饰,而《IKEA Studio》基于iPhone 12 Pro和iPhone 12 Pro Max上的激光雷达获得3D房间和测量数据,可以让用户布置整个房间。
宜家《IKEA Place》3D家居摆放,图源:宜家
(十)IP
苹果WWDC期间,展示了部分迪士尼IP的demo,如虚拟3D的米老鼠可以从沙发上跳跃到桌椅上。虚拟的3D城堡、玩家可以在现实环境中进行展示和交互。
迪士尼的3D米老鼠在现实环境,图源:苹果官网
迪士尼3D城堡,图源:苹果官网
三、3D内容—迎来十万亿级市场新蓝海
(一)3D模型是三维内容的基础
现实中,环境空间是三维立体的,所有物体是三维立体的。苹果主打的增强现实、空间计算,在现实环境中投放的必然是与之匹配的三维立体数据,即3D模型。实际上,AR的内容应用(游戏、电商、广告、音乐、教育、工业、文博等)几乎都是与3D模型进行交互,这也是AR的前缀叫3D-AR的原因。
AR的内容应用几乎全是与3D模型交互,图源:B站,苹果官网
(二)互联网生态:“图片、“视频”到“3D”
随着科技的发展、计算机的不断迭代,人机交互经历了从电视、电脑到手机,大众传播介质也经历了“文字-图片-视频”。之前在手机、电脑上有少量3D数据,但二维平面无法发挥3D的沉浸性、强展示、强交互等特点。随着三维的头显普及,互联网生态将面临全面3D化,信息传递的核心介质将会是3D内容,即3D模型。
二维时代向三维时代跨越,图源:网络
传播数据格式的变迁,图源:Adobe
(三)3D内容-未来十万亿级市场
苹果的Vision Pro,其完成度其实高于2007年iPhone,2007年iPhone连复制粘贴功能都未做好,2008年才出现App Store。体验过设备的人均非常看,其2万多元人民币的价格,对于全球海量的富裕人群、中产人士,价格并不算太高。要知道最新的Mac电脑售价都过万元。苹果核心要解决的是产能问题,根据电子产业链规律,良品率的大幅提升在未来几年是大概率事件。
根据高通、IDC估计,2024年XR硬件销售将达57万台,是2021年近5倍。根据ARK预测,AR眼镜将在未来10年快速增长,在C端大规模普及,预计在2030年AR硬件市场将高达1300亿元。
未来XR头显出货量,数据来源:高通、IDC
ARK预测2030年AR硬件市场达到1300亿美元,数据来源:ARK
头显设备之前,3D内容之前仅极少应用于游戏、3D电影中。随着苹果硬件、软件体系的不断迭代,三维内容应用生态的不断拓展,在C端逐渐普及和商用化,将带动大量的3D内容需求。3D内容市场将从小众市场转变成C端消费的数十万亿级市场。预计2026年全球超过5000亿元(头显设备已具备一定规模,大量三维应用出现),2030年达到数十万级别(头显设备像手机一样普及,3D内容应用类似于当前互联网的视频)。
3D内容市场规模预测,数据来源:网络
四、3D内容生产—最大刚需和最大难点
未来十年全新的3D-AR时代,需要十万亿级的以3D模型为基础的3D内容。但目前的二维照相机无法生产三维内容数据,目前主要是依赖专业的3D设备获取。3D内容(3D模型)生产属于全世界最大难题,也是在生态中仅次于头显的核心环节。
3D创作过程,视频来源:Adobe
苹果认为(业内也公认),3D数据是AR生态开发最困难、最昂贵的环节。AR应用基本上是和3D模型进行交互,一个AR应用可能会涉及多个甚至数十个3D模型(如房间里虚拟的植被、虚拟的宠物狗、投放出周杰伦现场唱歌,均是3D模型)。但一个3D模型的内容生产就需要花费数周时间。这也是之前3D游戏、3D电影成本极高的原因。
苹果WWDC2021演讲内容,图源:苹果
全球最大3D内容公司Sketchfab显示,3D模型生产周期在数小时到数天,生产成本平均高达千元以上。根据全球最大、最权威3D数据平台公司Sketchfab数据,3D模型成本在数百美元到数千美元间,生产所需时长从数小时到数天不等。不同的模型、不同的精细度、不同的生产方法,价格和生产时间均不一样。创建3D模型的成本取决于模型的复杂性、质量、以及创建模型的方法。正因为3D模型的高价值和难生产,Sketchfab2021年已被3D引擎公司Epic Games高价收购。
全球生产3D模型的费用,数据来源:Sketchfab
全球生产3D模型的费用,数据来源:Sketchfab
(1)3D 模型的成本——简单的复杂性:40 - 250 美元
(2)3D模型的成本——中等复杂度:180 - 650 美元
(3)3D 模型的成本——非常高的复杂性 > 650 美元
实际上,整个计算机体系由信息输入和信息输出组成。在二维计算机世界中,我们每天使用的照片、电影、电视剧、短视频、直播,应用载体是电视、电脑和手机,而信息输入端是二维照相机技术的高度成熟,只是这个常识容易被人们忽略。
三维内容的生产,是下个十年3D内容生态的信息输入,其重要性仅次于苹果为代表的头显设备。面对着未来十年全球数十万亿级3D内容市场,以及当前面临的技术、商业、成本难题。谁掌握了精度高、还原度高、效率快、成本低的商业化3D数字化技术,谁就掌握了下一个数字世界的生产工具,它将带来无限的商业空间和社会的进步。
春江水暖鸭先知,全球科技巨头均在投入攻关3D内容生产的关键环节,以苹果、微软、谷歌、Meta为代表的全球科技巨头近几年纷纷收购和研发进入3D内容生产领域,中国军团深耕十余年拥有技术和商业优势,这将开启全球科技产业争霸的新篇章。
*声明:本文系用户投稿,非VR陀螺官方稿,谨代表作者个人观点立场,法律问题一切与VR陀螺无关。
投稿/爆料:tougao@youxituoluo.com
稿件/商务合作: 六六(微信 13138755620)
加入行业交流群:六六(微信 13138755620)
元宇宙数字产业服务平台
下载「陀螺科技」APP,获取前沿深度元宇宙讯息