微信公众号 VR陀螺微信公众号
手机端
手机端扫码访问

游戏评测

推广

  • 最新资讯

微软最新技术论文：2D图像直接转3D详解
发布时间：2020-03-11 11:22  |  标签：
在VR、AR开发中，3D建模需要耗费大量的人力和精力，而且建模也是成本最高的部分。在社交应用中，如果能够实现与真人“完全一样”的虚拟人物模型，那虚拟现实也就不远了。
 
近年来，使用可见光、深度传感器进行建模的方式逐渐被应用起来，但更多公司在追求更简单、成本更低的方式，比如直接用2D图片进行3D建模。包括Facebook，英伟达等科技巨头的人工智能（AI）研究实验室，以及一些初创公司都在这个领域里不断探索。
 
近日，微软研究院（Microsoft Research）的研究团队发表了一篇预印论文，他们在论文中详细介绍了一个新的AI框架，该框架采用“可缩放”训练技术，可将2D图像进行3D形状的模拟生成。研究人员表示，在使用2D图像进行训练时，该框架始终可以比现有的模型生成效果更好的3D形状，这对于游戏开发、视频制作、动画等领域是一个极佳的自动化工具。
 
（在VR陀螺微信公众号后台回复“微软”可获得论文原文。）
 

微软AI模型生成的3D沙发、椅子和浴缸

 

通常来说，一个模型框架要将2D转换为3D图像，需要通过栅格化处理来进行微分步骤渲染，因此，过去研究人员在该领域的努力都专注于开发定制渲染模型。然而，通过此类模型处理的图像会显得不够真实自然，也不适合用于生成游戏以及图形产业的工业效果图。
 
微软团队则是使用了工业渲染器，这个渲染器可以根据显示数据来生成图像。此外，研究人员还训练了3D形状生成模型，以便渲染形状，并生成与2D数据集分布相匹配的图像。换句话说，这是一种新颖的代理神经渲染器，可以直接渲染由3D形状生成模型生成的连续体素网格。
 
在实验过程中，研究团队在上述3D形状生成模型中采用了3D卷积GAN架构。GAN又称为生成式对抗网络，是一个由两部分组成的AI模型，它可以基于3D模型生成的数据集和真实的数据集，合成来自不同对象类别的图像，并在整个训练过程中从不同角度进行渲染。

 

微软AI模型生成的3D蘑菇图像

 

此外，研发人员在论文中表示，它们的新方法还充分利用了2D照片中光照和阴影的信息，具体而言，是利用表面之间的曝光差值，进行检测凹面和凸面，以及内部结构，从而判断物体三维物体的中心，从而实现更好的模拟训练，生成更逼真的3D模型。
 
据研究人员介绍，他们的下一步计划是将整套方法整合出一个相对完整的系统，将颜色、材料、光照等细节统统加入进来，从而打造一个“更为全面”真实照片转换三维模型的数据集。
 
来源：澎湃新闻
 
 

  第一时间了解XR资讯  

  关注VR陀螺官网（vrtuoluo.cn）

投稿/爆料：tougao@youxituoluo.com

稿件/商务合作： 六六（微信 13138755620）

加入行业交流群：六六（微信 13138755620）

元宇宙数字产业服务平台

下载「陀螺科技」APP，获取前沿深度元宇宙讯息

上一篇： 日报：索尼公布XR娱乐综合项目Project Lindbergh；AR初创公司V-Labs获50万法郎天使轮融资

下一篇： 5G XR产业论坛暨XR终端生态联盟活动——虚实无界，共振未来！

你可能感兴趣的文章：

Quest快速连接Windows 11功能将于12月上线

微软发布模拟飞行2024，VR渐成模拟游戏主流外设

微软将在2027年停止HoloLens 2更新支持

Anduril Industries宣布将与微软合作，推动军用AR眼镜发展

微软与三星显示签署“数十万”级Micro-OLED合同，Vision Pro或再赢劲敌

微软、索尼、三维家等公司宣布加入OpenUSD联盟

推广

热门文章排行

1 售价2499元，Rokid与暴龙联名产品Rokid Glasses正式发布
2 大朋VR官宣入局AI眼镜赛道，自研AI眼镜即将推出
3 VR游戏周报 | 两款创意MR射击新作上线，《星河战队》推出VR改编游戏
4 Looktech发布AI智能眼镜：可声纹解锁的随身AI助手，众筹价199美元起
5 Schell Games CEO谈VR的历史、MR的崛起和数字世界的潜力
6 创业十年，Rokid提前做出了「Ray-Ban Meta下一代」
7 Meta分享AR眼镜Project Aria案例，并开放ARK研究套件申请
8 苹果不愿承认Vision Pro佩戴起来很困难
9 第九届金陀螺奖 | 中兴通讯 XR产品总经理 周琴芬确认担任本届评委
10 “隐身”三年，曾被腾讯音乐看好的Wave VR重回虚拟演出舞台

推荐专题

人物专访

更多
Snap CEO：AR眼镜广泛落地时间点可能比我们想象的还要快 11-20
Schell Games CEO谈VR的历史、MR的崛起和数字世界的潜力 11-16
库克谈Vision Pro：它不是大众市场产品，但一切都会好起来 10-22
对话《Beat Saber》投资人Tipatat：3D应用生态正成为XR行业的下一个风口 10-06
对话Niantic高级副总裁：从手机到AR再到MR，LBS AR游戏还需要等待几年 09-30
专访扎克伯格：关于Orion的由来以及Ray-Ban Meta的未来 09-27
三问AI眼镜：下一个Ray-Ban Meta由谁来造 08-30
游戏大厂做VC，正批量孵化XR独角兽 08-27
对标Ray-Ban Meta，这家AR企业有话要说 08-09
Meta VR首席科学家：行业发展落后于希望 07-31

数据报告

更多
CINNO Research：2024Q3国内消费级VR/AR市场销量共计10.8万台 11-15
2024年10月VR/AR行业月报丨VR陀螺 11-14
知名VR游戏工作室透露PS VR2出货量约200万台 10-18
2024年9月VR/AR行业月报丨VR陀螺 10-16
日本雅虎购物流行榜单：VR销售额同比增长5.2倍，位居榜首 08-23
TrendForce：2030年AR市场LEDoS渗透率将达44% 08-20
TrendForce：2030年VR/MR设备出货量将达到3730万台 08-06
得益于Quest 3，Q2季度Reality Labs收入持续同比增长 08-01
陀螺研究院发布《2024中国XR开发者报告》 07-27
Omdia：近眼显示屏有望在2030年达到达到9290万片 07-17

融资并购

更多
日本创企KOALA Tech获5.7亿日元融资，开发用于XR的高亮度OSLD 11-21
TeamViewer以资金支持RealWear收购AR硬件开发商Almer 11-15
建筑AR软件平台GAMMA AR获Autodesk投资 11-15
Crunchbase数据：2024年元宇宙和XR相关初创公司融资进一步下滑 11-13
Magic Leap创始人再创业，SynthBee融资2000万美元扩展计算智能平台 10-22
3D地图解决方案商Augmodo获530万美元融资 10-14
Infinite Reality收购Web XR创作平台Zappar 10-12
XR云流媒体平台Mawari获得1080万美元投资 10-08
Distance Technologies融资1120万美元，为企业开发裸眼MR技术 09-27
复合材料供应商Pixelligent获汉高公司重大战略投资，将加速XR和下一代显示应用的发展 09-10

官方微信账号:
VR陀螺

投稿
联系VR陀螺
加入行业社群
我要爆料
RSS订阅

友情链接：
FBEC2023暨第八届金陀螺奖 陀螺科技会员 游戏陀螺 陀螺活动 歌尔 高通 vive PICO 雷鸟创新 亚洲电玩通

Copyright © VR陀螺All Rights Reserved. 粤ICP备13090461号