用2D图像生成3D模型,微软新AI模型或成游戏业福音

澎湃新闻 2020-03-09 21:13
将2D图像转换为3D图像,对于视频游戏开发人员、电子商务公司、动画公司来说,至关重要,但这并不容易。包括Facebook,英伟达等科技巨头的人工智能(AI)研究实验室,以及一些初创公司都在这个领域里不断探索。
近日,微软研究院(Microsoft Research)的研究团队发表了一篇预印论文,他们在论文中详细介绍了一个新的AI框架,该框架采用“可缩放”训练技术,可将2D图像进行3D形状的模拟生成。研究人员表示,在使用2D图像进行训练时,该框架始终可以比现有的模型生成效果更好的3D形状,这对于游戏开发、视频制作、动画等领域是一个极佳的自动化工具。
微软AI模型生成的3D沙发、椅子和浴缸
通常来说,一个模型框架要将2D转换为3D图像,需要通过栅格化处理来进行微分步骤渲染,因此,过去研究人员在该领域的努力都专注于开发定制渲染模型。然而,通过此类模型处理的图像会显得不够真实自然,也不适合用于生成游戏以及图形产业的工业效果图。
微软团队则是使用了工业渲染器,这个渲染器可以根据显示数据来生成图像。此外,研究人员还训练了3D形状生成模型,以便渲染形状,并生成与2D数据集分布相匹配的图像。换句话说,这是一种新颖的代理神经渲染器,可以直接渲染由3D形状生成模型生成的连续体素网格。
在实验过程中,研究团队在上述3D形状生成模型中采用了3D卷积GAN架构。GAN又称为生成式对抗网络,是一个由两部分组成的AI模型,它可以基于3D模型生成的数据集和真实的数据集,合成来自不同对象类别的图像,并在整个训练过程中从不同角度进行渲染。
微软AI模型生成的3D蘑菇图像
此外,研发人员在论文中表示,它们的新方法还充分利用了2D照片中光照和阴影的信息,具体而言,是利用表面之间的曝光差值,进行检测凹面和凸面,以及内部结构,从而判断物体三维物体的中心,从而实现更好的模拟训练,生成更逼真的3D模型。
据研究人员介绍,他们的下一步计划是将整套方法整合出一个相对完整的系统,将颜色、材料、光照等细节统统加入进来,从而打造一个“更为全面”真实照片转换三维模型的数据集。