芯片采购,IC采购,芯片采购平台
芯片
每日新闻头条
NVIDIA通过人工智能 将2D平面照片转换为3D立体场景
(2024年6月29日更新)

75年前,人们用宝丽来 (Polaroid ) 当相机拍摄世界上第一张实时成像照片时,它是一张逼真的照片 2D 快速捕捉图像 3D 世界画面的创举。如今,人工智能 (AI) 研究人员反过来,在几秒钟内将一组静态图像变成数字 3D 场景。

芯片采购网专注于整合国内外授权IC代理商现货资源,芯片库存实时查询,行业价格合理,采购方便IC芯片,国内专业芯片采购平台

NVIDIA Research 通过人工智能,它将在间 2D 平面照片变成 3D 立体场景


这叫逆向渲染 (inverse rendering) 使用过程 AI 估计光线在现实世界中的表现,使研究人员能够从不同角度拍摄少量光线 2D 影像来重建 3D 场景。NVIDIA Research 该团队开发了一种几乎可以在瞬间完成任务的方法,是第一个将超高速神经网络训练与快速渲染相结合的模型之一。
NVIDIA 将该方法应用于神经辐射场 (Neural Radiance Fields;NeRF) 在热门新技术上创造 Instant NeRF 这是当今渲染速度最快的 NeRF 在某些情况下,技术的速度可以提高超过 1,000 倍。几十张静态照片可以在几秒钟内完成训练模型,再加上拍摄角度的数据,可以在几十毫秒内渲染出来 3D 场景。
NVIDIA 绘图研究部副总裁 David Luebke 表示:「如果说传统的多边形网格是这样的话 3D 表达就像向量图,所以 NeRF 就像位图一样,它们会从物体或场景中密集捕捉光线。从这个意义上说,Instant NeRF 对 3D 不亚于数字相机和 JPEG 压缩技术对 2D 摄影的重要性可以大大提高 3D 速度、共享的速度、便利性和范围。」
在 NVIDIA GTC 会议议程中显示 Instant NeRF,可用于为虚拟世界建立化身或场景 3D 拍摄视频会议的参与者和环境,或者为 3D 重建场景的数字地图。
NVIDIA Research 为了向早期的宝丽致敬,团队重现了安迪。 (Andy Warhol) 拍摄实时成像照片的经典照片,使用 Instant NeRF 将其转变为 3D 场景。
NeRF是什么?
NeRF 根据输入组 2D 图像,使用神经网络来表达和渲染现实 3D 场景。
在投资前收集数据 NeRF 这有点像红毯上的摄影师试图从各个角度拍摄名人的华丽衣服,而神经网络需要数十张照片,以及每张照片的相机位置。
如果场景中的人或物体移动,拍照越快越好。如果你在拍摄 2D 人或物体在图像过程中移动过多,AI 会产生模糊 3D 场景。
基本上,NeRF 在这个时候,它将填补空白,训练一个小的神经网络, 3D 空间中任何一点辐射到任何方向的光颜色都可以重建场景。该技术甚至可以解决一些照片中的物体被其他照片中的柱子和其他障碍物覆盖的问题。
利用 Instant NeRF 渲染速度提高1000倍
人类自然会根据一些图片来估计物体的深度和外观,但这对 AI 这是一项困难的任务。
根据图片的复杂性和分辨率,用传统的方法建立一个 3D 场景需要几个小时甚至更长时间。 AI 加快处理速度。早期开发 NeRF 模型可以在几分钟内渲染出无伪影的清晰场景,但训练还需要几个小时。
然而,Instant NeRF 但渲染时间大大缩短,其原因 NVIDIA 所开发出的 Multi-resolution Hash Encoding 基于技术,可以优化调整这项技术 NVIDIA GPU 高效运行。通过新的输入编码方法,研究人员可以利用高速运行的微神经网络创造高质量的结果。
使用研究人员 NVIDIA CUDA 工具套件与 Tiny CUDA 神经网络函U-Blox代理开发这个模型的模型。这个小神经网络可以单一 NVIDIA GPU 训练和操作,搭载 NVIDIA Tensor 核心显示适配器运行速度最高。
该技术可用于拍摄物理环境物体 2D 照片或电影通过训练机器人和自动驾驶汽车来了解这些物体的大小和形状。建筑业和娱乐业也可以使用该技术快速为实体环境建立数字图片,创作者可以使用它进行修改和构建。
除了 NeRF,NVIDIA 研究人员还在探索如何使用这种输入编码技术来加速多项处理 AI 该领域的问题包括加强学习、语言翻译和一般的深度学习算法。

芯片采购网|IC采购|IC代理商 - 国内专业的芯片采购平台
芯片采购网专注整合国内外授权IC代理商的现货资源,轻松采购IC芯片,是国内专业的芯片采购平台