首页 财经内容详情
NVIDIA Research致力人工智慧 一瞬间2D照片变3D场景

NVIDIA Research致力人工智慧 一瞬间2D照片变3D场景

分类:财经

网址:

SEO查询: 爱站网 站长工具

点击直达

当人们在75年前使用宝丽来相机拍摄出世界上第一张即时成像照片时,便是一项以逼真2D影像迅速捕捉3D世界画面的创举。时至今日,人工智慧研究人员反将此作法倒转过来,亦即在几秒钟内将一组静态影像变成数位3D场景。

这项称为逆向渲染的过程,利用AI来预估光线在真实世界中的表现,让研究人员能利用从不同角度拍摄的少量2D影像来重建3D场景。NVIDIA Research团队开发出一种方法,几乎能在瞬间内完成这项任务,是同类中首批将超高速神经网路训练与快速渲染相结合的模型之一。

NVIDIA将该方法应用在一种称为神经辐射场的热门新技术上,创造出InstantNeRF这项当今渲染速度最快的NeRF技术,在某些情况下速度可以提升超过1,000倍。用数十张静态照片,便能在几秒钟内完成训练模型,再加上拍摄角度的资料,在几十毫秒内即可渲染出生成的3D场景。

NVIDIA绘图研究部门副总裁David Luebke表示,如果说多边形网格这样的传统3D表现方式像是向量图形,那么NeRF就像是点阵图,它们会密集捕捉光线从物体或场景中辐射出来的方式。从这个意义上来说,Instant NeRF对3D的重要性,不亚于数位相机和JPEG压缩技术对2D摄影的重要性,其可大幅提升3D捕捉与分享的速度、便利性和范围。

在NVIDIA GTC大会议程中展示的Instant NeRF,可用于为虚拟世界建立化身或场景、以3D方式拍摄视讯会议的与会者以及所处环境,或是为3D数位地图重建场景。

NVIDIA Research团队为了向早期的宝丽来照片致敬,重现了安迪.沃荷拍摄即时成像照片的经典照片,利用Instant NeRF将其转变为3D场景。

NeRF会依照输入的一组2D影像,使用神经网路来表现及渲染逼真的3D场景。

收集资料再投入NeRF的做法,有点类似红毯上的摄影师试着从各个角度拍摄名人身上的华丽服装,而神经网路需要有从场景四周多个位置拍摄的数十张照片,以及每张照片的相机位置等资料支援。

,

ETH博彩游戏www.eth888.vip)采用以太坊区块链高度哈希值作为统计数据,ETH博彩游戏数据开源、公平、无任何作弊可能性。

,

场景里的人或物体若移动,拍摄照片的速度则是愈快愈好。要是在拍摄2D影像的过程中,人或物体有过多的移动,AI便会生成模糊的3D场景。

基本上,NeRF在此时会填补空白处,训练一个小型神经网路,预测从3D空间中任何一点朝着任意方向辐射出的光线颜色来重建场景。这项技术甚至能解决当某些照片里的物体被其它照片中的柱子等障碍物遮住时所产生的遮挡问题。

人类天生就会按照一部分所见画面来估算物体的深度和外观,但这对AI来说却是一项高难度的任务。

根据画面的复杂性和解析度,以传统方法建立一个3D场景须花费数小时甚至更长的时间。而利用AI则可加快处理速度。早期开发的NeRF模型在几分钟内便能渲染出无伪影的清晰场景,但仍需数小时进行训练。

然而,Instant NeRF却大幅缩短了渲染时间,其以NVIDIA所开发出的Multi-resolution Hash Encoding技术为基础,而这项经过最佳化调整的技术可以在NVIDIA GPU上高效运行。研究人员透过一种新的输入编码法,可以利用一个高速运行的微型神经网路来创造高品质的结果。

研究人员使用NVIDIA CUDA工具套件与Tiny CUDA神经网路函式库来开发此模型。这个小巧的神经网路可以在单一NVIDIA GPU上进行训练和运行,并在搭载NVIDIA Tensor核心的显示卡上有着最高的运行速度。

这项技术可以用于拍摄实体环境物体的2D照片或影片,以训练机器人和自动驾驶车来了解这些物体的大小及形状。建筑业与娱乐产业也能使用这项技术,快速为实体环境建立数位画面,创作者便能用它来进行修改和构建。

除了NeRF,NVIDIA的研究人员也在探索如何将这种输入编码技术用于加速处理多项AI领域的难题,包括强化学习、语言翻译和通用的深度学习演算法。

foodpanda变装 丽宝乐园吉祥物POPA加入外送战局 沃源首支风机完成安装 助台湾迈向2050净零永续目标
  • USDT交易平台(www.usdt8.vip) @回复Ta

    2022-04-21 00:03:25 

    www.x2w888.com)实时更新发布「bu」最新最快的2020世{shi}界杯南美区赛、2022世界杯会员线路、2022世界杯备用登录网址、2022世界杯手机管理端、2022世界杯(bei)手机版登录网址、2022世界杯皇冠登录网址。来逛逛了

发布评论