虚拟世界|从小众到流行:技术将把虚拟世界带向何方?

■谭平
◎编者按:
元宇宙——这个由“meta”(元)与“universe”(宇宙)组合而成的Metaverse,成为时下互联网新宠 。近日美国社交媒体巨头脸书(Facebook)宣布更名为“元”(Meta),其高调入局,更是给元宇宙添了一把火 。然而,如何支撑或构建元宇宙,目前还是未知 。
近日,阿里达摩院在云栖大会上宣布成立XR实验室作为元宇宙等虚拟世界“真实化”的手段 。虚拟现实(VR)、增强现实(AR)、混合现实(MR)等技术未来将如何发展?且看阿里达摩院XR实验室负责人如何解读 。
当谈论虚拟现实(VR)、增强现实(AR)的时候,我们到底在谈什么?新风口?新概念?新技术?新名词?从技术人的视角来看,这是技术累积的量变引发的 。沉浸感体验的一个技术基础是对海量场景、物体、人物进行三维建模并渲染,属于计算机视觉和计算机图形学的交叉领域,曾经是一个相当小众的领域 。
二十年前,我在选择这一研究方向时,这个领域并不像今天这般吸引眼球,入门非常辛苦,不但要学很复杂的数学、物理,发表一篇论文都要写上万行代码,甚至还需要在实验室的暗室里面动手搭设备、拍数据,出成果的周期很长 。
二十年过去,技术已进步太多:三维模型数据比过去丰富得多,渲染效果也更逼真、更快速 。三维模型可以由艺术家手工设计出来,也可以通过对真实物体、场景进行三维重建得到 。并且,重建结果的细节更丰富,超过了手工设计 。
得益于这些技术进步,VR/AR、“数字孪生”等虚拟世界有了实现的基础条件 。
现如今,国内在这一领域已进入世界的前列,微软亚洲研究院的童欣、浙江大学的周昆等都是这个领域全球知名的学者 。阿里达摩院也调集全球上百位科学家,成立了“XR实验室” 。
“照片般的真实感”
我曾经担任国际计算机视觉与模式识别会议、计算机视觉会议和SIGGRAPH的领域主席,也担任两本学术杂志TPAMI和IJCV的副主编 。回顾三维重建和渲染方向的进展,很多研究都是寻求“照片般的真实感” 。
【虚拟世界|从小众到流行:技术将把虚拟世界带向何方?】真实感渲染中的一个基本问题,就是研究光线在物体表面的反射现象 。这是人类视觉感知的基础,也是我在博士生阶段的第一个课题 。在学术界,有各种各样的反射模型来描述光的反射现象 。但有个问题一直没解决:在不同尺度上,物体的反射特性是不一样的 。
比如,从10厘米左右的距离观察,一颗沙粒表面的石英片是像玻璃一般的高反射表面,对应的反射函数是一个狄拉克函数;而从100米外看,一大片沙则是哑光、蓬松的,接近于朗伯表面,对应的反射函数是一个常数函数 。
我的导师曾希望我能够建立一个统一的反射模型,把不同尺度的反射现象都统一起来 。这是一个极其困难的问题 。我花了几乎两年时间,才在这个问题上获得突破,并在欧洲图形学会的渲染分会上发表了博士阶段的第一篇论文 。
反射模型是偏光学领域的问题,此后大家开始研究几何层面的问题 。当时几何建模技术主要局限在对简单规则物体的建模,如汽车、家具等 。如何对自然界的复杂物体建模依然未知 。自然界物体的几何形状非常复杂,但往往又遵从简单的数学规则,比如斐波那契数列、分形等 。数学家们很早就注意到了这些现象,加拿大一位科学家写过一本书叫《植物的算法之美》,专门研究这一问题 。
在这个问题上,我与合作者用了三年时间,提出了第一个从照片构建植物三角网格模型的方法,在图形学领域最重要的学术会议SIGGRAPH上发表了一系列基于图像三维建模的论文 。建模对象也从树木、盆栽扩大到建筑、街道,甚至整个城市 。这获得了当时评委的称赞,“真是电影特效级的质量” 。今天许多从航拍图像构建城市三维地图的工作就是基于类似的技术框架 。

推荐阅读