数字人、虚拟人、数字替身区别是什么?
2021-03-29 15:02:14  来源:CG世界   点击:

文章来源:CG世界微信公众号

       随着计算机图形技术、AI技术、实时渲染等应用的成熟,如今数字人或称为虚拟人已经无处不在。它们已经成为了当下及未来几年的主要趋势之一,特别是在虚拟偶像、虚拟制作栏目的推动下,数字人及其人机交互将得到更多的变革与重塑。
 
 
       在开始聊今天的话题之前,我们不妨先来说说目前数字人领域的研究背景。如果你经常关注Epic Game在虚幻引擎发布的数字人示例,你肯定知道Mike的高保真数字人类案例。
 
 
       那个项目其实是迈克·西莫(Mike Seymour)的数字替身形象,迈克本人是数字人领域的长期研究专家和作家,他的工作履历包括:Sony Pictures Imageworks(索尼图像工作室)、好莱坞制作公司Skydance Media、专注于机器人&人工智能的Brud公司以及目前被Epic Game收购的数字人技术开发商3Lateral。
 
 
       在2018年举行了一场TED Talk ,迈克设想了对话式互动数字人的技术核心及未来应用,它能解决人际交往社会中的老年人、残障人士或困难户的关怀与辅助问题。“表情是情感的杰出传播者,并且情感的力量是十分强大的。我想通过给技术附上面孔来改善未来的世界。在这之前我们必须意识到表情的力量、影响力、情感力及其说服力。”————迈克·西摩
 
 
       在TED上,迈克还展示了利用摄影机扫描脸部、AI面部视觉捕捉、实时引擎来生成数字人的全过程, 他认为数字人的应用领域非常广泛,包括:健康、教育、社交等,并有包括Epic Game、Pinscreen等公司致力于此。这里提一下Pinscreen公司的CEO,人称“杀马特” 教授的黎颢(Hao Li),他也是一位数字人领域顶尖的大咖。他曾在好莱坞知名制片人乔治·卢卡斯任影视特效技术制作专家,曾为《霍比特人:五军之战》、《速度与激情7》、《银翼杀手2049》等影片提供视觉特效技术支持。2014年夏加入南加州大学(USC)任计算机科学助理教授。
 
 
       以上公司的技术成果都在不断推高数字人的讨论和创业投资热度,但在喧嚣之下,你是否清楚下面这些容易混淆的概念?什么是数字人、虚拟助理(virtual assistants)、虚拟网红(virtual influencers)、AI换脸(deepfakes)、机器人以及它们的区别是什么?
 
 
      下面我们将从虚拟人、数字人、数字替身(digital doubles)三层面来聊聊它们的区别:
 
什么是数字人?
 
       什么是数字人?
 
       简而言之,数字人就是逼真的3D人体模型。如果你不熟悉CGI,则3D模型你可以理解为在游戏或电影中经常看到的数字木偶假人。更准确地说,数字人是一个复杂的3D人体模型,它利用最新开发的高端功能在外观(皮肤着色或毛发梳理上)和运动(准确的绑定和动画)方面产生逼真的效果。
 
 
       从定义上看,数字人是趋近于真实的,它跟我们在很多资产商城里可以便宜买到的角色模型不同,它需要尽可能的逼真。比如可以通过使用先进的渲染功能(例如高级着色器或SSS次表面散射材质来实现。要实现数字人惊人逼真的效果,离不开那些3D艺术家和技术指导(TD)行业先驱。
 
       是不是所有3D人体模型都是“数字人”呢?

       
为什么我们不能随便将任何3D人类模型称为数字人呢?首先,“数字人”是一种新趋势,与照片写实技术的突破密切相关,而3D人类模型已经存在了很长时间。事实上,早在1976年的电影《未来世界》中就出现了3D的人脸,但数字人类真正受到关注则是在2015年,集结了数字人联盟下一群行业专家的努力。
 
 
      在2010年之前(尤其是在电影视效VFX之外的行业),无论是在设计还是其他行业层面来说,大多数3D人体模型都要求写实是不现实的。由于之前硬件限制,实时图形渲染必须使用低分辨率的资源,动画电影通常采用风格化的卡通形象。如果我们将这些都纳入进数字人的范畴,则它的涵义将仅限于“3D人形”的概念,而无法成为一种新的趋势和创新。
 
 
       另一个重要的区别是,数字人是结构化的3D模型,其中不包括AI换脸或初始三维扫描的成果。对于不熟悉3D管线的人来说,“结构化”意味着其数据已经组织好,并且已经经历了使其“可以投入生产”的某些步骤。相反,因为用户无法完全控制3D对象,AI换脸或初步的三维扫描是非结构化的。
 
 
       数字人的制作需要经历一些列生产管线(ProductionPipeline),期间3D艺术家会负责它的重新拓扑、纹理化和绑定,以确保可以在制作中使用。非结构化扫描除了按原样显示外观外不能直接拿来制作,尽管4D捕获可能会改变这一事实(比如上文提到的DI4D的4D面捕方案)。
 
图片
 
什么是虚拟人?
 
       虚拟人,数字人,区别是什么?
 
       上面这两个术语通常可以互换使用。它们都是非常新的趋势概念,尽管数字人类的概念想法早在1980年代的科幻小说里就得到了普及,包括虚拟演员、合成人、数字克隆等词汇。
 
 
       概括地说,如果数字人是逼真的3D模型,则虚拟人将接近于人类自身。“虚拟”一词毕竟意味着这个人几乎和你我一样真实。它考虑了所说的人的职业、个性和故事。数字人是复杂高端昂贵的3D资产,而虚拟人可以是助手、演员、网红,简而言之就是有工作的数字人。当然有人可能会辩称,并非所有虚拟人都是数字人,有些人可能是风格化的人物或卡通人物形象。
 
 
       数字人和虚拟人的重要划分来自于虚拟人从3D资产转化成“活生生”的人类的层面。数字人更偏向于资产,而虚拟人还要考虑它的应用场景。此外,虚拟人常常集合在某个软件中,通过某一某块业务的熟练或敏锐度来完成特定的服务目的。
 
 
       虚拟人可以是虚拟助手服务人员或成为一名虚拟网红。他们的目的可能是充当你的IT中台工程师;你的第一个HR联系人或成为你在Instagram上的冒险伙伴。但最重要的是,它们是需要集成的,无论是在软件中、在社交媒体上还是在某个故事中。考虑到高端3D人体模型的复杂程度,集成是一件非常棘手的事情。
 
虚拟人和人工智能
 
       显然,虚拟人与人工智能紧密相关,所有声称致力于虚拟人的公司也常常伴有不同程度的AI专业知识。一些公司甚至将AI视为其主要方向比如虚拟助手Amelia,为企业定制的人工智能平台。
 
 
       另一方面,在像Brud或Diigitals这样的社交媒体上运作的虚拟助理,更多是在讲故事和交流,并未直接使用人工智能技术。


       但是,即使是还没有人工智能需求的公司,将来也很有可能会使用它。人工智能是可扩展性的关键,而可扩展性可以将数字人趋势转变为蓬勃发展的行业。当然,还有很长的路要走,尤其是虚拟人的情感动作和反应。即使我们能够让虚拟人执行某些任务,他们仍然缺乏人类独特的情感表达能力。
 
数字替身
 
       数字人或虚拟人通常具有自己的身份。相反,数字替身是真实人类的复制品,不只是名人。它不是要创建一个随机的Avatar木偶,也不是从头开始设计一个人,而是要尽可能忠实地还原公众人物的外观和表情。他们的背景和法律含义有所不同。
 
 
       数字替身和数字群演的区别在于,它不是根据未知三维扫描对象且需要被修饰。它们的概念可能会混淆,因为许多已知角色背后的扫描对象都是不出名的普通人,他们有时甚至在不知不觉中出售了自己的肖像权。但是,我们不应该将这些情况视为数字替身,因为在此过程中原始“主人”的身份已被“清除”。
 
       视觉特效和游戏中的数字替身
 
       数字替身大部分出现在电影的视效部分中,通常他们的应用包括:面部替换,数字特技替身,生物类型变换或体征变换,例如电影《本杰明·巴顿奇事》中本杰明·巴顿的衰老特效和《爱尔兰人》的年轻版替身。
 
 
       特效公司MPC曾在《银翼杀手2049》中成功还原除了1984版本的女主瑞秋,当时的女演员肖恩·杨(Sean Young)在拍摄第二部时已经50多岁了,特效团队扫描了她的头部模型,获得了准确的头骨,然后将建模人员根据当年瑞秋表演片段的参考,制作了一个真实的数字替身。
 
 
       视觉特效行业并不是唯一涉足数字替身的行业。随着视频游戏和实时技术逐渐变得足够强大,再现名人也变得不再遥不可及。之前的体育游戏虽然大量出现了数字替身,但由于硬件限制,真实感有限。但经过很长时间的行业更新换代后,诸如像基努·里维斯(Keanu Reeves)出现在《赛博朋克2077》;诺曼·里德斯(NormanReedus)成为《死亡搁浅》里的主角;马克·哈米尔(Mark Hamill)、吉莉安·安德森(Gillian Anderson)和亨利·卡维尔(Henry Cavill)出现在游戏《星际公民》等数字替身案例变得越来越普遍。
 
 
       围绕数字替身的法律和道德问题
 
       简单的数字人和数字替身之间的区别主要在法律含义。就数字人而言,其图像版权通常位于灰色地带,并可以随时通过建模软件进行改变。这可能会引起争议,因为3D模型与静态图片有很大不同,完整复制的可能性几乎没有。当公司从头开始创建数字人时,它可以规避任何棘手的法律问题,而数字替身不可避免地会面临这些问题。其中,部分虚拟人也涉及到了同样的问题,比如明星个人的专属虚拟人形象,虽然不属于数字替身范畴,但同样会受到版权和法律的约束。
 
 
       说到法律的灰色地带,道德问题呢?数字替身在这方面引发了许多有趣的讨论。使演员复活并让其职业生涯永恒不是一件新鲜事,在电影《星球大战:盗贼1》中,彼得·库兴(PeterCushing)扮演塔金总督再一次出现在了观众面前。想想詹姆斯·迪恩(James Dean,已故经典“美式帅哥”形象演员)经过数字替身复活后抢走了瑞安·高斯林(Ryan Gosling)的饭碗,也不是完全不可能。
 

 
AI换脸(Deepfakes)
 
       AI换脸=数字人吗?
 
       从词汇来看,那完全是两件不同的事情?但其经常被联系在一起,要归咎于以下层面:两者常被一起拿来炒作人工智能及一些相关领域,在某种程度上,它们都创造了可控制的“伪造人类”。
 

 
       但是,关键的区别在于,数字人是3D模型,这意味着它们是结构化数据包,而AI换脸是神经网络的结果,几乎无法控制结果。此外,AI换脸是图像,以2D格式生成,而数字人则能够放置于3D场景中并与该场景相关的各种软件和硬件相连。这意味着,数字人目前所能达到的运动范围和潜力远远超过了一次AI换脸。                                                                                      
 
       数字人和AI换脸孰优孰劣?
 
       完全操纵的数字人是对人的表情、微表情和解剖学上正确运动的完整模拟。它并不是对2D产生的最终结果进行假拟合,它是一个完整的模拟,它可以复制头骨、肌肉特定皮肤区域脂肪垫和解剖学上正确的关节。这种准确性是捕捉人类表现精细细节的关键。一方面,AI换脸只能执行经过训练后才能执行的操作,并且通常只能提供“足够接近”的结果,只是在病毒般视频传播的背景下令人印象深刻,但在电影中无法使用;另一方面,数字人几乎可以做任何事情,它可以翻白眼、假笑、  大笑、诅咒你、受到恐吓而转身逃跑。
       总而言之,数字人是可用于生产的资产,是使用最先进技术的人偶,可用于几乎任何领域,而AI换脸是算法的结果,该算法只会输出一帧一帧经过训练的内容。此外,数字人可以利用基于物理的渲染和技术,例如虚幻引擎的实时毛发模拟。当然,前面说的那些并不意味着AI换脸一无是处,相反,它的核心技术远比我们到目前用到的有潜力。
 
 
       AI换脸的潜在影响及潜力是巨大的,尤其是当有一天其真实性可以跟3D模型相匹配时。我们甚至可以想象,有一天类似的技术将取代3D建模。毕竟,计算机图形学世界中最重要的是结果,而不是如何实现。
 
不断变化中的技术和概念
    
       数字人技术无疑会吸引越来越多的热度和目光。这是一个不断创新的领域,但同时在过程中无法避免一些误区和理解混乱。定义一个创新领域中的新概念是具有挑战性的,甚至可能是徒劳的尝试,因为这一切都在高速发展和变化之中。
 
 
       尽管如此,这项工作还是富有成果的,因为这些词汇本身并不像它们所代表的网络概念那么重要。这里唯一可以明确结论是,数字人并不是一个同质的大集合概念,在数字人领域内也会发展出截然不同的项目和挑战。虚拟人类的历史仍在酝酿之中,很高兴我们能够一起见证它的发展。

上一篇:好看又好玩的照明设计,灯具原来还可以这样!
下一篇:最后一页