虚拟人物涉及到的面很广,所以需要学习的内容很多,从图像、图形到计算机立体视觉、测量等,都需要有所掌握。
做这个工作,不应该只关心一个知识点,而应该多看一些书,当对特定邻域有不怎么懂的地方,多查几本书,选一个能让自已立马看懂原理的书,才是最重要的,这才是现代化的技术工作工作方法。
计算机图形学基础
制作虚拟人物的一大主流技术是基于3D仿真或是建模,那必须具备一定的计算机图形学知识,这一领域的知识体系复杂、数学理论艰深、技术实验门槛高。对于很多没有这一块经验的同学来说,如何快速掌握这一领域的知识,就成了特别迫切的问题。
现在中文的计算机图形学知识必须看GAMES101: 现代计算机图形学入门这一网络课程,除了与时俱进以外,讲得也特别好,深入浅出。
如果要推荐一本计算机图形学的书籍,那必然首推 Peter Shirley 的《Fundamentals of Computer Graphics》[1],对应的中文版[2]比较老,但是也是可以对照着阅读。
游戏引擎技术
具备了一定的图形学基础后,因为现在大部分的虚拟人物都是基于游戏引擎来做的,所以对现代游戏引擎技术有一定的了解,也是非常有必要,起码你知道游戏引擎的上限在哪里。
GAMES104:现代游戏引擎:从入门到实践是入门这一领域最好的课程之一,讲得非常详细,认真听完一遍对游戏引擎会有一个根本的了解。游戏引擎首推本课,看完本课,你再找相关的资料看即可。
如果看完了这个课程,需要进一步深入学习,推荐查阅《游戏引擎架构》[3]这本书。
计算机视觉基础
可以说,计算机视觉是虚拟人有关人物驱动、动作捕捉、表情捕捉等一系列关键技术的基础。如果说所有与表现力相关的技术是和图形学有关,那么所有和动作精度、驱动准确度的技术都是和计算机视觉有关。
Stanford CS131 是计算机视觉基础课程,相当于本科生水平,对图像处理、计算机视觉完全没有基础的同学,可以看这个视频好好学习把基础打牢。
教材有需要的话,可以看[4],绝对的行业大佬著作。
机器学习基础
机器学习也是现代计算机技术的基础,做虚拟人物项目,也同样是一个非常重要的基础技术,在虚拟人物驱动及语义理解等方面,都是需要好好研究一下。
吴恩达的机器学习课程Stanford CS229,是很基础的一门课,讲得也是非常好,值得很打好基础。顺便说一下,吴老师上课真是越来越幽默了,难为这样一个工科大佬还这么用心上课。
深度学习视觉基础
有了计算机图形学、计算机视觉、游戏引擎的基础后,涉及到虚拟人物驱动的一个重要方法是通过视觉来驱动人物动作,而现代很多方法都是使用深度学习视觉来开展的。
Stanford CS231n深度学习计算机视觉,现代有关CNN相关的知识都在这里,聚焦在一些加特定的算法上,尤其是 Deep Learning 相关的图像算法,参考书籍是花书[5](友情提醒:这本书一定不要看中文版)。在虚拟人制作里,需要用到大量的肢体动作识别等工作。对于这些工作,这是一个很好的起点。
其官方主页还有着非常详细的材料说明,仔细看完这些,比随便乱搜一些东西看,强多了。
计算机立体视觉
Stanford CS231a 比 CS131 更全面、更偏 3D 立体视觉。有关 3D 视觉重建的工作,是虚拟人物里有关人物和场景三维重建的重要能力,那对这一领域必须下决心好好学习。
自然语言处理
自然语言在虚拟人的业务里,扮演了大脑和趣味性的功能。如果需要虚拟人物高可用、高可玩、有用户粘性,那必须在自然语言处理上下功夫。虽然现在已经有了 ChatGPT 这种自然语言处理的巅峰之作,但是依然可能面临需要做出更好的垂直应用。为了优化 ChatGPT,那很重要的一个能力,也是需要对自然语言处理的原理进行理解,才能提出更好的想法。
在虚拟人制作里,对语义的理解非常重要,所以需要对 NLP 做一个系统的学习。Stanford CSS24N 无疑是这一领域公认最好的视频教程。
情感与色彩处理
正如皮克斯动画工作室联合创始人、总裁艾德·卡特姆[1]说的:“我一直幼稚地以为我才是这部片子的动画师,但其实我没有那种神奇的魔力。我能让物体流畅地运动起来,却不能赋予物体思想。我不能给物体灌输情绪和灵魂,但约翰可以。”。
技术在这里,永远只是起到了部分作用,让虚拟人物形象与生动起来,那就必须要设计师和产品人员的功能。为了赋予人物灵魂,推荐大家阅读《创新公司:皮克斯的启示》[8]和《孵化皮克斯》[9]这两本书,虽然这两本书没有介绍具体的创作虚拟人物情感的方式方法,但是他探讨了其中的精神。
我们需要给我们的虚拟人物,添加一份情感色彩,对美术与色彩的理解,也是需要到位的,这里推荐《色彩与光线: 写实主义绘画指南》[10]这本书。
说明
上面的这些东西,都是要慢慢看,不能着急,有空的时候就慢慢看、系统地看。
学习视频方式的教程,会比较基础但是进度太慢。不过,有一个特别的好处,其中传授的知识固然是其中的一个方面,但是更多还是需要让我们这些没出过国的土包子,看看国外最优秀的大学是怎么上课的,开开眼界,看看别人的大作业是怎么做的,看看别人的教学体系是怎样的。视频的教学会比较慢,只适合完全没有基础的同学看,有基础的同学主要还是找一些上课的气氛。看书始终要来得快一些。
[1] 作为计算机科学家,卡特姆为计算机图形学作出了许多重大的贡献。