虚拟人物涉及到的面很广，所以需要学习的内容很多，从图像、图形到计算机立体视觉、测量等，都需要有所掌握。

做这个工作，不应该只关心一个知识点，而应该多看一些书，当对特定邻域有不怎么懂的地方，多查几本书，选一个能让自已立马看懂原理的书，才是最重要的，这才是现代化的技术工作工作方法。

计算机图形学基础

制作虚拟人物的一大主流技术是基于3D仿真或是建模，那必须具备一定的计算机图形学知识，这一领域的知识体系复杂、数学理论艰深、技术实验门槛高。对于很多没有这一块经验的同学来说，如何快速掌握这一领域的知识，就成了特别迫切的问题。

现在中文的计算机图形学知识必须看GAMES101: 现代计算机图形学入门这一网络课程，除了与时俱进以外，讲得也特别好，深入浅出。

如果要推荐一本计算机图形学的书籍，那必然首推 Peter Shirley 的《Fundamentals of Computer Graphics》[1]，对应的中文版[2]比较老，但是也是可以对照着阅读。

游戏引擎技术

具备了一定的图形学基础后，因为现在大部分的虚拟人物都是基于游戏引擎来做的，所以对现代游戏引擎技术有一定的了解，也是非常有必要，起码你知道游戏引擎的上限在哪里。

GAMES104：现代游戏引擎：从入门到实践是入门这一领域最好的课程之一，讲得非常详细，认真听完一遍对游戏引擎会有一个根本的了解。游戏引擎首推本课，看完本课，你再找相关的资料看即可。

如果看完了这个课程，需要进一步深入学习，推荐查阅《游戏引擎架构》[3]这本书。

计算机视觉基础

可以说，计算机视觉是虚拟人有关人物驱动、动作捕捉、表情捕捉等一系列关键技术的基础。如果说所有与表现力相关的技术是和图形学有关，那么所有和动作精度、驱动准确度的技术都是和计算机视觉有关。

Stanford CS131 是计算机视觉基础课程，相当于本科生水平，对图像处理、计算机视觉完全没有基础的同学，可以看这个视频好好学习把基础打牢。

教材有需要的话，可以看[4]，绝对的行业大佬著作。

机器学习基础

机器学习也是现代计算机技术的基础，做虚拟人物项目，也同样是一个非常重要的基础技术，在虚拟人物驱动及语义理解等方面，都是需要好好研究一下。

吴恩达的机器学习课程Stanford CS229，是很基础的一门课，讲得也是非常好，值得很打好基础。顺便说一下，吴老师上课真是越来越幽默了，难为这样一个工科大佬还这么用心上课。

深度学习视觉基础

有了计算机图形学、计算机视觉、游戏引擎的基础后，涉及到虚拟人物驱动的一个重要方法是通过视觉来驱动人物动作，而现代很多方法都是使用深度学习视觉来开展的。

Stanford CS231n深度学习计算机视觉，现代有关CNN相关的知识都在这里，聚焦在一些加特定的算法上，尤其是 Deep Learning 相关的图像算法，参考书籍是花书[5]（友情提醒：这本书一定不要看中文版）。在虚拟人制作里，需要用到大量的肢体动作识别等工作。对于这些工作，这是一个很好的起点。

其官方主页还有着非常详细的材料说明，仔细看完这些，比随便乱搜一些东西看，强多了。

计算机立体视觉

Stanford CS231a 比 CS131 更全面、更偏 3D 立体视觉。有关 3D 视觉重建的工作，是虚拟人物里有关人物和场景三维重建的重要能力，那对这一领域必须下决心好好学习。

自然语言处理

自然语言在虚拟人的业务里，扮演了大脑和趣味性的功能。如果需要虚拟人物高可用、高可玩、有用户粘性，那必须在自然语言处理上下功夫。虽然现在已经有了 ChatGPT 这种自然语言处理的巅峰之作，但是依然可能面临需要做出更好的垂直应用。为了优化 ChatGPT，那很重要的一个能力，也是需要对自然语言处理的原理进行理解，才能提出更好的想法。

在虚拟人制作里，对语义的理解非常重要，所以需要对 NLP 做一个系统的学习。Stanford CSS24N 无疑是这一领域公认最好的视频教程。

NLP 相关教材首推《自然语言处理综论》[6]，如果为了更偏动手，则推荐查看[7]这本入门书籍。

情感与色彩处理

正如皮克斯动画工作室联合创始人、总裁艾德·卡特姆[1]说的：“我一直幼稚地以为我才是这部片子的动画师，但其实我没有那种神奇的魔力。我能让物体流畅地运动起来，却不能赋予物体思想。我不能给物体灌输情绪和灵魂，但约翰可以。”。

技术在这里，永远只是起到了部分作用，让虚拟人物形象与生动起来，那就必须要设计师和产品人员的功能。为了赋予人物灵魂，推荐大家阅读《创新公司：皮克斯的启示》[8]和《孵化皮克斯》[9]这两本书，虽然这两本书没有介绍具体的创作虚拟人物情感的方式方法，但是他探讨了其中的精神。

我们需要给我们的虚拟人物，添加一份情感色彩，对美术与色彩的理解，也是需要到位的，这里推荐《色彩与光线: 写实主义绘画指南》[10]这本书。

说明

上面的这些东西，都是要慢慢看，不能着急，有空的时候就慢慢看、系统地看。

学习视频方式的教程，会比较基础但是进度太慢。不过，有一个特别的好处，其中传授的知识固然是其中的一个方面，但是更多还是需要让我们这些没出过国的土包子，看看国外最优秀的大学是怎么上课的，开开眼界，看看别人的大作业是怎么做的，看看别人的教学体系是怎样的。视频的教学会比较慢，只适合完全没有基础的同学看，有基础的同学主要还是找一些上课的气氛。看书始终要来得快一些。

参考文献

[1] S. Marschner and P. Shirley, Fundamentals of computer graphics, Fifth edition. Boca Raton: CRC Press/Taylor & Francis Group, 2022.

[2] P. Shirley, 计算机图形学. 北京: 人民邮电出版社, 2007.

[3] (美)Jason Gregory著;叶劲峰译., 格雷戈瑞 (Gregory, Jason), and 叶劲峰, 游戏引擎架构, 第二版. Beijing: 电子工业出版社, 2019.

[4] R. Szeliski, Computer Vision: Algorithms and Applications, 2nd ed. Cham: Springer International Publishing, 2022. doi: 10.1007/978-3-030-34372-9.

[5] I. Goodfellow, Y. Bengio, and A. Courville, Deep learning. Cambridge, Massachusetts: The MIT Press, 2016.

[6] (美)Daniel Jurafsky, (美)James H. Martin著 ; 冯志伟, 孙乐译., 朱拉夫斯凯., 马丁., 冯志伟., and 孙乐., 自然语言处理综论, Di 2 ban. Beijing: 电子工业出版社, 2018.

[7] (日)斋藤康毅著;陆宇杰译, 斋藤康毅 (1984-), and 陆宇杰, 深度学习进阶: 自然语言处理, Di 1 ban. Beijing: 人民邮电出版社, 2020.

[8] (美)艾德. 卡特姆(Ed Catmull), (美)埃米. 华莱士(Amy Wallace)著 ; 靳婷婷译. and 华莱士., 创新公司: 皮克斯的启示, Di 1 ban. Beijing: 中信出版社, 2015.

[9] (美)劳伦斯·利维(Lawrence Levy), 孵化皮克斯: 从艺术乌托邦到创意帝国的非凡之旅, Di 1 ban. Hang zhou: 浙江大学出版社, 2017.

[10] 格尔尼 (Gurney, James), 色彩与光线: 写实主义绘画指南, 第二版. Beijing: 人民邮电出版社, 2017.

[1] 作为计算机科学家，卡特姆为计算机图形学作出了许多重大的贡献。