[最新资讯]3D游戏制作常用技巧“法线贴图”原理解析（高级篇）

、概述
上一篇博客，《3D游戏制作常用技巧“法线贴图”原理解析（基础篇）》，讲了法线贴图的基本概念和使用方法。而法线贴图和一般的纹理贴图一样，都需要进行压缩，也需要生成mipmap。但是由于法线贴图存储的是法线信息，压缩和生成mipmap的方法自然会有所变化。
现在已经许多用于法线贴图压缩和生成mipmap的工具，大部分商业游戏引擎也集成了相关方法，只需要点几下鼠标就可以完成。本文仅针对法线贴图的纹理压缩和mipmap的方法进行原理性的说明，至于在具体的工具中如何操作，可以参看相关工具的说明文档。
法线贴图压缩的中文资料还是比较多的，也不太复杂；但是生成mipmap的方法中文资料不多，《Real-Time Rendering 3rd》讲解的比较详细，本文的这部分内容主要来源于这本书，如果想详细了解的，可以看原书，网上有电子版。
2、法线贴图的压缩
传统的jpg等压缩方式解压时间太长，且压缩比不固定，所以在实时渲染中一般采用DXTC及其改进方法，简单来说，就是把4*4的像素当做一个Block，对其进行简化表示，详情参见百科内容点此进入。由于法线贴图存储的数据并不是RGB信息而是法线方向，所以需要在一般纹理压缩的方法的基础上进行一定的改变。
压缩的第一步很简单，由于归一化的法线长度为1，且在切线空间下，法线的z分量不可能为负数，所以只需要存储x和y值即可。本文的压缩方法在这一步压缩的基础上，利用现有的纹理压缩方法，进行进一步压缩。
在支持DirectX10的显卡上，可以使用BC5格式进行压缩。BC5的压缩方法内存情况如图1所示，该格式有两个颜色通道（R和G），每个通道使用两个1Byte的值来表示，每个像素使用3Bit在这两个颜色值之间进行插值。将法线贴图中每个法线的x和y值利用BC5格式进行压缩，如图2所示。对每个Block（16个像素）存储x的最大、小值和y的最大、小值，然后每个像素利用3Bit进行插值，相当于在图2右图所示的8*8区域内取样（为了简化表示，图2只画了4*4点）。

图片:166_17777_8842c3d031c4e67.png

图1 BC5压缩方法

图片:166_17777_1ceabe3b37dcc8c.png

图2法线贴图压缩示意图，右图框内应该是8*8个点，为了画图方便简单表示为4*4
对于不支持DirectX10的显卡，可以使用DXT5格式进行压缩（DXT5为DirectX9.0的纹理压缩格式，如果连DirectX9.0都不支持，建议直接送博物馆），将法线的x和y值存储到纹理的alpha和Green通道即可。之所以是存储到这两个通道，而非其他通道，是因为每个DXT5中每个Block选择的两个参考像素alpha通道有8Bit，RGB通道分别为5、6、5Bit，所以使用alpha和Green通道可以获得较高精度。
3、法线贴图的mipmap
使用一般纹理mipmap方法生成的法线贴图对于漫反射表面基本没问题，但是在镜面表面会导致严重的视觉问题。对于漫反射表面来说，光照的计算公式为l·n，l为光线方向的相反方向，n为法线，l·n1 + l·n2 + l·n3 + l·n4 = l·(n1 + n2 + n3 + n4) / 4，而mipmap则是事先计算(n1 + n2 + n3 + n4) / 4，所以对于漫反射表面，对法线贴图使用传统方式的mipmap基本没问题。为什么是基本没问题而不是完全没问题呢？因为这里存在一个近似，若l·n < 0，则光照值为0（光照不能为负），若将这个因素考虑进去，漫反射表面也会有问题，不过在实际当中这种情况表现不明显，所以可以认为基本没问题。
对于镜面表面来说，当视线偏离反射光线方向的时候，光照强度会急剧下降，反映在公式中是因为其含有cosm(h·n)项（具体公式可以Google），而漫反射光照是线性变化，所以对于镜面表面，不能使用传统方法生成法线贴图的mipmap。法线贴图对于镜面反射的mipmap如图3所示，第一幅图中有4个像素，每个像素有法线和镜面反射波瓣（红色的是法线，周围一圈是镜面反射波瓣，镜面反射波瓣用于表示不同方向的反射强度）。图2中间部分，表示正确的mipmap情况，分别从4个像素合并为2个像素，从两个像素合并为1个像素。而现有的方法中，没有方法可以做到这样的mipmap，所以只能用其他方法进行近似。

图片:166_17777_2b4f962bac9080f.png

图3法线贴图的mipmap示意图
图2的底部左图，是使用一般纹理的mipmap方法对法线进行平均，可以看到这种方法产生出的镜面反射波瓣和正确的镜面反射波瓣差距很大，其根本原因是使用线性方法对非线性的参数进行计算。图2底部图右图，每次在平均法线的同时，改变表面的光泽度（即改变镜面光公式中的m），虽然最终结果与正确的mipmap有一些差距，但是比一般纹理的mipmap的方法要好很多。
所以，对法线贴图的mipmap方法之一，就是在使用一般纹理的mipmap方法对法线进行平均的同时，每张mipmap都必须附带一张光泽贴图（gloss map），记录每个像素点的光泽度（即m），m的计算原则就是让最后的镜面反射波瓣与正确的镜面反射波瓣最接近。当然，还有其他很多方法能得到不错的结果，具体可以参看《Real-Time Rendering 3rd》，或去搜索相关论文。

1、法线贴图基本概念
在制作3D游戏时，常常遇到这样一个问题：一个平面，这个平面在现实中并不是一个“平”面，例如砖墙的表面带有石质浮雕等等。这种情况下如果只是简单的做一个平面，则让人感觉严重失真，如图1所示；而如果用很密集的三角形去表示这类略有凹凸的表面，则性能上大大下降。研究人员发现，人眼对物体的凹凸感觉，很大程度上取决于表面的光照明暗变化，如果能通过一张贴图在一个平面上表现出由凹凸造成的明暗变化，则可以让人眼感觉这个平面是凹凸不平的（虽然这个平面还是平的）。法线贴图正是为了这个目的而产生的。

图片:166_17777_c443cd81a3dbe8f.jpg

图1不同细节程度的蜡烛
准确的说，法线贴图是Bump Mapping（凹凸贴图）的其中一种。第一个Bump Mapping由Blinn在1978年提出，目的是以低代价给予计算机几何体以更丰富的表面信息。30年来，这项技术不断延展，尤其是计算机图形学成熟以后，相继出现了不少算法变体，法线贴图就是其中很重要的一种。研究人员对法线贴图进一步改进，出现了Parallax Mapping（视差贴图）, Relief Mapping等技术，实现了更逼真的效果。本文仅针对法线贴图进行介绍。
一条法线是一个三维向量，一个三维向量由x, y, z等3个分量组成，在法线贴图中，把(x, y, z)当作RGB3个颜色的值存储（如图2），并将其每个分量映射到[-1, 1]。例如，对于x, y, z各有8位的纹理，[0，128，255]表示法向量(-1, 0, 1)。

图片:166_17777_37ec33592c77f77.jpg

图2利用彩色通道存储法线贴图
2、切线空间
法线贴图中存储的法线最初是定义在世界空间中，但在实际中，这种方式很少见，因为只要物体移动，法线贴图则不再有效。另一种方式就是将法线存储在物体的局部空间中，物体可以进行刚体变换（平移，旋转，缩放），法线贴图依旧有效，但是这种方法并不能应对任何方式的变换，并且法线贴图不能在不同物体进行复用，增加了美工的负担。所以，现在现在普遍采用的解决方案是将法线存储在切线空间中。
简单的来说，切线空间可以理解为纹理空间的u，v方向和法向量n，这3个方向构成了切线空间，一般使用T、B和N表示，如图3所示。具体解释点此查看，这个博客解释的很好，没见过的童鞋可以看一看，第一次理解可能会有点困难。

图片:166_17777_84b2a586826f06a.png

图3切线空间
3、法线贴图的使用
法线贴图的制作过程如图4所示，通过对比高模和低模的差异，生成法线贴图，在运行时使用法线贴图+低模即可表现出接近高模的效果，但是大大降低了显卡的负担。计算法线贴图的算法在3ds Max中已实现，美术人员只需针对同一个模型制作一个高模和一个低模，烘焙出一张法线贴图，在游戏中使用低模+法线贴图即可。

图片:166_17777_5d0932fee14c896.jpg

图4法线贴图制作过程
在渲染模型表面的时候，需保证光照方向和法线是处在同一坐标空间。光照方向在世界空间中，而法线在切线空间，将他们变换到同一坐标空间无非两种方法：
1、将光照方向变换到切线空间；
2、将法线变换到世界空间。
在大部分情况下，使用第一种方案会比较好，因为只需针对每个顶点进行变换，然后在三角形中对变换后的光照方向进行插值；而使用第二种方案，则需要对每个像素进行变换。显然，在光源较少的情况下，使用第一种方案可以减少计算量。当然，在光源数量较多的情况下，到底使用那种方案，需要值得考虑，因为使用第二种方案只需要变换一次法线，而第一种方案需要有多个光照方向需要变换。
值得注意的是，第一种方案中的插值对于点光源来说存在一个近似，光照方向在一个三角形上变化的很慢，所以可以进行插值，不过对于方向光则没有这个问题。
4、法线贴图效果
法线贴图+低模可以表现出接近高模的效果，在图4中可以看到，加上法线贴图的低模，效果很接近高模；图5为unity3d中法线贴图的示例，上图（没有法线贴图）和下图（有加入法线贴图）相比，明显下图的立体感更强。

图片:166_17777_62dee5e6fdaf07a.jpg

图片:166_17777_44536dbf3518b45.jpg

图5 unity3d中法线贴图的示例。上图中的方块没有法线贴图，下图加入了法线贴图
5、法线贴图的压缩和mipmap
归一化的法线长度为1，且在切线空间下，法线的z分量不可能为负数，所以只需要存储x和y值即可。当然，仅仅是这种简单的压缩是不够的，但是传统的纹理压缩方法如DXTC等，不能直接对法线贴图使用，需要进行一定的变化。
使用传统mipmap方法生成的法线贴图对于漫反射表面基本没问题，但是在镜面表面会导致严重的视觉问题。对于漫反射表面来说，光照的计算公式为l·n，l为光线方向的相反方向，n为法线，l·n1 + l·n2 + l·n3 + l·n4 = l·(n1 + n2 + n3 + n4) / 4，而mipmap则是事先计算(n1 + n2 + n3 + n4) / 4，所以对于漫反射表面，对法线贴图使用传统方式的mipmap基本没问题。为什么是基本没问题而不是完全没问题呢？因为这里存在一个近似，若l·n < 0，则光照值为0（光照不能为负），若将这个因素考虑进去，漫反射表面也会有问题，不过在实际当中这种情况表现不明显，所以可以认为基本没问题。
对于镜面表面来说，当视线偏离反射光线方向的时候，光照强度会急剧下降，反映在公式中是因为其含有cosm(h·n)项（具体公式可以自行搜索），而漫反射光照是线性变化，所以对于镜面表面，不能使用传统方法生成法线贴图的mipmap，需要用特殊的技术手段进行处理，具体方法见下一篇《3D游戏制作常用技巧“法线贴图”原理解析（高级篇）》。