Skeletal Model and Skinning Animation

Skeletal Model and Skinning Animation

仅供个人学习使用，请勿转载，勿用于任何商业用途。 

      为了方便讨论，先定义几个术语：Model，一系列MeshPart(MP)（类似d3d里的subset）的集合；MeshPart，组成Model的单元，包含定义几何体的实际数据以及材质，也是最小的渲染单元。 

      第一个问题，为什么Model需要由多个MeshPart组成，如何划定一个Model分成几个MP？理想情况下，Model所包含的MP越少越好，最好是一个Model只包含一个MP，这样一次DrawPrimitive/DrawIndexedPrimitive，就能完成整个模型的渲染。但通常有两种情况需要把Model分为不同MP：1，材质(纹理，材质参数)不相同的部分；2，能独立移动的部分。

     通常情况下，作为程序员，你不必关心如何划分Model，模型师会做好一切，并且保存为文件给你使用，你所要关心的是如何找出文件中所保存的Model和MP。假设导出文件里储存的就是图中这个模型，那么可能遇到3种情况：1, 文件把模型记录为14个不同的model，它们共同组成了另外一个model(人)；2，文件中只包含一个model，但这个model有14个MP；3，这种情况则是前两种混合的结果。

 

上面是两个不同的fbx文件，左边那个是以第三种方式组织的，右边那个则是以第1种方式组织。图里Geometry和我们所说的MP概念类似，但不完全一样，所以数值上看起来有些奇怪。

     如何导入模型超出了本文的讨论范围，现在假设你已经通过某种方式把模型数据加载到程序里，得到了14个MP，但仅仅有几何体数据是不够的。如果查看导出文件中的数据，会发现所有MP都以自己的局部坐标来保存顶点。也就是说如果你直接渲染这14个MP，他们会全部重叠在原点。因此，还需要知道每个MP在这个model中的位置。

 

      上图三个Lcl开头的数据就是fbx文件中记录的MP变换信息。Lcl表示局部变换，这里的局部相对于谁呢？相对于他的父节点。这里就需要引入一个新概念skeletal structure或者bone hierarchy，前者指模型的实际拓扑结构，后者指对这种拓扑结构的描述。具体来说，图中你看到的人物轮廓形象，就是这个模型的skeletal structure，而 “手链接到手臂，后手臂链接到肩膀”这样的描述，就是bone hierarchy。描述bone hierarchies最直观（但并非最优化）的方式就是用Tree。显然，对同一skeletal structure的描述可以有无数多种，依据你选择哪个部分为root，不同的描述方式之间并没有本质上的差别，通常，模型文件里都会包含特定的bone hierarchy数据。为了方便讨论，下文不再对structure和bone hierarchy做区分。最后解释一下另外一个术语bone/join（两者其实是一样的），这是一个很容易误导人的概念，对计算机模型来说，其实并没有bone这种东西，通常所说的bone应该包含两个概念：变换以及连接。假设你用Tree来保存模型的hierarchy信息，每个node里保存了相应的变换信息（比如matrix），那么可以认为每个node就是一个bone。但也有可能用一个数组来保存hierarchy信息，再用另外一个数据记录所有Matrix，这时就很难说哪一部分是bone。为了方便，下文的bone只表示变换，或者说代表一个matrix。

     假设你已经通过某种方式导入了hierarchy信息，以躯干为根节点，有以下数据结构：
Trunk
|
|-----neck----head
|
|-----left shoulder----left arm---left hand
|
|………………….

      那么现在已经有足够数据计算每个MP的world matrix，并且渲染它们了，假设在（0，0，0）点渲染这个模型：

worldMatrix = Matrix.CreateTranslate(0,0,0);
trunkMatrix =localTrunkMatrix * worldMatrix;  //因为躯干是根节点，所以局部变换通常为标准矩阵
neckMatrix = neckLocalMatrix * TrunkMatrix;   
headMatrix = neckMatrix * headMatrix;
leftShoulder = leftShoudlerlocalMatrix * TrunkMatrix;
……………………………..
drawMP(trunkMatrix, trunkData)
drawMP(neckMatrix, neckData)
……………………………….

     你不必总是通过这样的方式来计算每个MP的实际世界坐标。对于静态模型来说，最好的方式是在加载模型或者预处理的过程中，就把顶点变换到模型空间中，假设图中的模型是个木头人，可以这样预处理他头上的顶点：

rootMatrix = localTrunkMatirx  //通常为标准矩阵；
neckMatrix = neckLocalMatrix * TrunkMatrix;
headMatrix = neckMatrix * headMatrix;
transformedVertex[]
for( i < HeadVertexCount)
   transformedVertex[i] = headVertex[i] * headMatrix;
CreateNewHeadVertexBuffer(transformedVertex);

 现在，如果在x,y,z点渲染这个模型，只需要：

worldMatrix = Matrix.CreateTranslate(x,y,z);
drawMP(worldMatrix, trunkData)
drawMP(worldMatrix, neckData)
drawMP(worldMatrix, headData)
……………………………….

完全省略了一步步通过父节点，计算当前MP实际世界坐标的步骤，同时也不再需要保存模型的hierarchy信息。
对于部分动态模型来说，可以预先把局部变换转变为模型空间的变换，比如：

trunkModelMat = localTrunkMat;
neckModelMat = localNeckMat * trunkModelMat;
headModelMat = localHeadMat * neckModelMatrix;
…………………..

在x,y,z点渲染这个模型时:

worldMatrix = Matrix.CreateTranslate(x,y,z);
drawMP(trunkModelMat * worldMatrix, trunkData)
drawMP(neckModelMat * worldMatrix, neckData)
drawMP(headModelMat * worldMatrix, headData)

    这种方法同样不需要保存模型的hierarchy信息。

    如果这两种方法那么好，那为什么还要讲解最初那种复杂的方法呢？应为最初的方法是最通用的，无论什么样的模型都可以处理。预变换顶点的方法通常只适用于静态模型。至于预计算变换，假设你希望通过程序修改了手臂的位置，手掌也自动随之一起移动的话，显然就无能为力了，因为我们已经丢失了hierarchy信息。此时，必须独立计算手掌应该如何移动，这比简单的通过父节点计算出变换复杂的多。

     目前，我们已经知道了如何渲染skeletal model，进一步渲染skeletal animation也就非常简单了。
     先来看看如何描述动画。最基本的模型动画有三种形式：位移变化，缩放变化和旋转变化。只要记录下动画时间内每个时刻的变换信息，也就是关键帧，就能重现这个动画：

dictionary mpMatrices;   //每一帧里所有mp的local matrix
dictionary keyFrames;    //一个动画序列中的所有帧
float currentTime;
currentMpMatrices = keyFrames[currentTime];
worldMatrix = Matrix.CreateTranslate(x,y,z);
trunkMatrix = currentMpMatrices[trunk] * worldMatrix;
neckMatrix = currentMpMatrices[neck] * TrunkMatrix;
headMatrix = currentMpMatrices[head] * headMatrix;
……………………………..
drawMP(trunkMatrix, trunkData)
drawMP(neckMatrix, neckData)

      目前我们知道了如何渲染skeletal model和skeletal animation，但它们通常只适用于刚体，也就是不会发生形变的模型，比如汽车，机器人。对于人或者动物这样更高级的对像来说，需要使用skinning animation。对skinning mesh来说，一个MP中的顶点不再只受到一个bone的影响，而有可能最多受到n个bone的影响，为了兼顾效率，实时计算中通常1<n<= 4。比如肩膀部位的顶点会受到脖子，躯干，手臂等部分骨骼的影响。此外，每个MP也不一定再对应着一个bone，有可能包含多个。假设用一个数组来保存模型中的所有骨骼：matrix[] bones;

      每个顶点就必须记录下它将受到哪几个骨骼的影响，这称为boneIndex。此外，每个顶点还需要记录每个bone对它影响的权重，称为boneWeight，所有权重的和必须为1。可以用独立的数据结构来保存boneIndex和boneWeight，但最常见的还是把它们作为顶点数据的一部分，可能使用这样的顶点结构：

struct Vertex
{
 vector3 position;
 vector3 normal;
 vector2 UV
 vector4 boneIndex;
 vector4 boneWeight;
 ……other data…..
}

计算顶点最终位置的公式为：

position;
resultPos;
foreach boneIndex in VertexBoneindices
    resultPos = position * bones[boneIndex] * boneWeight;

    现在问题来了，由于我们不知道一个MP中的某个顶点究竟受到哪几个bone的影响，所以不能再像之前那样，只为每个MP提供一个matrix就渲染。而是需要把整个bone数组都提供给MP。当然，要先计算出正确的matrix才行：

Matrix[] bones = Matrix[14];   //假设每个mp仍然只包含一个bone
worldMatrix = Matrix.CreateTranslate(x,y,z);
bones[0] = trunkMatrix =localTrunkMatrix * worldMatrix;
bones[1] = neckMatrix = neckLocalMatrix * TrunkMatrix;
bones[2] = headMatrix = neckMatrix * headMatrix;
bones[3] = leftShoulder = leftShoudlerlocalMatrix * TrunkMatrix;
……………………………..
drawMP(bones, trunkData)
drawMP(bones, neckData)

注意，每个bone在数组中的位置必须和顶点中记录的相同。

    把渲染skeletion animation和skinning mesh的技术结合起来，就得到了skinning animation。相关方法就不再详细讨论了。
    最后附上GPU渲染skinning mesh的HLSL代码：

float4x4 View;
float4x4 Projection;
float4x4 Bones[MaxBones];

// Vertex shader input structure.
struct VS_INPUT
{
    float4 Position : POSITION0;
    float3 Normal : NORMAL0;
    float2 TexCoord : TEXCOORD0;
    float4 BoneIndices : BLENDINDICES0;
    float4 BoneWeights : BLENDWEIGHT0;
};

// Vertex shader program.
VS_OUTPUT VertexShader(VS_INPUT input)
{
    VS_OUTPUT output;
    
    // Blend between the weighted bone matrices.
    float4x4 skinTransform = 0;
    
    skinTransform += Bones[input.BoneIndices.x] * input.BoneWeights.x;
    skinTransform += Bones[input.BoneIndices.y] * input.BoneWeights.y;
    skinTransform += Bones[input.BoneIndices.z] * input.BoneWeights.z;
    skinTransform += Bones[input.BoneIndices.w] * input.BoneWeights.w;
    
    // Skin the vertex position.
    float4 position = mul(input.Position, skinTransform);
    
    output.Position = mul(mul(position, View), Projection);

    // Skin the vertex normal, then compute lighting.
    float3 normal = normalize(mul(input.Normal, skinTransform));
.
}

 

ps:注意，文中所有伪代码以及所用数据结构，shader只是出于演示目的，并未经过任何优化，请根据实际情况参考使用。