CSharpGL(18)分别处理glDrawArrays()和glDrawElements()两种方式下的拾取(ColorCodedPicking)

CSharpGL(18)分别处理glDrawArrays()和glDrawElements()两种方式下的拾取(ColorCodedPicking)

我在（Modern OpenGL用Shader拾取VBO内单一图元的思路和实现）记录了基于Color-Coded-Picking的拾取方法。

最近在整理CSharpGL时发现了一个问题：我只解决了用glDrawArrays();渲染时的拾取问题。如果是用glDrawElements();进行渲染，就会得到错误的图元。

本文就分别解决这两种情况下的拾取的问题。

下载

CSharpGL已在GitHub开源，欢迎对OpenGL有兴趣的同学加入（https://github.com/bitzhuwei/CSharpGL）

两种Index Buffer

ZeroIndexBuffer

用 glDrawArrays(uint mode, int first, int count); 进行渲染时，本质上是用这样一个（特殊索引+  glDrawElements(uint mode, int count, uint type, void* indices); ）进行渲染：

uint[] index = { 0, 1, 2, 3, 4, 5, 6, 7, 8, … }

 

这个特殊索引的特点就是(i == index[i])且(index buffer的长度==position buffer的长度)。

所以我们可以把这个索引看做一个经过优化的VertexBufferObject（VBO）。优化的效果就是：此VBO占用的GPU内存空间（几乎）为零。所以我把这种索引buffer命名为ZeroIndexBuffer。

在之前的文章里，我拾取到了图元的最后一个顶点在position buffer里的索引值。由于index的特殊性质，position buffer前方（左侧）的连续几个顶点就属于拾取到的图元。所以glDrawArrays方式下的拾取问题就解决了。

像下面这个BigDipper的模型，是用glDrawArrays方式渲染的。其拾取功能完全正常。

OneIndexBuffer

我把用glDrawElements进行渲染的index buffer命名为OneIndexBuffer。（因为实在想不出合适的名字了，就模仿一下编译原理里的0型文法、1型文法的命名方式）

lastVertexID

为便于说明，以下面的模型为例：

此模型描述了一个立方体，每个面都由4个顶点组成，共24个顶点。其索引（index buffer）用GL_TRIANGLES方式渲染，索引内容如上图如下：

index = { 0, 1, 2, 0, 2, 3, 4, 5, 6, 4, 6, 7, 8, 9, 10, 8, 10, 11, 12, 13, 14, 12, 14, 15, 16, 17, 18, 16, 18, 19, 20, 21, 22, 20, 22, 23 };

 

此index buffer的长度为36个uint（36*sizeof(uint)个字节）。

这个模型的position buffer长度（24）不等于index buffer的长度（36）。

所以，继续用上面的拾取方式，只能拾取到图元的最后一个顶点（此例为三角形的第3个顶点）在position buffer中的索引值。

假设拾取到的是第二个三角形，如下图所示，那么拾取到的图元的最后一个顶点在position buffer的索引值就是3。（此图只渲染了前2个三角形）

如果像之前那样，连续向前（向左）取3个顶点，就会得到position[1]，position[2]，position[3]。但是，如图所见，正确的3个顶点应该是position[0]，position[2]，position[3]。

就是说，由于index buffer内容是任意的，导致描述一个图元的各个顶点在position buffer中并非连续排列。

lastVertexID -> lastIndexIDList

继续这个例子，现在已经找到了lastVertexID为3。为了找到这个三角形所有的顶点，我们先在index buffer里找到内容为3的索引。

index = { 0, 1, 2, 0, 2, 3, 4, 5, 6, 4, 6, 7, 8, 9, 10, 8, 10, 11, 12, 13, 14, 12, 14, 15, 16, 17, 18, 16, 18, 19, 20, 21, 22, 20, 22, 23 };

只需遍历一下就会发现index[5] = 3。

所以，拾取到的三角形的三个顶点就是position[ index[5 – 2] ]，position[ index[5 – 1] ]，position[ index[5 – 0] ]。（index buffer中描述同一个图元的索引值是紧挨着排列的）

PrimitiveRecognizer

这个例子里，要识别的是三角形。实际上可能会识别点（Points）、线段（Lines、LineStrip、LineLoop）、四边形（Quads、QuadStrip）、多边形（Polygon）。所以我需用一个简单的工厂来提供各种PrimitiveRecognizer。

用于识别三角形的TriangleRecognizer如下：

    class TrianglesRecognizer : PrimitiveRecognizer
    {
        public override List<RecognizedPrimitiveIndex> Recognize(
            uint lastVertexID, IntPtr pointer, int length)
        {
            var lastIndexIDList = new List<RecognizedPrimitiveIndex>();
            unsafe
            {
                var array = (uint*)pointer.ToPointer();
                for (uint i = 2; i < length; i += 3)
                {
                    if (array[i] == lastVertexID)
                    {
                        var item = new RecognizedPrimitiveIndex(lastVertexID);
                        item.IndexIDList.Add(array[i - 2]);
                        item.IndexIDList.Add(array[i - 1]);
                        item.IndexIDList.Add(array[i - 0]);
                        lastIndexIDList.Add(item);
                    }
                }
            }

            return lastIndexIDList;
        }
}

    class RecognizedPrimitiveIndex
    {
        public RecognizedPrimitiveIndex(uint lastIndexID, params uint[] indexIDs)
        {
            this.LastIndexID = lastIndexID;
            this.IndexIDList = new List<uint>();
            this.IndexIDList.AddRange(indexIDs);
        }

        public uint LastIndexID { get; set; }

        public List<uint> IndexIDList { get; set; }
    }

lastIndexIDList -> lastIndexID

这个例子里，只有一个index[5]=3。实际上可能会有多个index[i]=索引值。

所以要想办法从这些候选图元中找到真正拾取到的那个。

那么，什么时候会出现多个候选图元？就是这几个图元共享最后一个顶点的时候。例如下面的例子：在鼠标所在位置执行拾取时，会找到[0 1 3]、[0 2 3]和[1 2 3]这三组lastIndexID。

那么如何分辨出我们拾取到的是[0 1 3]而不是另2个？

我想到的方法是，将共享点前移，然后重新渲染、拾取。在这个例子里，就是把[0 1 3]和[0 2 3]变成[3 0 1]和[3 0 2]，然后渲染[3 0 1 3 0 2]这个小小的index buffer（即仅渲染这2个图元）。这样是能够拾取到[3 0 1]的，这就排除了[3 0 2]。然后继续用同样的方法排除[1 2 3]。这就找到了[0 1 3]这个正确的目标。

        /// <summary>
        /// 在所有可能的图元（<see cref="lastVertexId"/>匹配）中，
        /// 逐个测试，找到最接近摄像机的那个图元，
        /// 返回此图元的最后一个索引在<see cref="indexBufferPtr"/>中的索引（位置）。
        /// </summary>
        /// <param name="lastIndexIdList"></param>
        /// <returns></returns>
        private RecognizedPrimitiveIndex GetLastIndexId(
            ICamera camera,
            List<RecognizedPrimitiveIndex> lastIndexIdList,
            int x, int y, int canvasWidth, int canvasHeight)
        {
            if (lastIndexIdList.Count == 0) { throw new ArgumentException(); }

            int current = 0;
            foreach (var item in lastIndexIdList[0].IndexIdList)
            {
                if (item == uint.MaxValue) { throw new Exception(); }
            }
            for (int i = 1; i < lastIndexIdList.Count; i++)
            {
                foreach (var item in lastIndexIdList[i].IndexIdList)
                {
                    if (item == uint.MaxValue) { throw new Exception(); }
                }
                OneIndexBufferPtr twoPrimitivesIndexBufferPtr;
                uint lastIndex0, lastIndex1;
                AssembleIndexBuffer(
                    lastIndexIdList[current], lastIndexIdList[i], this.indexBufferPtr.Mode,
                    out twoPrimitivesIndexBufferPtr, out lastIndex0, out lastIndex1);
                uint pickedIndex = Pick(camera, twoPrimitivesIndexBufferPtr, x, y, canvasWidth, canvasHeight);
                if (pickedIndex == lastIndex1)
                { current = i; }
                else if (pickedIndex == lastIndex0)
                { /* nothing to do */}
                else if (pickedIndex == uint.MaxValue)
                { /* nothing to do */}
                else
                { throw new Exception("This should not happen!"); }
            }

            return lastIndexIdList[current];
        }

lastIndexID -> PickedGeometry

现在得到了图元的所有顶点在position buffer中的索引（上面的例子中，是[0 1 3]），只需一步就可以找到顶点了。（上面的例子中，是position[ index[0] ]，position[ index[1] ]，position[ index[3] ]）

        private PickedGeometry GetGeometry(RecognizedPrimitiveIndex lastIndexId, uint stageVertexId)
        {
            var pickedGeometry = new PickedGeometry();
            pickedGeometry.GeometryType = this.indexBufferPtr.Mode.ToPrimitiveMode().ToGeometryType();
            pickedGeometry.StageVertexId = stageVertexId;
            pickedGeometry.From = this;
            pickedGeometry.Indexes = lastIndexId.IndexIdList.ToArray();
            GL.BindBuffer(BufferTarget.ArrayBuffer, this.positionBufferPtr.BufferId);
            IntPtr pointer = GL.MapBuffer(BufferTarget.ArrayBuffer, MapBufferAccess.ReadOnly);
            unsafe
            {
                var array = (vec3*)pointer.ToPointer();
                List<vec3> list = new List<vec3>();
                for (int i = 0; i < lastIndexId.IndexIdList.Count; i++)
                {
                    list.Add(array[lastIndexId.IndexIdList[i]]);
                }
                pickedGeometry.Positions = list.ToArray();
            }
            GL.UnmapBuffer(BufferTarget.ArrayBuffer);
            GL.BindBuffer(BufferTarget.ArrayBuffer, 0);

            return pickedGeometry;
        }

测试用例

ZeroIndexBuffer

这个情况属于早就解决了的，可以在（CSharpGL(17)重构CSharpGL）中查看。

OneIndexBuffer

Cube

下图中的Cube模型就可以用来测试OneIndexBuffer的拾取功能。

下面12个测试用例测试了拾取CubeModel的12个三角形的情况。结果显示完全符合对Cube的定义。

最后一个面在背面，所以需要旋转过来。

Sphere

当然，Cube是不足以完全测试OneIndexBuffer的拾取的。因为Cube里不存在共享最后一个顶点的情况。

Sphere里就有。

Teapot

Teapot的顶点组织方式我没有查看，权且充个数吧。

2016-04-26

为了严格测试OneIndexBuffer时存在“多个图元共享同一个最后的顶点”的情况，我制作了下面这个四边形模型。这验证了下图的情况。

Tetrahedron

根据上图，我设计了这样的模型数据：

首先看一下这个四边形的结构。通过设置GLSwitch里的PolygonModeSwtich为Lines，就可以看到这确实是个四边形。

（白色部分是geometry shader制造的法线，不必理会）

然后恢复到Filled模式下开始测试。下图中右边标明了各个顶点的索引（白色的0 1 2 3）。

可以看到这正是本文示例中描述的情况。结果完全符合预期。

然后我们在其他位置都试试看。

 其余位置就不贴图了。

总结

解决拾取问题的过程也是整理ModernRenderer的过程。由于两种渲染方式的巨大差异，我设计了对应的ModernRenderer（即ZeroIndexModernRenderer和OneIndexModernRenderer）。再配合工厂模式，既封装了细节，实现了功能，又易于使用。

原CSharpGL的其他功能（UI、3ds解析器、TTF2Bmp、CSSL等），我将逐步加入新CSharpGL。

欢迎对OpenGL有兴趣的同学关注（https://github.com/bitzhuwei/CSharpGL）