zoukankan      html  css  js  c++  java

  • MongoDB中空间数据的存储和操作

    本文使用官方C# Driver，实现在MongoDB中存储，查询空间数据（矢量）

    空间数据的存储
    本例中，从一个矢量文件(shapefile格式)中读取矢量要素空间信息以及属性表，并写入到MongoDB中去，其中读取shapefile文件以及将空间信息转成json的功能通过Ogr库实现
              
    [csharp] view plain copy
     
     在CODE上查看代码片派生到我的代码片
    1. //打开MongoDB的Collection  
    2.            MongoDatabase db = server.GetDatabase("aa");  
    3.            MongoCollection colSheng = db.GetCollection("sheng");  
    4.            //使用Ogr库打开Shapefile文件  
    5.            DataSource ds = Ogr.Open(@"c: empsheng.shp", 0);  
    6.            Layer lyr = ds.GetLayerByIndex(0);  
    7.            //读取要素数量和字段数量  
    8.            int feaCount = lyr.GetFeatureCount(0);  
    9.            int fieldCount = lyr.GetLayerDefn().GetFieldCount();  
    10.            //读取所有字段名  
    11.            List<string> fieldNames  =new List<string>();  
    12.            for (int i = 0; i < fieldCount; i++)  
    13.            {  
    14.                fieldNames.Add(lyr.GetLayerDefn().GetFieldDefn(i).GetName());  
    15.            }  
    16.            //循环将所有要素添加到MongoDB中  
    17.            for (int i = 0; i < feaCount; i++)  
    18.            {  
    19.                //使用Ogr库将矢量要素的空间信息转成Json格式  
    20.                Feature fea = lyr.GetFeature(i);  
    21.                Geometry geo = fea.GetGeometryRef();        
    22.                string json = geo.ExportToJson(null);  
    23.                  
    24.                BsonDocument doc = new BsonDocument();  
    25.                  
    26.                //将Json格式的空间信息存到Collection中  
    27.                //BsonValue bs = BsonValue.Create(json);                  //这种方法是不可以的，添加到库里之后无法使用空间查询语句查询  
    28.                BsonValue bs2 = BsonDocument.Parse(json);               //这种方法才是正确的  
    29.                //doc.Add(new BsonElement("geom", bs));  
    30.                doc.Add(new BsonElement("geo",bs2));  
    31.                //通过循环将所有字段的属性信息存入Collection中  
    32.                for (int j = 0; j < fieldCount; j++)  
    33.                {  
    34.                    string tmpFieldVal = fea.GetFieldAsString(j);  
    35.                    doc.Add(new BsonElement(fieldNames[j],tmpFieldVal));  
    36.                }  
    37.                var res  = colSheng.Insert<BsonDocument>(doc);                  
    38.            }  


     
    然后，可以查看一下存储到MongoDB中的矢量数据是什么样的
    在命令行中输入：
    [csharp] view plain copy
     
     在CODE上查看代码片派生到我的代码片
    1. > db.sheng.find().limit(1)  


    结果为
    [javascript] view plain copy
     
     在CODE上查看代码片派生到我的代码片
    1. { "_id" : ObjectId("5371bf4e1dbba31914224563"), "geo" : { "type" : "Polygon", "coordinates" : [ [ [ 89.8496, 14.093 ], [ 90.3933, 14.004 ], [ 90.2708, 13.4708 ], [ 89.7284, 13.5597 ], [ 89.8496, 14.093 ] ] ] }, "pyname" : "sx", "boxtype" : "inter", "date" : "2012/6/5 12:41:42" }  


    可以看到名称为geo的这个Field，里边存的就是矢量要素的坐标信息
     
    空间查询与空间索引
    可用的空间操作包括geointersect,geowithin,near等，参考http://docs.mongodb.org/manual/reference/operator/query-geospatial/
    这里使用geointersect为例说明一下：
               
    [csharp] view plain copy
     
     在CODE上查看代码片派生到我的代码片
    1. //获取Collection  
    2.            MongoDatabase db = server.GetDatabase("aa");  
    3.            MongoCollection colSheng = db.GetCollection("sheng");  
    4.           
    5.            //定义一个查询框或查询多边形  
    6.            var poly = GeoJson.Polygon<GeoJson2DCoordinates>(  
    7.                GeoJson.Position(100, 20),  
    8.                GeoJson.Position(110, 20),  
    9.                GeoJson.Position(110, 40),  
    10.                GeoJson.Position(100, 40),  
    11.                GeoJson.Position(100, 20));  
    12.            //以这个查询多边形为条件定义一条查询语句  
    13.            var queryFilter2 = Query.GeoIntersects("geo", poly);  
    14.            //进行查询，输出MongoCursor  
    15.            cur = colSheng.FindAs<BsonDocument>(queryFilter2).SetFields( "pyname", "date");  
    16.            //获取结果  
    17.            var res = cur.ToArray();  
    18.            for (int i = 0; i < res.Count(); i++)  
    19.            {  
    20.                BsonDocument tmpDoc = res.ElementAt(i);  
    21.                //do something you want  
    22.            }  


    关于空间索引，可参考http://docs.mongodb.org/manual/applications/geospatial-indexes/
    这里不详细说了
     
    空间查询运算的问题：
    在使用GeoIntersect进行空间查询时，遇到了查询结果与ArcGIS不一致的情况，详细看了一下，像是MongoDB的一个BUG（目前使用的是2.6.0版本）
    具体信息如下（在命令行中操作）：
     
    Collection中的坐标
    [csharp] view plain copy
     
     在CODE上查看代码片派生到我的代码片
    1. > db.test.find()  
    2. { "_id" : ObjectId("535884771dbba31858ad2101"), "geo" : { "type" : "Polygon", "coordinates" : [ [ [ 96.722, 38.755 ], [ 97.3482, 38.6922 ], [ 97.1674, 38.0752 ], [ 96.5474, 38.1383 ], [ 96.722, 38.755 ] ] ] } }  



    使用的查询语句
    [csharp] view plain copy
     
     在CODE上查看代码片派生到我的代码片
    1. > db.test.find({ "geo" : { "$geoIntersects" : { "$geometry" : { "type" : "Polygon", "coordinates" : [[[91.0, 33.0], [102.0, 33.0], [102.0, 38.0], [91.0, 38.0], [91.0, 33.0]]] } } } })  



    查询结果：
    [csharp] view plain copy
     
     在CODE上查看代码片派生到我的代码片
    1. { "_id" : ObjectId("535884771dbba31858ad2101"), "geo" : { "type" : "Polygon", "coordinates" : [ [ [ 96.722, 38.755 ], [ 97.3482, 38.6922 ], [ 97.1674, 38.0752 ], [ 96.5474, 38.1383 ], [ 96.722, 38.755 ] ] ] } }  



    但可以看到，collection中只有一条记录，且该记录所有点的Y坐标均大于38.0，为什么查询结果里，这条记录与语句中的Box相交呢。。。很奇怪
    因为有这样的问题，所以还不放心直接将空间查询用于实际应用，而是通过一种变通的方法进行简单的空间查询,测试后发现，可能是由于空间索引的问题，这种方式查询比自带的GeoIntersects方法要快
     
    大致思路为：为每一条记录均生成一个最小外接矩形，得到其xmax,xmin,ymax,ymin四个边界值，用数值的形式保存至Collection中，每次进行空间查询时，首先通过最小外接矩形进行一次筛选，判断这些最小外接矩形与查询语句中多边形的最小外接矩形之间的关系，如果相交，那么进行第二步判断，通过Ogr组件判断实际的多边形是否相交，返回最后结果
    首先是生成最小外接矩形的代码：
               
    [csharp] view plain copy
     
     在CODE上查看代码片派生到我的代码片
    1. //获取Collection  
    2.             MongoDatabase db = server.GetDatabase("aa");  
    3.             MongoCollection colsheng= db.GetCollection("sheng");  
    4.             //查询所有记录  
    5.             var cur = colsheng.FindAllAs<BsonDocument>();  
    6.             long totalCount = cur.Count();  
    7.             //遍历所有记录  
    8.             for (int i = 0; i <= totalCount/1000; i++)  
    9.             {  
    10.                 if (i * 1000 >= totalCount) continue;  
    11.                 int skip = i * 1000;  
    12.                 var cur2 = cur.Clone<BsonDocument>().SetSkip(skip).SetLimit(1000);  
    13.                 var lst = cur2.ToArray();  
    14.                 for (int j = 0; j < lst.Count(); j++)  
    15.                 {  
    16.                     //获取一条记录对应的BsonDocument  
    17.                     BsonDocument doc = lst[j];  
    18.                         var id = doc["_id"];                    //该记录对应的ID  
    19.                         BsonDocument geo = doc["geo"].ToBsonDocument();      
    20.                         string geostr = geo[1].ToString();        //该记录对应空间信息的Json字符串  
    21.                         List<double> coords = GetCoordLstFromString(geostr);        //解析Json串，获得所有点的坐标（这里子函数就省略了）  
    22.                         double xmin = 181, xmax = -181, ymin = 91, ymax = -91;        //四个边界值，由于图层为经纬度，所以初值设为这些值  
    23.                         //计算最大最小值  
    24.                         for (int k = 0; k < coords.Count; k++)  
    25.                         {  
    26.                             if (k % 2 == 0)  
    27.                             {  
    28.                                 if (coords[k] < xmin) xmin = coords[k];  
    29.                                 if (coords[k] > xmax) xmax = coords[k];  
    30.                             }  
    31.                             else  
    32.                             {  
    33.                                 if (coords[k] < ymin) ymin = coords[k];  
    34.                                 if (coords[k] > ymax) ymax = coords[k];  
    35.                             }  
    36.                         }  
    37.                         //将最大最小值写入Collection  
    38.                         var tmpQuery = Query.EQ("_id", id);  
    39.                         var tmpUpdate = MongoDB.Driver.Builders.Update.Set("xmax", xmax);  
    40.                         var tmpres = col02c.Update(tmpQuery, tmpUpdate);  
    41.                         tmpUpdate = MongoDB.Driver.Builders.Update.Set("xmin", xmin);  
    42.                         tmpres = col02c.Update(tmpQuery, tmpUpdate);  
    43.                         tmpUpdate = MongoDB.Driver.Builders.Update.Set("ymax", ymax);  
    44.                         tmpres = col02c.Update(tmpQuery, tmpUpdate);  
    45.                         tmpUpdate = MongoDB.Driver.Builders.Update.Set("ymin", ymin);  
    46.                         tmpres = col02c.Update(tmpQuery, tmpUpdate);  
    47.                     }  
    48.                 }  


     
    然后是查询的代码：
               
    [csharp] view plain copy
     
     在CODE上查看代码片派生到我的代码片
    1. //获取Collection  
    2.             MongoDatabase db = server.GetDatabase("aa");  
    3.             MongoCollection colSheng = db.GetCollection("zy02c");  
    4.             //第一步，通过四边界筛选，  
    5.             var query = Query.And(Query.GT("xmax", 91.0), Query.LT("xmin", 102.0), Query.GT("ymax", 33.0), Query.LT("ymin", 38.0));  
    6.             var cur = colSheng.FindAs<BsonDocument>(query);  
    7.             //定义第二空间运算时的条件多边形（Ogr格式的定义）  
    8.             Geometry queryGeoLR = new Geometry(wkbGeometryType.wkbLinearRing);  
    9.             queryGeoLR.AddPoint(91.0, 33.0,0);  
    10.             queryGeoLR.AddPoint(102.0, 33.0,0);  
    11.             queryGeoLR.AddPoint(102.0, 38.0,0);  
    12.             queryGeoLR.AddPoint(91.0, 38.0,0);  
    13.             queryGeoLR.AddPoint(91.0, 33.0,0);  
    14.             Geometry queryGeo = new Geometry(wkbGeometryType.wkbPolygon);  
    15.             queryGeo.AddGeometry(queryGeoLR);  
    16.             //循环查询到的结果  
    17.             var lst = cur.ToArray();  
    18.             for (int i = lst.Length-1; i >=0; i--)  
    19.             {  
    20.                 //获取当前记录对应的BsonDocument  
    21.                 BsonDocument doc = lst[i];  
    22.                 var id = doc["_id"];            //当前记录的ID  
    23.                 BsonDocument geo = doc["geo"].ToBsonDocument();  
    24.                 string geostr = geo[1].ToString();        //当前记录对应空间信息的Json字符串  
    25.                   
    26.                 //通过Json串获取坐标值，并生成对应的Geometry对象  
    27.                 List<double> coords = GetCoordLstFromString(geostr);  
    28.                 Geometry resGeoLR = new Geometry(wkbGeometryType.wkbLinearRing);  
    29.                 for (int j = 0; j < coords.Count / 2; j++)  
    30.                 {  
    31.                     resGeoLR.AddPoint_2D(coords[j], coords[j + 1]);  
    32.                 }  
    33.                 resGeoLR.AddPoint_2D(coords[0], coords[1]);  
    34.                 Geometry resGeo = new Geometry(wkbGeometryType.wkbPolygon);  
    35.                 resGeo.AddGeometry(resGeoLR);  
    36.                 //判断是该Geometry与条件多边形是否相交  
    37.                 if (resGeo.Intersects(queryGeo))  
    38.                 {  
    39.                         //do something  
    40.                 }  
    41.             }  
  • 相关阅读:
    libevent中的基本数据结构---queue.h
    TCP 连接关闭及TIME_WAIT探究
    网络程序中常用的三种心跳机制----服务器端
    TCP程序中发送和接收数据
    如何编写一个稳定的网络程序(TCP)
    Linux 编程--三种常用的定时器
    Libevent 事件循环(2)---事件被加入激活队列
    单机千万并发连接实战(修订版)
    千万并发连接实战
    kqueue例子
  • 原文地址：https://www.cnblogs.com/jjg0519/p/6734005.html
Copyright © 2011-2022 走看看