zoukankan      html  css  js  c++  java
  • WebGIS中GeoHash编码的研究和扩展

    文章版权由作者李晓晖和博客园共有,若转载请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/

    1.背景

    1.1普通地理编码流程

    将采集的POI入库后,数据库里保存有该POI的位置描述、X、Y等信息。当需要进行逆编码查询时,前端传入坐标的X、Y值,后台构建查询范围查询,并且对查询出来的值进行距离排序。

    1.2普通地理编码的几点劣势

    a.前端查询url中的X、Y值为真实值,可能会暴露相关真实信息。

    b.前端查询的url因为X、Y值的长度而变得比较长。

    c.后台中,需要同时对X列、Y列做查询判断。

    d.因为传入的X、Y值总在变化,数据库中的查询很难进行缓存优化。

    e.数据库中保存的是真实X、Y数据,增加了存储空间。

    2 GeoHash算法简介

    2.1算法背景

    Geohash的初衷是如何用尽量短的URL来标志地图上的某个位置,而地图上的位置一般是用经纬度来表示,问题就转化为如何把经纬度转化为一个尽量短的URL。

    2.2GeoHash算法的描述

    具体来说GeoHash算法的主要思想是对某一数字通过二分法进行无限逼近。这里以经纬度区间(经度(-180,180),纬度(-90,90))为例子来进行讲解。

    2.2.1 哈夫曼编码

    假设纬度值为48,精确到1度即可,则其编码流程如下所示:

     

                           

    以左向为0,右向为1,最后48精确到1度的编码为:11000010。

    对经度同样可以做该编码逼近。

    2.2.2编码融合

    对经纬度分别做了编码后,需要将两个编码进行融合。融合规则为:将经度和纬度的编码合并,奇数位是纬度,偶数位是经度。

    比如:纬度39.92324精确到0.001后的编码为1011 1000 1100 0111 1001。经度116.3906精确到0.001后的编码为1101 0010 1100 0100 0100。两者融合后的编码为:11100 11101 00100 01111 00000 01101 01011 00001。

    2.2.3 编码字符串化

    这里使用Base32算法对编码进行字符串 化,Base32的规则如下:

     

    我们将39.92324, 116.3906(11100 11101 00100 01111 00000 01101 01011 00001)进行Base32的字符串化后获得字符串:wx4g0ec1。

    3.基于GeoHash算法的扩展

    3.1互联网GeoHash算法的局限

    互联网GeoHash算法主要针对的是经纬度系统,所以其算法中的编码范围、编码精确度都相对固定。

    范围为[-90,90],[-180,180]。

    在纬度相等的情况下:

    经度每隔0.00001度,距离相差约1米;

    每隔0.0001度,距离相差约10米;

    每隔0.001度,距离相差约100米;

    每隔0.01度,距离相差约1000米;

    每隔0.1度,距离相差约10000米。

    在经度相等的情况下:

    纬度每隔0.00001度,距离相差约1.1米;

    每隔0.0001度,距离相差约11米;

    每隔0.001度,距离相差约111米;

    每隔0.01度,距离相差约1113米;

    每隔0.1度,距离相差约11132米。

    Geohash,如果geohash的位数是6位数的时候,大概为附近1千米。

    但是假如需要编码的坐标为平面坐标时,以上算法必须进行相关修改才能使用。

    3.2GeoHash算法扩展

    3.2.1 根据所需精确度获取编码长度

    这里以平面坐标系为例子。平面坐标的单位是M,如果想要编码的精确度精确到1M,则需要算出此时需要保留的编码长度应该是多少。具体算法与哈夫曼编码的思路基本相同,以下是代码截取:

     

    这里,需要知道编码范围、编码精确位数。因为5位数的编码等于一个Base32字符串,所以最后返回的值除以5。

    当然,这里是经纬度坐标系也可以,只要规定好范围以及编码精确位数即可。

    3.2.2 编码算法优化

    编码时,编码范围不再是固定的经纬度范围,而是根据传递进来的范围值来进行编码。具体代码如下:

     

    4.性能测试

    4.1数据准备

    这里我准备了13万条数据(测试数据中大量重复数据):

     

    数据为平面坐标系数据,对所有数据已经进行了GeoHash编码,为了方便测试,这里同样存入了X、Y坐标。

     

    4.2 普通编码查询 VS GeoHash编码查询

    测试坐标点为:505214.06,305104.09。对其进行精确到100M的GeoHash编码,编码值为:kx5。

    4.2.1范围查询命中率

    4.2.1.1普通查询命中率

    查询中为了去掉重复项,所以稍显繁琐。

    查询范围为(CoordinateX < 505314.06 and CoordinateX > 505114.06 and CoordinateY < 305204.09 and CoordinateY >305004.09)具体如下,共查询到:12项。

     

    4.2.1.2 GeoHash查询命中率

    因为编码已经精确到100M了,所以直接等于该编码即可,查询得到的结果为6项。

     

    4.2.1.3 对比分析

    对比两种查询,很明显GeoHash编码查询法查询到的数据要少一些。仔细分析可见:在传统查询中,距离在50M以内的前6项,均出现在了GeoHash查询中。但是其他6项则没有。

    我们可以推断为,虽然编码精度设置的为100M,但是最后一位的编码应该具体是精确到了100/2=50M 的范围。

    所以,我们可以推断:GeoHash是能大致查询出要求范围的数据的,精确度比较高,但是查询所得数据量比真实的范围查询要少。

    4.2.2 查询效率

    4.2.2.1普通查询

    清除查询缓存后,进行范围查询,需要0.281S。

     

    在X、Y上分别建立索引后,需要0.172S。

     

    4.2.2.2 GeoHash查询

    不建立索引,需要耗时0.499S。

     

    建立索引后,耗时0.156S。

     

    第二次命中时,耗时:0.031S。

     

    4.2.2.3查询性能对比分析
    4.2.2.3.1查询时间

    不考虑网络环境、查询时电脑本身CPU等性能偶然影响,单纯测试结果如下:

    查询类型

    (数据量13W)

    无索引查询时间

    有索引查询时间

    二次命中时间

    普通地理编码查询

    0.281S

    跟索引建立方式有关系,单纯在XY上建立索引,时间反而更久,需要:0.172S

    0.094S

    GeoHash编码查询

    0.499S

    0.156S

    0.031S

    可见GeoHash因为是字符串查询,其本身是比较耗时的。但是当做了索引后,其查询速度是快于普通查询的,而且其二次命中时查询速度比普通查询二次命中会更快。其原因比较简单:单列索引、单列命中显然是高于多列的。

    4.2.3.2 资源消耗分析

    普通查询的资源消耗信息:

     

    GeoHash查询的资源消耗信息:

     

    其中:

    cardinality是指计划中这一步所处理的行数。

    cost指cbo中这一步所耗费的资源,这个值是相对值,和cpu_cost、io_cost是有关系的。

    cost是由其他几个因素共同决定的,这里暂时不进行深入的研究。一般情况下,在一张表只有一条记录的情况下,cpu_cost会有个初始值(常见的是2万多或3万多),随着记录的增加,cpu_cost也成比例的增加。对于io_cost来说,如果访问的记录在一个db_block中,值是不变的。

    bytes指cbo中这一步所处理所有记录的字节数,是估算出来的一组值。

    对比性能分析表可见:

    GeoHash表中的cardinality和bytes是明显低于普通查询的,究其原因也还是因为其只需查询一列即可。

    5.总结

    GeoHash算法的几个特点:

    a.GeoHash编码后,获得的位置信息为范围信息,而非真实的坐标精确值。

    b.GeoHash编码后,将X、Y坐标融合成一个值,数据库存在中既可以减少存储空间,也便于优化查询。尤其是编码后,一定范围内的点均是同样编码,兴趣点查询的二次命中率会大大提高,进一步加快查询速度。

    c.GeoHash的编码可以容易的表示出范围包含关系,这样非常便于进行范围查询。

    d.查询时前端URL长度变短。

    6.三个问题

    6.1如何查询最近点

    GeoHash查询出来的仅仅是某个范围内的数据,需要对返回的数据在进行距离运算,排序后最近的便是。其优化效率主要体现在范围查询上。

    6.2查询效率能优化多少?

    测试在1W条数据以下时不明显。

    10W条附近时,开始有0.1S间的小差距。

    类推,当数据量越大时,效果越明显。

    6.3两个点离的越近,geohash的结果相同的位数越多,对么?

    这一点是有些用户对geohash的误解,虽然geo确实尽可能的将位置相近的点hash到了一起,可是这并不是严格意义上的(实际上也并不可能,因为毕竟多一维坐标),例如在方格4的左下部分的点和大方格1的右下部分的点离的很近,可是它们的geohash值一定是相差的相当远,因为头一次的分块就相差太大了,很多时候我 们对geohash的值进行简单的排序比较,结果貌似真的能够找出相近的点,并且似乎还是按照距离的远近排列的,可是实际上会有一些点被漏掉了。
    上述这个问题,可以通过搜索一个格子,周围八个格子的数据,统一获取后再进行过滤。这样就在编码层次解决了这个问题。
        既然不能做到将相近的点hash值也相近,那么geohash的意义何在呢?
        个人觉觉得geohash还是相当有用的一个算法,毕竟这个算法通过无穷的细分,能确保将每一个小块的geohash值确保在一定的范围之内,这样就为灵活的周边查找和范围查找提供了可能。

    7.最后提一个有趣的问题——伦敦到纽约的距离怎么算

     

    这个问题是前几天一个读博士的朋友问的我,思考这个问题挺有趣的。其中会涉及到长距离和短距离问题,推荐一篇类似博客:我们看到的地图一直都错得离谱(http://blog.sina.com.cn/s/blog_517eed9f0102w4rm.html);

                                                                               -----欢迎转载,但保留版权,请于明显处标明出处:http://www.cnblogs.com/naaoveGIS/

                                                                               如果您觉得本文确实帮助了您,可以微信扫一扫,进行小额的打赏和鼓励,谢谢 ^_^

                                          

  • 相关阅读:
    react-umi 光速上手
    vue 和 react 的区别
    SP12323 NAKANJ
    UVA439 骑士的移动
    NOI 2020 Vlog
    二叉查找树
    可持久化线段树(主席树)
    权值线段树
    YNOI2020 游记
    《四月是你的谎言》语录
  • 原文地址:https://www.cnblogs.com/naaoveGIS/p/5164187.html
Copyright © 2011-2022 走看看