zoukankan      html  css  js  c++  java
  • 全国火车高铁站及车次数据爬虫(内含100W+数据,免费领取!)

    具体代码丢了

    思路如下:

    • 所需工具:Python、VBA、Arcgis、高德地图API
    • 数据来源:不记得了,之前爬过盛名火车站的,但是查了下,并不全。
    • 数据日期:这里的火车数据更新截止到2018-7月,可能以后还有新的火车站建设,有需要再搞
    • 数据总量:100W+吧,没仔细数

     

    在相关网站上把各省各地的火车数据爬取下来,我爬完后是这个样

    再通过一段VBA代码整理了一下,变成如下这样

    可以具体到各地到各地的火车数据了,要克服的困难有:将上面的数据做成数据透视表的时候

    数据透视表会按拼音顺序排列,这样的排列出来的火车数据是错误的,我想到的办法是在

    火车车站名前加上1 、2、3这样的数字,便可解决。最后去掉即可

    共有将近80W,还是挺多的

    有了全国各地到各地的火车数据还不够

    我还想把各地到各地的火车数据转化成各市到各市的

    这里要用到一个叫Arcgis的地图工具

    在这之前需要将各地的火车站转换成高德地图坐标,高德地图API提供了这么一个功能

    用Python写一段代码即可实现,自己可以去高德地图开发者平台看看,挺简单的,不写具体的了

    完成后如下:

    接着在放到Arcgis里面操作

    说实话,这个Arcgis自己琢磨了一天才会弄,有点无语,但是挺好用,蛮神奇

    这里只列了高铁的数据,高铁的车型号一般为:G D C

    以下就是各城市到各城市的高铁数据了

    然后就完成了

    数据列表如下:

    • 全国火车及高铁车次源数据
    • 全部火车车次汇总
    • 高铁车次源数据(就是把第一个sheet数据里的G D C车型的给提炼出来)
    • 高铁车次汇总
    • 城市-城市 的高铁源数据
    • 城市-城市 高铁车次汇总
    • 各高铁站经纬度(火车站也有)

    共计应该有100W+吧

    19.7.11更新

    打算爬今年的数据了,其实不难的,按照步骤一步步来就okay了

    加微信公众号:AInnee

    (第二个字母是大写的i)发送“高铁数据+你微信号”,后台会加你并免费发你数据哦。

  • 相关阅读:
    检验Excel中数据是否与数据库中数据重复
    C# 上传文件
    asp.net Excel导入和导出
    完整ASP.Net Excel导入
    C#遍历指定文件夹中的所有文件
    C#获取文件夹下的所有文件的文件名
    UITextField 文本框 只能输入数字 且保留2位小数 实现
    Asp.Net生成无限级菜单
    给Repeater增加button事件,并绑定值
    简洁的Asp.net菜单控件
  • 原文地址:https://www.cnblogs.com/EvilAnne/p/9564228.html
Copyright © 2011-2022 走看看