zoukankan      html  css  js  c++  java
  • 数据获取,解析,存储等知识的学习总结

    数据获取,解析,存储等知识的学习总结

    作者:csj
    更新时间:2017.12.31

    email:59888745@qq.com

    说明:因内容较多,会不断更新 xxx学习总结,此部分已更新完;

    回主目录:2017 年学习记录和总结

    我们在数据处理,数据分析时,数据的来源有:

    1.直接读取已有的.csv;.txt;.excel文件;
    2.解析json数据;
    3.url获取数据;自己在网上或指定的网站抓取,解析,来获取数据。


    这部分我们主要讲解第3点,如何自己从网站抓取数据,解析数据,存储数据;一般从指定url获取数据,清洗数据,保存到csv文件里;

    主要的知识点有:

    1.HTTP请求处理requests:

      定制头部信息
      Post表单提交
      Cookie设置与读取
      超时设置
     

    2.XML/Json解析
    内置json库
      dump(s):把dict转换为json文本
      Load(s):把json文本转换为dict
    HTMLParser:
      DOM:特点
      SAX:特点

    3.CSS定位器基础知识
      定位方式 同过html,css的页面元素来定位
        元素 element
        类 .class, element.class1.class2
        Id, element
        属性 [prop=value], element[prop=value]

    4.静态网页解析
      BS4:find函数搜索使用
      使用css定位器搜索,获取所需要的数据

    5.反爬虫用到的主要方法
      伪装浏览器
      伪装多个IP
      操作速度不要太快
      使用不同账号

    6.使用REDIS实现队列服务

    7.Selenium

      写定位信息,快速和稳定地定位页面上的元素

  • 相关阅读:
    函数指针
    回调函数
    内核文件ntoskrnl.exe,ntkrnlpa.exe的区别??
    单引号和0的ASCII码
    文件句柄和句柄
    ObReferenceObjectByName蓝屏问题
    DbgPrint/KdPrint输出格式控制
    LPNMITEMACTIVATE pNMItemActivate = reinterpret_cast<LPNMITEMACTIVATE>(pNMHDR);
    Mac中SVN的常见命令
    小程序分包加载实现代码包总上限8M
  • 原文地址:https://www.cnblogs.com/csj007523/p/8157402.html
Copyright © 2011-2022 走看看