zoukankan      html  css  js  c++  java
  • python学习路线

    爬虫

    1.基础知识:网站基本原理,html,python,多进程/多线程/协程等(必学)

    2.HTML基础、网络请求模块:requests(必学),urllib(可以了解)

    3.需要了解一些常见的反爬策略以及对应的解决方案:常见的有IP频率限制,User-Agent、Referer、Origen验证,Cookie限制,动态加载及验证码等,

    对应的处理手段有IP代理池,伪造Header,Cookie保存与处理(基础进阶)

    4.网页分析提取:Beautifulsoup&Xpath(二选一),正则表达式(必学)

    5.动态执行JS,js加密以及Selenium,OCR识别或者打码平台(选学)

    6.数据存储(文件读写、数据库、Excel/CSV模块等)(必学)

    7.网络抓包分析(选学)

    8.爬虫框架:Scrapy(选学),pyspider(选学)

    9.分布式爬虫(选学)

    数据分析与处理

    1.基础知识:python(函数、模块、面向对象),正则表达式,JSON(必学)

    2.上述爬虫相关:

    ·基础知识:网站基本原理,html,python,多进程/多线程/协程等(必学)

    ·HTML基础、网络请求模块:requests(必学),urllib(可以了解)

    ·需要了解一些常见的反爬策略以及对应的解决方案:常见的有IP频率限制,User-Agent、Referer、Origen验证,Cookie限制,动态加载及验证码等,

    对应的处理手段有IP代理池,伪造Header,Cookie保存与处理(基础进阶)

    ·网页分析提取:Beautifulsoup&Xpath(二选一),正则表达式(必学)

    ·动态执行JS,js加密以及Selenium,OCR识别或者打码平台(选学)

    ·数据存储(文件读写、数据库、Excel/CSV模块等)(必学)

    3.数据分析相关库:Pandas,Numpy,Scipy,结巴分析等(必学)

    4.图表绘图与可视化:Matplotlip,词云(必学)

     大数据(数据挖掘、机器学习)

    1.基础知识:python(基础+进阶)(必学)

    2.金融学、统计学、计量经济学、投资学(必学)

    3.数据存储(文件读写、数据库、Excel/CSV模块等)(必学)

    4.数据分析相关库:Pandas,Numpy,Scipy,结巴分词(必学)

    5.图表绘图与可视化:Matplotlip等(必学)

    6.机器学习相关模型知识:朴素贝叶斯、决策树、Logistic回归、线性回归、KNN算法、SVM、

    Boosting、聚类、推荐系统、pLSA、LDA、GDBT、Regularization、异常检测、EM算法、Apriori、

    FP Growth等(必学)

    7.机器学习相关库:sklearn(必学)、keras、statsmodels、tensorflow(选学)

  • 相关阅读:
    C#学习第四弹之封装、继承和多态
    C#学习第三弹之给常量赋值可能引发的问题
    C#学习第二弹之C#与.NET框架
    hdu 5199 map或二分或哈希
    hdu 5195 线段树
    hdu 2545 并查集
    ACM数论模板
    C#学习第一弹之Hello World
    对字符串进行频繁拼接的话,使用StringBuffer或者StringBuilder
    String中根据,(逗号)进行分割
  • 原文地址:https://www.cnblogs.com/hankleo/p/10295656.html
Copyright © 2011-2022 走看看