zoukankan      html  css  js  c++  java
  • 非计算机专业小白自学爬虫全指南(附资源)

    爬虫是我接触计算机编程的入门。哥当年写第一行代码的时候别提有多痛苦。

    本文旨在用一篇文章说透爬虫如何自学可以达到找工作的要求。

    爬虫的学习就是跟着实际项目去学,每个项目会涉及到不同的知识点,项目做多了,自然也就会了。练练练!!!!

    本文推荐的资源就是以项目练习带动爬虫学习,囊括了大部分爬虫工程师要求的知识点。

    爬虫工程师要求知识点

    1、python入门和进阶(进阶的包括多进程等等)

    2、HTTP知识(因为要爬的是网页,所以要了解网页)

    2、web前端:HTML、CSS、Javascript等

    3、爬虫知识(爬虫基本库的使用、scrapy框架等)

    4、反爬虫(代理池、分布式等等)

    5、数据库(大批量数据的储存涉及mysql等)

    先导知识

    HTTP协议:https://www.cnblogs.com/ranyonsue/p/5984001.html

    html,css,javascript:学爬虫这些东西是肯定要看的,推荐W3school,倒也不用全看,懂个大概就好了

    最佳学习资源推荐

    前期教程:https://cuiqingcai.com/1052.html(现今网上最全的爬虫学习教程)

    目录列表:

     
     

    但是,只学完上面是不够找工作的,所以我整理了下面的资料,是我花了几个月时间自学,精选来的教程,重中之重。包含知识点:IP代理、mongoDB、mysql、抓包、分布式、selenium、模拟登陆、cookie等等

    爬虫实战项目一,涉及知识点:mysql储存、断点续爬、抓包app、ip代理、cookie模拟登陆

    1、https://zhuanlan.zhihu.com/p/26810901

    2、https://zhuanlan.zhihu.com/p/26527575

    3、https://www.cnblogs.com/hearzeus/p/5157016.html

    4、https://www.jianshu.com/p/887af1ab4200

    爬虫实战项目二,涉及知识点:scrapy具体应用

    scrapy知识点:https://www.cnblogs.com/cnkai/category/1061919.html

    scrapy中文文档:https://scrapy-chs.readthedocs.io/zh_CN/1.0/intro/tutorial.html

    scrapy项目实战:https://www.cnblogs.com/cnkai/category/1062011.html

    补充:https://segmentfault.com/a/1190000009321902

    爬虫实战项目三,涉及知识点:去重、分布式、多进程、模拟登陆

    1、https://cuiqingcai.com/4352.html

    数据库,掌握基本用法即可

    mysql:http://www.runoob.com/mysql/mysql-tutorial.html

    mongodb:http://www.runoob.com/mongodb/mongodb-tutorial.html

    找工作必备

    计算机基础,包含(数据结构与算法、计算机网络协议等计算机专业基本课程、我前面的文章里有介绍怎么学),非计算机专业学生容易忽略

    其他技能(可选,加分)

    javascript,验证码,app破解

    1、要想破解加密,得非常强悍的javascript基础,这个我也不是很懂

    2、验证码,工业界目前破解验证码还是用打码平台

    3、现在不仅仅是网站破解了,很多公司需要你抓app的数据,抓包最常用,你还得会app脱壳之类的,这些我就不懂了。

    拓展阅读:

    一文了解爬虫与反爬虫

    https://segmentfault.com/a/1190000005840672

    最后,请注意,爬虫的工作机会相对较少。

    文章发布,讨论学习,公众号:learningthem

  • 相关阅读:
    Scrapy 概览笔记
    Python 依赖版本控制 (requirements.txt 文件生成和使用)
    Python 虚拟空间的使用
    macOS 所有版本 JDK 安装指南 (with Homebrew)
    鉴权那些事
    Java 位运算符和 int 类型的实现
    ASP.NET Core 入门教程 5、ASP.NET Core MVC 视图传值入门
    如何做好一次知识或技术分享
    ASP.NET Core 入门教程 4、ASP.NET Core MVC控制器入门
    ASP.NET Core 入门教程 3、ASP.NET Core MVC路由入门
  • 原文地址:https://www.cnblogs.com/learningthem/p/9517361.html
Copyright © 2011-2022 走看看