【网络爬虫】 预备知识
一. 正则表达式之常用表达式
正则表达式里有很多东西，学精不易，但做爬虫不需要学精，只要会其中部分就行，下面将介绍本人常用的表达式，基本够用了。
1. 去头去尾 --- (?<=...)...(?=...)
该表达式是本人用的最多的，如题意，去头去尾匹配中间，匹配单条数据时非常好用，正则好写，容易理解，且匹配出来的东西就是想要的
2. 分组 ---（?<组名>...）...
该表达式主要用在用一个正则匹配多条数据时使用
会了上面2个基本就没问题了
二. 抓包工具，做爬虫这是至关重要的，没有工具基本是做不出来的
这里推荐 ie11 自带的 F12。
目前还没发现抓不到的包，而且自带搜索功能也很给力
三. Http
1. 头信息 ：
a. Accept -- 接收到数据的类型，常见的有 html，txt, js, css, jpg
b. Referer -- 上次请求的 url
c. User-Agent -- 浏览器类型
d. Host -- 抓取网站域名
e. Cookie -- 头信息里最重要的，上面几个参数基本都可以通过抓包工具获取，但 Cookie 有些会失效 ，所以需要自己解析并仿照
2. 发包方式 ：
a. 发包方式有2中 ： GET 和 POST 可以有抓包工具获取
b. GET 方式较 POST 要简单， GET 的参数是放在 Url 里的，仿照起来较简单
c. POST 方式，POST 参数一般都会经过加密处理，而且还有些参数是通过 js 计算得到的，要想仿照就比较难了，尤其是登录的时候，对密码的加密，而且一般还会涉及到 Cookie，还有些网站有防爬验证，所以能不能成功大多看网站的安全性。