编写程序模拟浏览器上网，让其去互联网上获取数据的过程。
通用爬虫
针对的是一整张页面。搜索引擎。
聚焦爬虫
页面中的局部的内容。
对应的载体是门户网站。
robots协议
特点是防君子不防小人。
协议的查看方式为网站的url + robots.txt。
User-Agant 请求载体的身份标识。
对应的载体是爬虫程序。
第一种：
手动提取cookie值封装到请求头信息中。
第二种：
使用session