、爬虫：写程序，然后去互联网上抓取数据的过程
互联网：网，有好多a连接组成，王的节点就是每一个a链接，url（统一资源定位符）
通用爬虫，聚焦爬虫
通用爬虫：百度 360 搜狐 bing 。。。
原理：
（1）抓取网页
(2) 采集数据
（3）数据处理
（4）提供检索服务
爬虫：baiduspider
通用爬虫如何抓取新网站?
（1）主动提交url
(2)设置友情链接
（3）百度会和dns服务商合作，抓取新网站
检索排名：竞价排名，根据pagerank值、访问量，点击量（seo）
robots.txt
如果不想让爬虫爬取，可以编写robots.txt，这个协议只是口头上的协议。自己写的爬虫程序不需要遵从。
聚焦爬虫：
根据特定的需求，抓取指定的数据
思路？
代替浏览器上网！
网页的特点：
（1）网页都有自己的唯一的url
（2）网页内容都是html结构
（3）使用的都是http，https协议
爬取步骤：
（1）给一个url
（2）写程序，模拟访问浏览器url
（3）解析内容，提取数据
环境：windows，linux
python3.6 64位
Sublime pycharm等
课程内容：
（1）使用到的库：urllib、requests、bs4.。。
（2）解析网页内容的知识
正则表达式，bs4，xpath，jsonpath
（3）涉及到动态html
selenium+phantomjs，chromeheadless
（4）scrapy框架
高性能框架使用
（5）scrapy-redis组件
redis，分布式爬虫
（6）涉及到的爬虫-反爬虫--反反爬虫的一些内容
Ua ，代理，验证码，动态页面等