python开发轻量级爬虫

课程目标：

python开发轻量级爬虫

课程内容：

爬虫简介

• 爬虫：一段自动抓取互联网信息的程序

简单爬虫架构

• 爬虫调度器
  
• URL管理器、
  
• 网页下载器（urllib2）、
  
• 网页解析器（BeautifulSoup4）
  
• 网页生成器

完整实例

• 爬取百度百科1000个页面的数据
  

 

null