Python开发笔记：网络数据抓取

    网络数据获取（爬取）分为两部分：

1、抓取（抓取网页）

· urlib内建模块，特别是urlib.request

· Requests第三方库（中小型网络爬虫的开发）

· Scrapy框架（大型网络爬虫的开发）

2、解析（解析网页内容）

· BeautifulSoup库

· re模块（正则表达式）

或者第三方API抓取和解析。

   Requests库（http://www.python-requests.org/en/master/）

基本方法：

  requests.get()：请求获取指定URL位置的资源，对应HTTP协议中的GET方法。

   

import requests  
  
r=requests.get('https://book.douban.com/subject/1084336/')  
  
r.status_code  
Out[3]: 200  
  
r.text  

　　

import requests  
  
re=requests.get('http://finance.sina.com.cn/realstock/company/sh000001/nc.shtml')  
  
print(re.text)  

　　BeautifulSoup库（https://www.crummy.com/software/BeautifulSoup/bs4/doc/）

  

from bs4 import BeautifulSoup  
  
markup = '<p class="title"><b>The Little Prince</b></p>'  
  
soup = BeautifulSoup(markup, "lxml")  
  
soup.b  
Out[5]: <b>The Little Prince</b>  
  
type(soup.b)  
Out[6]: bs4.element.Tag  
  
tag=soup.p  
  
tag.name  
Out[8]: 'p'  
  
tag.attrs  
Out[9]: {'class': ['title']}  
  
tag['class']  
Out[10]: ['title']  
  
tag.string  
Out[11]: 'The Little Prince'  
  
type(tag.string)  
Out[12]: bs4.element.NavigableString  
  
soup.find_all('b')  
Out[13]: [<b>The Little Prince</b>] 

　　

import requests  
from bs4 import BeautifulSoup  
r=requests.get('https://book.douban.com/subject/1084336/')  
soup=BeautifulSoup(r.text,'lxml')  
pattern=soup.find_all('p','comment-content')  
for item in pattern:  
    print(item.string)