python爬虫（一）

        什么是网络爬虫？爬虫可以理解为一段按照一段规则抓取网络信息的程序，比如我们常用的搜索引擎就是网络爬虫。因为python写爬虫的效率比较高，所以很多爬虫都是使用python开发的。

        爬虫模拟浏览器自动对服务器交互，一般web浏览器发生的事情：打开浏览器，浏览器对服务器发送请求，服务器回应客户端，浏览器显示网页。我们可以通过代码模拟这个过程，比如下载一部小说，代码框架如下

import requests
import re

url = 'http://www.jingcaiyuedu.com/book/15401.html'

response = requests.get(url)
response.encoding = 'utf-8'

html = response.text

title = re.findall(r'',html)[0]

fb = open('%s.txt'%title,'w',encoding=''utf-8)

download = re.findall(r'',html,re.S)[0]
chapter_info_list = re.findall(r'',download)

for chapter_info in chapter_info_list:
    chapter_url,chapter_title = chapter_info
    chapter_url = ''

    chapter_content = chapter_content.replace(' ','')

    fb.write(chapter_title)
    fb.write(chapter_content)
    fb.write('/n')

    print(chapter_url)

          request模块，提供了能发送网络请求的方法get，post等。思路：首先获取这个url页面的代码给response，修改编码形式。再用findall方法，用正则表达式检索相应的字段，保存小说的标题、章节号、内容。最后清洗数据和储存。