一、一些基本的库
1、requests 库：
requests是用python语言基于urllib编写的，采用的是Apache2 Licensed开源协议的HTTP库，默认安装好python之后，是没有安装requests模块的，需要单独通过pip安装。
2、requests 库的一些基本函数：
requests 库的网页请求函数
| 函数 | 说明 |
| get(url [, timeout=n]) | 对应HTTP的GET方式，设定请求超时时间为n秒 |
| post(url, data={'key':'value'}) | 对应HTTP的POST方式，字典用于传输客户数据 |
| delete(url) | 对应HTTP的DELETE方式 |
| head(url) | 对应HTTP的HEAD方式 |
| options(url) | 对应HTTP的OPTIONS方式 |
| put(url, data={'key':'value'}) | 对应HTTP的PUT方式，字典用于传输客户数据 |
get方法，它能够获得url的请求，并返回一个response对象作为响应。
response对象的属性
| 属性 | 说明 |
| status_code | HTTP请求的返回状态 |
| encoding | HTTP响应内容的编码方式 |
| text | HTTP响应内容的字符串形式 |
| content | HTTP响应内容的二进制形式 |
response对象的方法
| 方法 | 说明 | ||
|
若http响应内容中包含json格式数据, 则解析json数据 | ||
|
|
（常见的HTTP状态码：200 - 请求成功，301 - 资源（网页等）被永久转移到其它URL，404 - 请求的资源（网页等）不存在，500 - 内部服务器错误)。
3、BeautifulSoup 库：
Beautiful Soup是python的一个HTML或XML的解析库，我们可以用它来方便的从网页中提取数据，它拥有强大的API和多样的解析方式。
二、我的第一个Python爬虫
1、运用 requests 库的 get() 函数访问 360搜索主页并打印相应的属性：
import requests for i in range(20): r=requests.get("https://hao.360.com/") r.encoding='utf-8' print("第{}次爬取".format(i+1)) print("返回状态：{}".format(r.status_code)) print("网页内容的长度：{}".format(len(r.text))) print("text 的内容：{}".format(r.text)) print("content 属性所返回的网页长度:{}".format(len(r.content)))
运行结果如下图：
2、利用 BeautifulSoup 对一个简单的 HTML 页面保存为字符串进行操作：
html 文本为：
html='''<!DOCTYPE html> <html> <head> <meta charset='utf-8'> <title>菜鸟教程(runoob.com)</title> </head> <body> <h1>我得第一个标题</h1> <p id="first">我得第一个段落。</p> <body> <table border="1"> <tr> <td>row 1, cell 1</td> <td>row 1, cell 2</td> </tr> <tr> <td>row 2, cell 1</td> <td>row 2, cell 2</td> </tr> </table> </html>'''
从html文本中获取soup：
from bs4 import BeautifulSoup # 这里指定解析器为html.parser（python默认的解析器) soup = BeautifulSoup(html,'html.parser') printf(type(soup)) # 输出：<class 'bs4.BeautifulSoup'>
获取 head 内容：
print("head 标签内容和学号 后两位：",html.head,'学号后两位 18 ')
输出为：
获取 body 标签内容：
print("body 标签的内容：",soup.body)
输出为：
获取 id 为 frist 的标签对象：
first=soup.select('#first') print("first 标签的内容：{}".format(first)) print(type(first))
输出为：
获取 html 页面的中文字符（采用正则表达式）：
import re pat=re.compile(r'[u4e00-u9fa5]+') result=pat.findall(html)
输出为：
以上就是我的第一个python爬虫程序。