【Python】从0开始写爬虫——小试身手

先写个demo获取数据，我不会做太多介绍，基本上都会写在注释里。

header 的数据一般就是在浏览器的调试工具里，有的网站访问需要登陆，就要加cookie。像Chrome的调试工具 快捷键是F12. 去到新浪首页，按F12调出开发者工具，然后刷新。在Network下拉到最上面就能看到一开始的请求信息（我之前是做java web的，略微会一点。）

import urllib.request

header = {
    'User-Agent':
        'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36',
}
url = "http://www.sina.com"

request = urllib.request.Request(url=url, headers=header)  # url为爬取的链接，headers主要是假装我们不是爬虫，现在我们就假装我们是个Chrome浏览器

response = urllib.request.urlopen(request)  # 请求数据

data = response.read()  # 读取返回的数据

data.decode("UTF-8")  # 设置字符格式为utf-8，可以处理中文

然后控制台会打印出一段html，就是新浪的首页，数据太多就不发了，发一部分截图。

然后我们用BeautifulSoup试着解析一下。

先导入BeautifulSoup， 一般都是加在最上面

import urllib.request
from bs4 import BeautifulSoup

然后在最后面把 print(data) 那句去掉加上

soup = BeautifulSoup(data, "html.parser")  # 把html转换成BeautifulSoup对象，这样我们就可以用BeautifulSoup的方法来解析html

print(soup)  # 打印

控制台输出如下

然后我们可以

print(soup.title)  # 打印标题

print(soup.find_all("a"))  # 打印所有a标签

控制台输出， 因为find_all("a")  会找出所有的a标签，所以输出很多

现在就得去了解BeautifulSoup更多的知识，以便我们能更加快速得获取我们想要得信息。

忘了贴一下完整的代码

import urllib.request
from bs4 import BeautifulSoup

header = {
    'User-Agent':
        'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
}
url = "http://www.sina.com"

request = urllib.request.Request(url=url, headers=header)  # url为爬取的链接，headers主要是假装我们不是爬虫，现在我们就假装我们是个Chrome浏览器

response = urllib.request.urlopen(request)  # 请求数据

data = response.read()  # 读取返回的数据

data.decode("UTF-8")  # 设置字符格式为utf-8，可以处理中文

soup = BeautifulSoup(data, "html.parser")  # 把html转换成BeautifulSoup对象，这样我们就可以用BeautifulSoup的方法来解析html

print(soup.title)  # 打印标题

print(soup.find_all("a"))  # 打印所有a标签