10、利用requests获取数据1

python requests

在开始之前，先对本次内容做如下规划：
第一部分：介绍爬虫的伪装
第二部分：介绍常见页面爬取方式

...
其他，更加高深的内容，在后期学习中持续更新

第一部分：爬虫的伪装

爬虫伪装的最高境界就是一个搜索引擎，至少本人是这样的认为的。

• 伪装代码
• 利用无界面浏览器，selenium

本次主要介绍伪装代码

伪装代码

伪装user-agent

1、利用F12 去网页复制，这是最常用，最方便的一种方式（请自行尝试，要是不会的话，请留言。）
2、利用fake 包将随机生成一个 user-agent
参考官网
fake-useragent
举栗如下：

from fake_useragent import UserAgent
ua = UserAgent()
ua.ie   # 获得一个ie的user_agent,下面同理
ua.chrome
ua.opera
ua.google
ua.firefox
ua.ff
ua.safari
...

每次调用，返回的都是随机user_agent

for i in range(10):
      print(ua.ie)

# 结果如下：
"""
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.2; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0)
Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 5.1; Trident/4.0; InfoPath.2; SLCC1; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 2.0.50727)
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.2; Trident/4.0; SLCC2; .NET CLR 2.0.50727; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0)
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; Media Center PC 6.0; .NET CLR 3.5.30729; .NET CLR 3.0.30729; .NET4.0C)
Mozilla/5.0 (compatible; MSIE 10.6; Windows NT 6.1; Trident/5.0; InfoPath.2; SLCC1; .NET CLR 3.0.4506.2152; .NET CLR 3.5.30729; .NET CLR 2.0.50727) 3gpp-gba UNTRUSTED/1.0
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; .NET CLR 2.0.50727; InfoPath.2)
Mozilla/5.0 (compatible, MSIE 11, Windows NT 6.3; Trident/7.0;  rv:11.0) like Gecko
Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; WOW64; Trident/4.0; SLCC2; Media Center PC 6.0; InfoPath.2; MS-RTC LM 8
Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0; FunWebProducts)
Mozilla/5.0 (compatible; MSIE 8.0; Windows NT 5.1; SLCC1; .NET CLR 1.1.4322)

"""

伪装cookie

1、 从页面获取想要网页的cookie，这个需要手动查找
2、 利用requests中的session，个人比较懒，所有首选session 。 requests文档

import requests
s = requests.Session()  # 创建session实例
s.get("登录网址")  # 登录网址的cookie以及其他的东西保存在s对象中
response = s.get("真实数据网址")   # 利用s对象发起请求，获取数据

其中s = requests.Session() 这是一个对象，我们利用这个对象来进行，进一步的探索
回顾一下：一个对象主要有两部分组成，属性和方法

• 属性：多为静态的数据，名称多为名词
• 方法：为处理方式（函数），名称多为动词

improt requests
s = requests.Session()
print(dir(s))
'''
['__attrs__', '__class__', '__delattr__', '__dict__', 
'__dir__', '__doc__', '__enter__', '__eq__', '__exit__', 
'__format__', '__ge__', '__getattribute__', '__getstate__', 
'__gt__', '__hash__', '__init__', '__init_subclass__', '__le__', 
'__lt__', '__module__', '__ne__', '__new__', '__reduce__', 
'__reduce_ex__', '__repr__', '__setattr__', '__setstate__', 
'__sizeof__', '__str__', '__subclasshook__', '__weakref__', 
'adapters', 'auth', 'cert', 'close', 'cookies', 'delete', 
'get', 'get_adapter', 'get_redirect_target', 'head', 'headers', 
'hooks', 'max_redirects', 'merge_environment_settings', 'mount', 
'options', 'params', 'patch', 'post', 'prepare_request', 'proxies', 
'put', 'rebuild_auth', 'rebuild_method', 'rebuild_proxies', 'request', 
'resolve_redirects', 'send', 'stream', 'trust_env', 'verify']
上述部分为s对象的属性和方法，略过其中不认识的。
重点关注一下几个
'close', 'cookies', 'delete','get',  'headers','params','post','proxies', 'put','verify'
'''
# 若还是不懂，请参考官方手册，或者 help(s.xxx)

第二部分：介绍常见页面爬取方式

get , post , put , delete
最常用，get,post

# requests.get 可以添加的参数有多少
'''
url -- URL for the new Request object.
params -- (optional) Dictionary(字典) or bytes to be sent in the query string for the Request.  关键参数  kw=pyhton
data -- (optional) Dictionary(字典) or list of tuples [(key, value)] (will be form-encoded), bytes, or file-like object to send in the body of the Request.  提交数据
json -- (optional) json data to send in the body of the Request.
headers -- (optional) Dictionary(字典) of HTTP Headers to send with the Request.  
cookies -- (optional) Dict(字典) or CookieJar object to send with the Request.  
files -- (optional) Dictionary of 'name': file-like-objects (or {'name': file-tuple}) for multipart encoding upload. file-tuple can be a 2-tuple ('filename', fileobj), 3-tuple ('filename', fileobj, 'content_type') or a 4-tuple ('filename', fileobj, 'content_type', custom_headers), where 'content-type' is a string defining the content type of the given file and custom_headers a dict-like object containing additional headers to add for the file.
auth -- (optional) Auth tuple to enable Basic/Digest/Custom HTTP Auth.
timeout (float（浮点数） or tuple) -- (optional) How many seconds to wait for the server to send data before giving up, as a float, or a (connect timeout, read timeout) tuple. 超时，等待时间
allow_redirects (bool) -- (optional) Boolean（布尔值）. Enable/disable GET/OPTIONS/POST/PUT/PATCH/DELETE/HEAD redirection. Defaults to True. 是否允许重定向
proxies -- (optional) Dictionary（字典） mapping protocol to the URL of the proxy.  设置代理
verify -- (optional) Either a boolean（布尔值）, in which case it controls whether we verify the server's TLS certificate, or a string, in which case it must be a path to a CA bundle to use. Defaults to True.  SSL验证
stream -- (optional) if False, the response content will be immediately downloaded.
cert -- (optional) if String, path to ssl client cert file (.pem). If Tuple, ('cert', 'key') pair.
'''

requests.post，同上...

headers里面我们可以放什么数据

headers = {
      "Accept" : # 用来表示浏览器支持的内容有那些
      "Accept-Encoding" : # 支持的压缩格式
      "Accept-Language" : # 支持的语言类型
      "User-Agent" : # 用户代理
      "Connection" : # 客户端与服务器的连接类型
      "Host" : # 请求的服务器网址
      "Referer" : # 来源网址地址
      ...
}

总结

利用requests库伪装一个爬虫还是非常简单的，只需要传递参数就可以完成一个简单爬虫的伪装
传递的参数如下：

• headers
  - user-agent (必传)
• cookie （可选）
• timeout （可选）
• proxies （可选）设置ip代理
• verify （可选）设置SSL验证