爬虫urlib库的一些用法

1.urlopen函数

from urllib import request
resp = request.urlopen('http://www.google.com')
print(resp.readline()

2.urlretrieve函数

from urllib import request

request.urlretrieve('http://www.huacolor.com/article/UploadPic/2016-8/201684181124814.jpg','鲁班.jpg')

3.urlencode函数

from urllib import parse
params = {'name':'张三','age':18,'greet':'hello world'}
result = parse.urlencode(params)
print(result)

4.request.Request类

from urllib import request

url = 'https://www.lagou.com/jobs/list_python?labelWords=&fromSearch=true&suginput='
headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36'
}
req = request.Request(url,headers=headers)
resp = request.urlopen(req)
print(resp.read())

from urllib import request
from urllib import parse
url = 'https://movie.douban.com/chart'

headers = {
    'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36',
    'Referer':'https://movie.douban.com/chart'
}
data = {
    'first':'true',
    'pn':1,
    'kd':'python'
}

req = request.Request(url,headers=headers,data=parse.urlencode(data).encode('utf-8'),method='POST')
resp = request.urlopen(req)
print(resp.read().decode('utf-8'))

5.ProxyHandler处理器

from urllib import request

#没有使用代理的
url = 'http://httpbin.org/ip'
resp = request.urlopen(url)
print(resp.read())

#使用代理的
from urllib import request
#1.使用PronxyHandler，传入代理构建一个handler
url = 'http://httpbin.org/ip'
handler = request.ProxyHandler({'http':'60.179.237.106:6666'})
#2.使用上面创建的handler构建一个opener
opener = request.build_opener(handler)

#3.使用open去发送一个请求
resp = opener.open(url)
print(resp.read())
'''
1：代理的原理：在请求目标网站之前，先请求服务器，然后让代理服务器代理服务器去请求目的网站，
    代理服务器达到目的网站数据后，再转发给我们代码。
2：http://httpbin.org:这个网站可以方便的查看http请求的一些参数。
3：在代码中使用代理：
        *使用'urllib.request.ProxyHandler'，传入一个代理。这个代理是一个字典，字典的key
        依赖于代理服务器能够接受的类型，一般是'http'或者‘https’，值是‘ip:port'。
        
        *使用上一步创建的'handler'，以及'request.build_opener'创建一个'opener'对象
        
        *使用上一部创建的'opener'，调用’open‘函数，发起请求
'''

6.cookie库和HTTPCookieProcessor模拟登录

from urllib import request
dapeng_url = 'http://www.renren.com/880151247/profile'
headers = {
    'User-Agent':'ozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) 
Chrome/68.0.3440.75 Safari/537.36',
    # 'Referer':'http://browse.renren.com/s/all?from=opensearch&q=%E5%A4%A7%E9%B9%8F%E8%91%A3%E6%88%90%E9%B9%8F'
    'Cookie':'anonymid=jl6nqsuu44h803; depovince=GW; _r01_=1; JSESSIONID=abc_hQ0r79a4SbMk3kNvw; ick_login=8189308
　　　　9-8787-4d1b-8d91-093a5608ae53; ick=948391ec-cf0c-4e1a-b488-65a5fdadccec; t=92ad1c02b8570a1c8c691a5d2f4628eb9; soci
　　　　etyguester=92ad1c02b8570a1c8c691a5d2f4628eb9; id=967709729; xnsid=98d2e93c; XNESSESSIONID=1706376df76c; wp_fold=0;
 　　　　jebecookies=454f9f2b-7352-46de-a69e-5ee9ffbb1e34|||||; jebe_key=c4f55e14-a6fe-45f6-a80e-13d17265ba82%7C1f4466a4eb
　　　　a75f8ec6ca90b9b13e94ae%7C1535035343188%7C1; BAIDU_SSP_lcr=http://localhost:63342/S1/renren.html?_ijt=3shk5scmj5l77
　　　　d13j4mu526npu'
}
req = request.Request(url=dapeng_url,headers=headers)
resp = request.urlopen(req)
with open('renren.html','w',encoding='utf-8') as fp:
    '''
    write函数必须写入一个str数据类型
    resp.read()读出来是一个bytes数据类型
    bytes --> decode --> str
    str   --> encode -->bytes
    '''
    fp.write(resp.read().decode('utf-8'))

7.http.cookiejar模块：

from urllib import request
from urllib import parse
from http.cookiejar import CookieJar

headers ={
'User-Agent':'ozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/68.0.3440.75 Safari/537.36'
}

#1：登录
def get_opener():
    # 1.1创建一个cookiejar对象
    cookiejar = CookieJar()
    # 1.2使用cookiejar创建一个HTTPCookieProcessor对象
    handler = request.HTTPCookieProcessor(cookiejar)
    #1.3使用上一步创建的handler创建一个opener
    opener = request.build_opener(handler)
    return opener

def login_renren(opener):
    #1.4使用opener发送登录请求（人人网邮箱和密码）
    data = {
        'email':'970138074@qq.com',
        'password':'pythonspider'
    }
    login_url = 'http://www.renren.com/PLogin.do'
    req = request.Request(login_url,data=parse.urlencode(data).encode('utf-8'),headers=headers)
    opener.open(req)

#2.访问个人主页
def visit_profile(opener):
    dapeng_url = 'http://www.renren.com/880151247/profile'
    #获取个人主页不需要新建一个opener
    #而应该使用之前的那个opener，因为之前那个opener已经包含了
    #登录所需要的cookie信息
    req = request.Request(dapeng_url,headers=headers)
    resp = opener.open(req)
    with open('renren.html','w',encoding='utf-8') as f:
        f.write(resp.read().decode('utf-8'))


opener = get_opener()
login_renren(opener)
visit_profile(opener)