第1课-urlib

1、urllib库

    request模块：
       1、发送请求：request.urlopen(url);
       2、下载网页：request.urlretrieve(url);
       3、代理模块：ProxyHandler
           1、使用proxyHandler,传入代理构建一个handler
           handler = request.ProxyHandler({"http":"136.228.128.14:61158"})
           2、使用上面创建的handler构建一个opener
           opener = request.build_opener(handler)
           3、使用opener去发送一个请求
           resp = opener.open(url)
     parse模块：
           1、url加密：parse.urlencode(dict);
           2、url解密：parse.parse_sq(str);
           3、域名解析：parse.urlsplit(url)

2、带header及data的请求发送
    my_request = request.Request(url,headers,data=parse.urlencode(data).encode("utf-8"),method="POST")
    resp = request.urlopen(my_request)
    resp.read().decode("utf-8")

3、from http.cookiejar import CookieJar(使用cookie)
    1、使用cookie
    cookie_jar = CookieJar()
    handler = request.HTTPCookieProcessor(cookie_jar)
    opener = request.build_opener(handler)
    req = request.Request(url=login_url,data=parse.urlencode(data).encode("utf-8"),headers=headers,method="POST")
    opener.open(req)
    2、请求需要cookie认证的接口
    req1 = request.Request(url=dapeng_url,headers=headers,data=parse.urlencode(data).encode("utf-8"),method="POST")
    resp = opener.open(req1)
    3、保存网页
    with open("dapeng.html","w",encoding="utf-8") as fp:
    fp.write(resp.read().decode("utf-8"))