zoukankan      html  css  js  c++  java
  • 爬虫第二节浏览器模拟

    # 浏览器模拟---Headers属性
    # 有时候,我们无法爬取一下网页,会出现403错误,应为这些网页为了防止别人恶意采集其信息
    # 所以进行了一些反爬虫的设置
    # 所以想进行反爬机制可设置一些Header信息,模拟浏览器去进行访问网站
    # 首先用之前的方法进行爬取
    # import urllib.request
    #
    # url = "https://movie.douban.com"
    # file = urllib.request.urlopen(url)
    # print(file)
    #故会出现的错误:urllib.error.HTTPError: HTTP Error 418:

    # 接下来我们讲解两种让爬虫模拟成了浏览器访问网页的设置方法
    # 方法1:使用build_opener()修改报头
    # 由于URLopen()不支持一些http的高级功能所以我们如果要修改报头,
    # 可以使用urlib.request.build_opener()进行,
    import urllib.request

    url = "https://movie.douban.com"
    headers = ("User-Agent",
    "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0")
    opener = urllib.request.build_opener()
    opener.addheaders = [headers]
    data = opener.open(url).read()
    print(data)
    # 对上述代码进行解释:首先进行定义一个变量url存储要爬取的网站,然后在在定义一个变量
    # headers存储对应的User-agent信息,定义的格式为("User-Agent",具体信息)
    # 然后我们需要使用urllib.request.build_opener()创建自定义的opener对象并赋给变量opener
    # 接下来设置opener对象的addheaders 设置对应的头信息,
    # 设置格式为“opener对象名.addheaders=[头信息]
    # 使用opener对象的.open()方法打开对应的网址了,使用格式是opener对象名.open(url地址)。
    # 打开对应网址后,再使用read()方法读取对应数据,并赋给data变量


    # 然后进行写入文件
    fhandle=open("G:/百度网盘/精通Python网络爬虫源码/书中源码/2.html", "wb")
    fhandle.write(data)
    fhandle.close()



    # 方法二,使用add_header()添加报头,还有可以使用urllib.request.Request()下的add_header()
    # 实现浏览器模拟器
    import urllib.request

    url = "http://blog.csdn.net/weiwei_pig/article/details/51178226"
    req = urllib.request.Request(url)
    req.add_header('User-Agent',
    'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0')
    data = urllib.request.urlopen(req).read()
    print(data)

    # 设置要爬取的网址,然后使用urllib.request.Request(url)创建一个Request对象并赋给变量req
    # 创建对象的格式为:urllib.request.Request(url地址)
    # 随后,使用add_header()方法添加对应的报头信息,格式为:Request对象名.add_header(字段名,字段值)
    # 设置好报头,然后我们使用urlopen()打开该Request对象即可打开对应网址,所以此时我们使用data=urllib.request.urlopen(req)。read()
    # 打开对应网址并读取了网页内容,并赋给了data变量
  • 相关阅读:
    RPC 调用简述
    bootstrap tab切换无效的一种情况
    html块元素和内联元素介绍
    重装系统后,Linux虚拟机无法联网
    datatables.js表头挤在一列的解决办法
           ‌‍ 6种空白空格的区别
    pagination.js通过ajax请求获取数据
    谷歌浏览器调制,控制面板各命令总结
    点击表格弹窗获取另外一套数据之后,原表格相关数据的调用
    datatable columns与columnDefs
  • 原文地址:https://www.cnblogs.com/kwkk978113/p/12870841.html
Copyright © 2011-2022 走看看