zoukankan      html  css  js  c++  java
  • Python3爬虫获取

      “AttributeError: 'module' object has no attribute 'urlopen'”
     
    原因是Python3里的urllib模块已经发生改变,此处的urllib都应该改成urllib.request。
     
    修改之后再运行,发现又有如下提示:
     
        TypeError: can't use a string pattern on a bytes-like object
     
    原因为Python3 findall数据类型用bytes类型,因此在正则表达式前应添加html = html.decode('utf-8')。
     
    修改完后运行,成功~,不过由于网站原因,仍只能保存最近的24张背景图。最终代码如下:

    #!/usr/bin/env python

    # -*- coding:utf-8 -*-

    # -*- author:arron ni-*-

    # python3抓取bing主页所有背景图片

    import urllib,re,sys,os

    def get_bing_backphoto():

        if (os.path.exists('photos')== False):

            os.mkdir('photos')

        for i in range(0,30):

            url = 'http://cn.bing.com/HPImageArchive.aspx?format=js&idx='+str(i)+'&n=1&nc=1361089515117&FORM=HYLH1'

            html = urllib.request.urlopen(url).read()

            if html == 'null':

                print( 'open & read bing error!')

                sys.exit(-1)

            html = html.decode('utf-8')

            reg = re.compile('"url":"(.*?)","urlbase"',re.S)

            text = re.findall(reg,html)

            #http://s.cn.bing.net/az/hprichbg/rb/LongJi_ZH-CN8658435963_1366x768.jpg

            for imgurl in text :

                right = imgurl.rindex('/')

                name = imgurl.replace(imgurl[:right+1],'')

                savepath = 'photos/'+ name

                urllib.request.urlretrieve(imgurl, savepath)

                print (name + ' save success!')

    get_bing_backphoto()

     

  • 相关阅读:
    090828 H 小道理
    091031 T PowerShell Solution
    关注我们共有的家园,别让企鹅成为传说
    发布网站时自动切换connectionString
    bookmark: partitioned tables in sql server 2005
    it did suprise me a little bit..
    无法删除附加到事件上的匿名代理
    如何在自己工程项目中使用TouchJSON框架
    VMware 8安装苹果操作系统Mac OS X 10.7 Lion正式版
    Net线程间通信的异步机制
  • 原文地址:https://www.cnblogs.com/zfquan/p/8057672.html
Copyright © 2011-2022 走看看