zoukankan      html  css  js  c++  java
  • 爬虫-批量获取图片

    python版本:3.0

    使用库: import urllib.request  #打开网页的库

                import os                  #创建文件夹有关

    程序作用:批量爬取煎蛋网上图片

    视频链接:链接:http://pan.baidu.com/s/1mhLBwWo 密码:1n51

    有一点与视频不同:视频中图片链接为http:打头,实际煎蛋网目前没有http:,会导致无法识别网页类型,不能正确下载,在保存是补上http:即可

    基础知识:

    1.对于某个网站,网址一般是按顺序编码的比如:http://jandan.net/ooxx/

    使用浏览器的审查元素,可以发现网址<a href="http://jandan.net/ooxx/page-2366#comments">

    2366 </a>

    第一页,第十页,第二十页改变的就是page-后面的数字,改变每次打开网页的这个数字就可以达到刷网页的目的,大家可以依次打开下面的网址,可以发现其规律

    http://jandan.net/ooxx/page-2366#comments

    http://jandan.net/ooxx/page-2365#comments

    http://jandan.net/ooxx/page-2364#comments

    2.网页上图片点击,可以发现图片的地址都有如下规律:

    http://wx1.sinaimg.cn/mw600/005vbOHfgy1fd1ur0l6lbj31ao1y0nc8.jpg

    http://wx1.sinaimg.cn/mw600/005vbOHfgy1fd1ur0l6lbj31ao1y0nc7.jpg

    我们可以从一个网页的代码中筛选出这个格式的链接,利用python带的函数下载即可

    程序思路:批量获取含有图片的网页,获取网页上包含的图片链接,下载图片

    程序框架:

    def test1(folder ='OOXX',pages=2):       //00XX为文件夹,程序运行时将创建,pages为抓取的网页数
        os.mkdir(folder)  #创建文件夹
        os.chdir(folder)  
        url="http://jandan.net/ooxx/"       //要抓取的网页
        page_num=int(get_page(url))         //获取第一个网址
    
        for i in range(pages):              
            page_num -=i        
            page_url= url +'page-' +str(page_num) +'#comments'   //批量获取网址
            img_addrs = find_imgs(page_url)    //获取图片链接
            save_imgs(folder,img_addrs)       //保存图片
    if __name__=='__main__':
            test1()
    

    完整代码:

    import urllib.request     #打开网页的库
    import os                 #创建文件夹有关
    
    
    def url_open(url):        #打开网页
        req=urllib.request.Request(url)     #
        req.add_header('User-Agent','Mozilla/5.0 (Windows; U; Windows NT 5.2) AppleWebKit/525.13 (KHTML, like Gecko) Chrome/0.2.149.27 Safari/525.13 ')     #看起来像浏览器访问
        response = urllib.request.urlopen(url)
        html = response.read()
        print(url)
        return html
    
    def get_page(url):             
        html=url_open(url).decode('utf-8')  #解码
        a=html.find('current-comment-page')+23
        b=html.find(']',a)
        return html[a:b]
       
       
    
    
    def find_imgs(url):        #寻找图片地址
        html=url_open(url).decode('utf-8')
        img_addrs=[]
        a=html.find('img src=')
        while a!=-1:
            
            b =  html.find('.jpg',a,a+255)       #找不到返回-1,255限定结束范围
            if b!=-1:                            #找到了
                img_addrs.append('http:'+html[a+9:b+4])  #列表添加地址  实际地址缺少http:  
            else:
                b=a+9
            a=html.find('img src=',b)
        for each in img_addrs:
            print(each)
        return img_addrs
    def save_imgs(folder,img_addrs):             #保存图片
        for each in img_addrs:
            filename =  each.split('/')[-1]
            with open(filename,'wb') as f:
                img = url_open(each)
                f.write(img)
    
    def test1(folder ='OOXX',pages=2):
        os.mkdir(folder)  #创建文件夹
        os.chdir(folder)
        url="http://jandan.net/ooxx/"
        page_num=int(get_page(url))
    
        for i in range(pages):
            page_num -=i        
            page_url= url +'page-' +str(page_num) +'#comments'
            img_addrs = find_imgs(page_url)
            save_imgs(folder,img_addrs)
    if __name__=='__main__':
            test1()
    

      

  • 相关阅读:
    性能测试随笔,看看罢了,只做笑谈尔。
    谈性能指标测试
    协议初解
    LR手工制作接口类脚本
    一天学一个模式_第五天:门面模式
    Oracle日常操作小常识(持续更新)
    什么是“GB/T ”? 计算机术语你又知道多少? 想不想别人听不懂的语言搞定别人!
    Silverlight 4 Tools for VS 2010 发布倒计时
    微软一站式示例代码库 4 月小结
    微软一站式示例代码库 20100430 新增代码示例简介
  • 原文地址:https://www.cnblogs.com/luoqingyu/p/6441270.html
Copyright © 2011-2022 走看看