zoukankan      html  css  js  c++  java
  • python实现简单图片爬虫并保存

    先po代码

    #coding=utf-8
    import urllib.request  #3之前的版本直接用urllib即可,下同 #该模块提供了web页面读取数据的接口,使得我们可以像读取本地文件一样读取www或者ftp上的数据
    import re
    import os
    
    def getHtml(url):
        page = urllib.request.urlopen(url);
        html = page.read();
        return html;
    
    def getImg(html):
        imglist = re.findall('img src="(http.*?)"',html)#1 #http.*?表示非贪婪模式的匹配,只要符合http就匹配完成,不再看后面的内容是否匹配,即在能使整个匹配成功的前提下,使用最少的重复
        return imglist
    
    html = getHtml("https://www.zhihu.com/question/39731953").decode("utf-8");
    imagesUrl = getImg(html);
    
    if os.path.exists("D:/imags") == False:
        os.mkdir("D:/imags");
        
    count = 0; #文件的起始名称为 0 
    for url in imagesUrl:
        print(url)
        if(url.find('.') != -1):#2
            name = url[url.find('.',len(url) - 5):];
            bytes = urllib.request.urlopen(url);
            f = open("D:/imags/"+str(count)+name, 'wb');  #代开一个文件,准备以二进制写入文件
            f.write(bytes.read());#write并不是直接将数据写入文件,而是先写入内存中特定的缓冲区
            f.flush();#将缓冲区的数据立即写入缓冲区,并清空缓冲区
            f.close();#关闭文件
            count+=1;
    

     代码分析:

     1.re.findall语法: findall(parttern,string,flags=0)

                   含义:返回string中与partten匹配的全部字符串,返回形式是数组

     2.find()语法:find(str,pos_start,pos_end)

                   含义:在url中查找str字符串的位置,pos_start是指从哪一个位置开始找,默认值为0,查找的默认位置,默认值为-1,若在url中找不到str,则返回-1

  • 相关阅读:
    jenkins:通过execute shell启动的进程会被杀死的问题
    Cacti:添加监控磁盘IO
    Linux:添加永久路由
    Linux:下载方式安装lrzsz
    Linux:Vmware安装linux虚拟机,桥接方式配置静态IP后重启网卡,提示:Error,some other host already uses address 10.252.252.21...
    Linux:安装rstatd,报错
    Linux:安装图形界面
    leetcode Median of Two Sorted Arrays
    算法导论 寻找第i小元素 9.2
    算法导论9.1-1
  • 原文地址:https://www.cnblogs.com/MMMMzoe/p/7088820.html
Copyright © 2011-2022 走看看