zoukankan      html  css  js  c++  java
  • 批量下载RFC文档(python实现)

    RFC文档有很多,有时候在没有联网的情况下也想翻阅,只能下载一份留存本地了。
    看了看地址列表,大概是这个范围:
    http://www.networksorcery.com/enp/rfc/rfc1000.txt
    ...
    http://www.networksorcery.com/enp/rfc/rfc6409.txt

    哈哈,很适合批量下载,第一个想到的就是迅雷……
    可用的时候发现它只支持三位数的扩展(用的是迅雷7),我想要下的刚好是四位数……
    郁闷之下萌生自己做一个的想法!
    这东西很适合用python做,原理很简单,代码也很少,先读为快。
    代码如下:

     1 #! /usr/bin/python
    2 '''
    3 File : getRFC.py
    4 Author : Mike
    5 E-Mail : Mike_Zhang@live.com
    6 '''
    7 import urllib,os,shutil,time
    8
    9 def downloadHtmlPage(url,tmpf = ''):
    10 i = url.rfind('/')
    11 fileName = url[i+1:]
    12 if tmpf : fileName = tmpf
    13 print url,"->",fileName
    14 urllib.urlretrieve(url,fileName)
    15 print 'Downloaded ',fileName
    16 time.sleep(0.2)
    17 return fileName
    18
    19 # http://www.networksorcery.com/enp/rfc/rfc1000.txt
    20 # http://www.networksorcery.com/enp/rfc/rfc6409.txt
    21 if __name__ == '__main__':
    22 addr = 'http://www.networksorcery.com/enp/rfc'
    23 dirPath = "RFC"
    24 #startIndex = 1000
    25 startIndex = int(raw_input('start : '))
    26 #endIndex = 6409
    27 endIndex = int(raw_input('end : '))
    28 if startIndex > endIndex :
    29 print 'Input error!'
    30 if False == os.path.exists(dirPath):
    31 os.makedirs(dirPath)
    32 fileDownloadList = []
    33 logFile = open("log.txt","w")
    34 for i in range(startIndex,endIndex+1):
    35 try:
    36 t_url = '%s/rfc%d.txt' % (addr,i)
    37 fileName = downloadHtmlPage(t_url)
    38 oldName = './'+fileName
    39 newName = './'+dirPath+'/'+fileName
    40 if True == os.path.exists(oldName):
    41 shutil.move(oldName,newName)
    42 print 'Moved ',oldName,' to ',newName
    43 except:
    44 msgLog = 'get %s failed!' % (i)
    45 print msgLog
    46 logFile.write(msgLog+'\n')
    47 continue
    48 logFile.close()

    除了RFC文档,这个程序稍加修改也可以做其它事情:比如批量下载MP3、电子书等等。

    好,就这些了,希望对你有帮助。

  • E-Mail : Mike_Zhang@live.com
  • 转载请注明出处,谢谢!
查看全文
  • 相关阅读:
    专利质检助手
    商务代表 销售 区别
    javax.servlet.jsp.tagext.TagAttributeInfo.<init> tomcat-embed-core-8.0.35
    poli-java开源BI软件
    QFLOW ECM软件 政府机构 自动化工作流程 文件管理
    Devops Tools
    吴军博士的新书《见识》
    轻流 CEO 薄智元 BPM (SaaS aPaaS) 低(无)代码平台 乐高积木
    北京 知识产权 交易中心
    Java高并发秒杀API系列
  • 原文地址:https://www.cnblogs.com/MikeZhang/p/getRFCFiles.html
  • Copyright © 2011-2022 走看看