zoukankan      html  css  js  c++  java
  • wget下载整个网站或目录

    用wget下载东西,的确很方便,它会自动重连并断点续传。让人很放心。
    经常要下载一个网站或网站的某个目录。

    将wget命令放到这里备用:
    下载有索引目录
    wget -m http: //www.yourdomain.com/dir/ 这个最强力了!前提是目录必须是索引目录!

    下载一个目录,例如网站的yourdir

    wget -U “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)” -r -p -k -np -Pmydir -nc -o down.log http://www.yourdomain.com/yourdir/index.html

    如果要想下载整个网站,最好去除-np参数。

    wget -U “Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; GTB5)” -r -p -k -nc -o down.log http://www.yourdomain.com/index.html

    -U 修改agent,伪装成IE货firefox等
    -r 递归;对于HTTP主机,wget首先下载URL指定的文件,然后(如果该文件是一个HTML文档的话)递归下载该文件所引用(超级连接)的所有文件(递归深度由参数-l指定)。对FTP主机,该参数意味着要下载URL指定的目录中的所有文件,递归方法与HTTP主机类似。
    -c 指定断点续传功能。实际上,wget默认具有断点续传功能,只有当你使用别的ftp工具下载了某一文件的一部分,并希望wget接着完成此工作的时候,才需要指定此参数。
    -nc 不下载已经存在的文件
    -np 表示不跟随链接,只下载指定目录及子目录里的东西;
    -p 下载页面显示所需的所有文件。比如页面中包含了图片,但是图片并不在/yourdir目录中,而在/images目录下,有此参数,图片依然会被正常下载。
    -k 修复下载文件中的绝对连接为相对连接,这样方便本地阅读。

  • 相关阅读:
    215. Kth Largest Element in an Array
    214. Shortest Palindrome
    213. House Robber II
    212. Word Search II
    210 Course ScheduleII
    209. Minimum Size Subarray Sum
    208. Implement Trie (Prefix Tree)
    207. Course Schedule
    206. Reverse Linked List
    sql 开发经验
  • 原文地址:https://www.cnblogs.com/chb240982248/p/3289160.html
Copyright © 2011-2022 走看看