用wget做站点镜像 2010-04-28 15:11:06 分类： LINUX # wget -r -p -np -k http://xxx.edu.cn -r 表示递归下载,会下载所有的链接,不过要注意的是,不要单独使用这个参数,因为如果你要下载的网站也有别的网站的链接,wget也会把别的网站的东西下载下来,所以要加上-np这个参数,表示不下载别的站点的链接. -np 表示不下载别的站点的链接. -k 表示将下载的网页里的链接修改为本地链接. -p 获得所有显示网页所需的元素,比如图片什么的. -E 或 --html-extension 将保存的URL的文件后缀名设定为“.html” +++++++++++++++++++++++++++++++++++++++ # wget -c -t 0 -O rhel6_x86_64.iso http://zs.kan115.com:8080/rhel6_x86_64.iso -c 断点续传 -t 0 反复尝试的次数，0为不限次数 -O rhel6_x86_64.iso 把下载的文件命名为rhel6_x86_64.iso http://zs.kan115.com:8080/rhel6_x86_64.iso 要下载的文件的网址 +++++++++++++++++++++++++++++++++++++++ wget高级用法 http://blog168.chinaunix.net/space.php?uid=26050273&do=blog&id=1742503 摘要：本文讲述了wget的一些高级用法，比如另存为，后台下载，断点下载。批量下载。 增加下载尝试次数和测试下载链接是否生效。 记录下载日志，下载和排除指定类型文 件。 1、下载单个文件 wget url+filename 下载过程中同时可以看到四项信息 已经下载的比例 已经下载的大小 当前下载的速度 剩余的时间 2、使用一个大写O做参数表示另存为 wget -O save_name url 这种方法适用于对应链接中没有显式文件名的情况。 例如： wget -O xx.zip http://www.vim.org/scripts/download_script.php?src_id=7701 再用不带-O参数的下载一次。 ls -al 总计 132 drwxr-xr-x 2 root root 4096 07-12 10:43 . drwxr-xr-x 4 root root 4096 07-11 16:26 .. -rw-r--r-- 1 root root 50243 07-12 10:43 download_script.php?src_id=7701 -rw-r--r-- 1 root root 50243 07-12 10:43 xx.zip 我们发现，下载的大小都是一样。但是不带-O参数的，文件名还要转换一次。不如用-O参数方便。 mv "download_script.php?src_id=7701" yy.zip 3、指定下载速率 方法是使用wget --limit-rate wget程序默认是使用所有的带宽，如果 是在生产服务器上下载很大的文件就不可接受了。 为了避免这种情况使用--limit-rate参数 wget --limit-rate=200k http://www.openss7.org/repos/tarballs/strx25-0.9.2.1.tar.bz2 4、断点下载 使用wget -c完成未完成的下载 下载到一半需要停下来干别的事情，用^c就可以停顿住。 回来后，继续下载可以加一个-c参数。 注意：如果不加入-c，那么下载的文件会多出一个.1的后缀。 5、在后台下载 方法：加一个-b的参数 wget -b url/filename 为后台下载。下载经过写入到wget-log文件中。 用tail -f wget-log查看下载日志 6、模拟在浏览器下下载 有的网站不允许客户在非浏览器环境下下载。使用--user-agent来设置 wget --user-agent="Mozilla/5.0 (X11; U; Linux i686; en-US; rv:1.9.0.3) Gecko/2008092416 Firefox/3.0.3" URL-TO-DOWNLOAD 7、测试下载链接 方法:使用--spider 试图做计划下载时候，需要先检查一下下载链接是否有效。 wget --spider DOWNLOAD-URL 如果返回OK，则表示下载链接是正确的！ 例如 wget --spider "http://ip138.com/ips.asp?ip=58.251.193.137&action=2" Spider mode enabled. Check if remote file exists. --2010-07-12 11:36:32-- http://ip138.com/ips.asp?ip=58.251.193.137&action=2 正在解析主机 ip138.com... 221.5.47.136 Connecting to ip138.com|221.5.47.136|:80... 已连接。 已发出 HTTP 请求，正在等待回应... 200 OK 长度：7817 (7.6K) [text/html] Remote file exists and could contain further links, but recursion is disabled -- not retrieving. 8、增加尝试次数 方法：--tries=1000 如果网速有问题，下载大文件的时候可能会发生错误， 默认wget尝试20次链接。 如果尝试75次，可以 wget --tires=75 DOWNLOAD-URL 9、下载多个文件使用wget -i 将多个下载链接写入到一个download-file-list.txt文件中，而后用 wget -i download-file-list.txt 10、下载整站 方法：用--mirror参数 当你要下载一个完整站点并实现本地浏览的时候， wget --mirror -p --convert-links -P ./LOCAL-DIR WEBSITE-URL 参数讲解： --mirror：设置这个参数用来建立本地镜像 -p：下载所有html文件适合显示的元素 --convert-links：下载完成后，将文档链接都转换成本地的 -P ./LOCAL-DIR：保存所有的文件和目录到指定文件夹下 11、下载时候禁止下载指定类型的文件 例如下载站点时候，不打算下载gif动画图片。 wget --reject=gif WEBSITE-TO-BE-DOWNLOADED 12、记录下载日志 方法：使用小写字母o wget -o xx.html.log -O xx.html "http://ip138.com/ips.asp?ip=58.251.193.137&action=2" 检查一下日志： [root@localhost opt]# cat xx.html.log --2010-07-12 11:57:22-- http://ip138.com/ips.asp?ip=58.251.193.137&action=2 正在解析主机 ip138.com... 221.5.47.136 Connecting to ip138.com|221.5.47.136|:80... 已连接。 已发出 HTTP 请求，正在等待回应... 200 OK 长度：7817 (7.6K) [text/html] Saving to: `xx.html' 0K ....... 100% 65.5K=0.1s 2010-07-12 11:57:22 (65.5 KB/s) - `xx.html' saved [7817/7817] 13、是第9条的增强版。可以限制下载容量 wget -Q5m -i FILE-WHICH-HAS-URLS 当下载的文件达到5兆的时候，停止下载。 注意：如果不是对一个文件下载链接清单，对单个文件， 这个限制不会生效的。 14、和第11条正好相反， 这条技巧是讲述如何仅仅下载指定类型的文件 从一个网站中下载所有的pdf文件 wget -r -A.pdf http://url-to-webpage-with-pdfs/ 15、使用wget完成ftp下 载 匿名ftp下载类似于http下载 wget ftp-url即可。 如果是需要输入用户名和密码，则是 wget --ftp-user=USERNAME --ftp-password=PASSWORD DOWNLOAD-URL +++++++++++++++++++++++++++++++++++++++ WEB采集研究之 WGET 使用手册 http://stream2080.blog.163.com/blog/static/299032852008769409368/ WEB采集也快3年了，多多少少碰到不少问题，总结总结牢骚一下～有用人得到那更好 今天上经典工具wget的使用吧(奇怪blog的附件该怎么放？) http://www.gnu.org/software/wget/ WGET 手册 适用于版本 wget 1.1 1. WGet的功能 (1) 后台工作 (2) 支持HTTP、HTTPS、FTP (3) 支持HTTP Proxy (4) 跟踪HTML、XHTML中的超链接 (5) 创建远程站点为本地镜像 (6) 转换下载后HTML文件的链接 (7) 下载FTP文件时支持含通配符的文件名 (8) 慢网速、不稳定网络支持 (9) 支持IPv6 2. WGet命令 wget [option]... [URL]... (1) URL格式 http://host[:port]/directory/file ftp://host[:port]/directory/file ftp://user:password@host/path http://user:password@host/path *可以对URL中的不安全字符进行“%编码” ftp://host/directory/file;type=a *“type=a”表示以ASCII格式下载FTP文件 *“type=i”表示以Binary格式下载FTP文件 (2) Option语法 使用GNU getopt处理命令行参数，每个选项都有简写形式（以“-”开头）和完 整形式（以“--”开头），如： wget -r --tries=10 http://fly.srk.fer.hr/ -o log 可以将不需要额外参数的选项连接在一起，如： wget -drc URL 等效于 wget -d -r -c URL 可以用“--”来结束选项，如： wget -o log -- -x 中的“-x”被当作URL来解析。 大多数选项因为是开关参数而不接受参数 (3) WGet基本启动选项 -V --version 显示wget的版本号 -h --help 打印描述wget所有选项的帮助信息 -b --background 启动后立即转到后台执行；若未使用“-o”选项指定输出文件名，则输出重定向到 2 / 13 “wget-log”文件中 -e command --execute command 执行.wgetrc配置文件中的命令，关于.wgetrc配置文件的详细内容见后面的“启动文 件”部分 (4) 日志记录及输入文件选项 -o logfile --output-file=logfile 将所有信息记录到日志文件logfile中 -a logfile --append-output=logfile 将日志内容添加到logfile尾部，而不是覆盖旧的logfile -d --debug 打开调试输出信息，该选项对于wget的开发者非常有用。若wget编译时未打开调试 支持，则此选项无效 -q --quiet 关闭wget的输出 -v --verbose 打开详细输出，显示所有变化信息，默认此选项是打开的 -nv --non-verbose 关闭详细输出，但仍然会输出错误信息和基本信息 -i file --input-file=file 从文件file中读URL，若这里“file”=“-”，则URL从标准输入读取，请使用“./-”来读取 文件名为“-”的文件 -F --force-html 当URL输入是从一个文件中读取时，可以强制指定该文件为HTML文件，而不管此 文件实际是什么格式的。这样使您可以下载现有HTML文件中的相对链接到本地， 但需要添加“”到HTML中，或使用--base command-line选项。 -B URL --base=URL 与“-F”选项协同工作，相当于添加“”到“-i”指定的文件中 (5) 下载选项 --bind-address=ADDRESS 当建立客户端TCP/IP连接时，将ADDRESS绑定到本地机器，ADDRESS可以是主机 名或IP地址，当您的主机绑定了多个IP时，该选项非常有用 -t number --tries=number 设定网络不好时wget的重连次数，默认是20次，当number =0时代表无限次重连， 3 / 13 当遇到致命错误如“connection refused”或“not found”（404），则停止自动重连 -O file --output-document=file 将下载的文件全部连接在一起写入文件file -nc --no-clobber 若同一路径下存在相同文件名的文件则不再下载，这里clobber有点用词不当 -c --continue 继续下载未完成的下载，例如 wget -c ftp://sunsite.doc.ic.ac.uk/ls-lR.Z 如果本地存在的ls-lR.Z这个文件的长度小于对应的远程文件，则wget将从本地文件 长度的偏移量处开始下载远程同名文件 --progress=type 选择下载进度条的形式，合法的type有“dot”和“bar”（默认）两种 -N --timestamping 打开时戳，详见“时戳”部分 -S --server-response 打印HTTP服务器发送的HTTP头部及FTP服务器发送的响应 --spider 当打开此选项，wget将工作在Web Spider模式下。Wget不下载页面，仅仅是检查这 些页面是否还存在。例如，可以使用wget来检查您的书签： wget --spider --force-html -i bookmarks.html -T seconds --timeout=seconds 设定网络超时时间为seconds秒，等效于同时设定“--dns-timeout”，“--connect-timeout” 以及“--read-timeout”。默认是900秒读超时，超时相关选项仅接受十进制数值，支 持小数（如0.1秒） --dns-timeout=seconds 设定DNS查询超时时间，默认无DNS超时时间 --connect-timeout=seconds 设定连接超时时间，默认无DNS超时时间 --read-timeout=seconds 设定读写超时时间（即进程挂起时间），该选项不直接影响整个下载过程，默认读 超时时间是900秒 waitretry=seconds 若不需要在重新获取页面时等待，而仅当下载失败时等待指定时间。在默认的 wgetrc配置文件中此选项是关闭的 --random-wait 在0~2倍等待时间之间随机选择重新获取文件的等待时间，以躲过网站日志分析。 --no-proxy 不使用代理（即使定义了*_proxy环境变量） 4 / 13 -Q quota --quota=quota 指定自动下载的限额，quota值是字节数；配额不影响单个文件的下载，主要用于 回归下载和URL输入是文件时 --no-dns-cache 关闭DNS查询缓冲 --restrict-file-names=mode 替换远端URL中在本机受限制的字符，例如，用%编码替换。默认情况下，wget 是跳过这些字符（包括控制字符）。当设定mode为“unix”时，wget跳过字符“/”以及 ASCII值在0–31和128–159之间的控制字符，这在unix类操作系统中的默认规定；当 设定mode为“windows”时，wget跳过的字符包括“”、“|”、“/”、“:”、“?”“"”、“*”、“<”、 “>”，以及与unix系统中相同的控制字符。在windows模式中，wget使用“+”代替“:” 以分隔本地文件名中的主机和端口；使用“@”代替“?”以分隔文件名中的查询参数。 例如：在unix模式下的URL：www.xemacs.org:4300/search.pl?input=blah，在windows 模式下则表示为：www.xemacs.org+4300/search.pl@input=blah。若要跳过控制字符， 则可以使用：--restrict-file-names=nocontrol -4 --inet4-only -6 --inet6-only 强制连接IPv4地址或IPv6地址 --prefer-family=IPv4/IPv6/none 指定优先考虑特定地址族，默认是IPv4 --retry-connrefused 把“connection refused”当成是暂态错误并再次尝试 --user=user --password=password 为HTTP或FTP文件获取指定用户名密码 (6) 目录选项 -nd --no-directories 当递归地获取文件是，不创建分层的目录 -x --force-directories 强迫创建一个分层目录，即使该目录本地不存在 -nH --no-host-directories 禁用主机名前缀的目录 --protocol-directories 使用协议名作为本地文件名的一个路径项 --cut-dirs=number 忽略number部分的目录成分，例如： 无选项 -> ftp.xemacs.org/pub/xemacs/ -nH -> pub/xemacs/ 5 / 13 -nH --cut-dirs=1 -> xemacs/ -nH --cut-dirs=2 -> . 无选项 -> ftp.xemacs.org/pub/xemacs/ --cut-dirs=1 -> ftp.xemacs.org/xemacs/ -P prefix --directory-prefix=prefix 设定目录前缀为prefix。默认是“.” (7) HTTP选项 -E --html-extension 将保存的URL的文件后缀名设定为“.html” --http-user=user --http-password=password 指定某个HTTP服务器上的用户名和密码，wget使用基本授权方案或消息摘要方案 对用户名和密码进行加密 --no-cache 禁用Server端的cache，这对从代理服务器上重新获取本地已经过期的文档非常有效。 wget默认是允许使用cache --no-cookies 禁用cookie；wget默认允许使用cookie --load-cookies file 在第一次的HTTP重新获取前，从txt文件file中加载cookie --save-cookies file 退出前将cookie保存到file文件中，但不保存已过期的cookie和无有效期的cookie（会 话cookie） --keep-session-cookies 若设定此项，则--save-cookies file也保存会话cookie --ignore-length 忽略HTTP中的Content-Length头，不仅仅下载Content-Length指定的长度 --header=header-line 在下载的HTML文件中添加头部header-line，例如： wget --header='Accept-Charset: iso-8859-2' --header='Accept-Language: hr' http://fly.srk.fer.hr/ wget --header="Host: foo.bar" http://localhost/意义是： wget连接到localhost，但是在Host头部指定foo.bar --proxy-user=user --proxy-password=password 为代理服务器的授权指定用户名和密码，wget采用基本授权方法对用户名和密码编 码 --referer=url 在HTTP请求中添加“Referer: url” --save-headers 6 / 13 保存HTTP发送的头部到文件中 -U agent-string --user-agent=agent-string 将自己标识为agent-string --post-data=string --post-file=file 使用POST方法在HTTP请求中发送特定数据。注意，wget需要事先知道数据长度应 用举例： #登陆到服务器 wget --save-cookies cookies.txt --post-data 'user=foo&password=bar' http://server.com/auth.php #开始“爬”网页 wget --load-cookies cookies.txt -p http://server.com/interesting/article.php (8) HTTPS (SSL/TLS)选项 --secure-protocol=protocol 选择使用的安全协议，protocol合法值包括：auto，SSLv2，SSLv3及TLSv1 --no-check-certificate 不按照有效证书授权检查服务器授权证书 --certificate=file 使用客户端保存在file中的证书 --certificate-type=type 设定客户端认证方式，默认方式是PEM以及DER（也就是ASN1） --private-key=file 从文件中读取私钥 --private-key-type=type 设定私钥类型，合法值包括：PEM（默认）和DER --ca-certificate=file 用指定文件对对等端（peer）进行CA（certificate authorities）认证 --ca-directory=directory 指定包含PEM格式的CA认证目录 --random-file=file 指定特定文件为伪随机数生成器的数据源 --egd-file=file 指定特定文件为EGD（Entropy Gathering Daemon） socket (9) FTP选项 --ftp-user=user --ftp-password=password 指定某个FTP服务器上的用户名和密码 --no-remove-listing 不删除在获取FTP文件时生成的临时的.listing文件 --no-glob 关闭FTP通配符，默认允许使用通配符 7 / 13 --no-passive-ftp 禁用被动FTP传输模式 --retr-symlinks 转换符号链接，并指向下载的文件 --no-http-keep-alive 关闭HTTP下载的“keep-alive”特性 (10) 递归获取选项 -r --recursive 打开递归获取选项 -l depth --level=depth 指定递归的最大深度，默认最大深度是5 --delete-after 在单一文档下载后立即删除 -k --convert-links 下载完成后，转换页面中的链接以方便本地浏览 链接转换的两种方式： a. 指向已下载文件的链接，则转换为相对链接 b. 指向未能下载成功的文件的链接，转换为“http://localhost/...”形式 -K --backup-converted 转换链接前将原始文件备份（后缀为.orig） -m --mirror 打开适合与做镜像的选项（recursion、time-stamping等） -p --page-requisites 下载能够完全显示一个给定的HTML网页的所有文件 --strict-comments 精确解析HTML注释，默认是遇到第一个“-->”即终止解析 (11) 递归接受/拒绝选项 -A acclist --accept acclist -R rejlist --reject rejlist 设定接受/拒绝递归下载以逗号分开的文件名前缀或模式列表 -D domain-list --domains=domain-list 设定要追踪的域 --exclude-domains domain-list 指定不要求追踪的域 8 / 13 --follow-ftp 追踪HTML文档中的FTP链接，默认忽略所有FTP链接 --follow-tags=list Wget包含一个HTML标记/属性对列表，按照list列表文件追踪HTML标记 --ignore-tags=list 不追踪list列表文件指定的HTML标记 -H --span-hosts 允许跨越服务器进行递归下载 -L --relative 仅追踪相对链接 -I list --include-directories=list 指定追踪目录 -X list --exclude-directories=list 指定不追踪的目录 -np --no-parent 不向上追踪到父目录 3. 递归下载 (1) 遍历万维网的一部分或一台HTTP服务器或FTP服务器 (2) 追踪链接或目录结构 (3) 利用输入的URL或文件解析HTML (4) HTTP递归下载采用广度优先算法，最大深度可以设定（默认为5） (5) FTP递归下载采用深度优先算法，能够下载FTP服务器直到给定深度的所有数据 (6) 能够镜像FTP站点 (7) 默认按照远程站点目录结构创建本地目录 (8) 使用递归下载时注意使用延时操作 (9) 一些例子 ? 下载单一网页，使用--page-requisites选项 ? 下载单一目录下的某些文件，使用-np选项 ? 下载单一目录下的所有文件，使用-l 1选项 4. 链接追踪 如何避免下载不想要的链接 (1) 访问主机的树型扩展（默认情况下，每次下载仅访问一台主机） ? 扩展至任何关联主机XX-H选项 ? 限制扩展至某些域XX-D选项 例如：wget -rH -Dserver.com http://www.server.com/ 可以从所有*.server.com域下载文件 ? 禁止扩展至某些域XX--exclude-domains选项 例如：wget -rH -Dfoo.edu --exclude-domains sunsite.foo.edu 9 / 13 http://www.foo.edu/ 从所有foo.edu域下载文件，而禁止从sunsite.foo.edu下载文件 (2) 文件类型限制 -A acclist --accept acclist accept = acclist --accept选项的参数是一个文件名后缀（如gif或.gif）或字符串模式列表（如czy* or czyBear*196[0-9]*） -R rejlist --reject rejlist reject = rejlist --reject选项与--accept选项工作方式相同，但逻辑相反 注意：这两个选项不影响HTML文件下载 (3) 基于目录的限制 -I list --include list include_directories = list 下载目录列表中的目录 -X list --exclude list exclude_directories = list 禁止下载目录列表中的目录 -np --no-parent no_parent = on 禁止访问远端当前目录的上层 (4) 相对链接 打开-L选项可以仅下载超链接中的相对链接，而不下载绝对链接 (5) 追踪FTP链接 由于FTP与HTTP协议的不同，所以要追踪FTP链接请使用--follow-ftp选项 5. 使用时戳对下载的文件进行增量更新 使用-S选项可以在本地保留页面对应的时戳，进行增量下载是使用-N选项，例如： 初次下载网页使用：wget -S http://www.gnu.ai.mit.edu/ 以后更新网页使用：wget -N http://www.gnu.ai.mit.edu/ 对于HTTP协议，时戳需要“Last-Modified”头部支持，而对于FTP协议，取决于wget 能够解析获得目录列表中包含的日期的格式 6. 启动文件（wgetrc） (1) Wgetrc的位置 wget启动时，将查找全局的启动配置文件，默认情况下，这个文件位于： “/usr/local/etc/wgetrc”；若该位置不存在此文件，则查找环境变量WGETRC指定的 位置；若WGETRC环境变量未设定，wget会加载$HOME/.wgetrc；否则报错！ 10 / 13 (2) Wgetrc语法 wgetrc命令行的语法非常简单：“variable = value”。wgetcrc命令行语法不区分 大小写，不区分有无下划线，忽略空行和以“#”开头的行 (3) Wgetrc命令 wgetrc命令全集如下表： 一些说明： 合法值都列在“=”后面； Bool值得设定可以用on/off或1/0； 某些命令使用了伪随机数； “address”可以是主机名或以点分十进制表示的IP地址； “n”可以是正整数或无穷大（inf） “string”可以是任何非空字符串 命令 说明 accept/reject = string 相当于-A/-R add_hostdir = on/off 允许/禁止使用主机名前缀的文件名；可以用-nH禁用 continue = on/off 允许/禁止继续完成下载部分完成的文件 background = on/off 允许/禁止后台运行；相当于-b backup_converted = on/off 允许/禁止用后缀名.orig保存转换前的文件；相当于-K base = string 用于绝对地址于相对地址的替换；相当于--base=string bind_address = address 地址绑定；相当于--bind-address=address ca_certificate = file 设定权限认证文件；相当于--ca-certificate=file ca_directory = directory 设定权限认证文件的目录；相当于--ca-directory=directory cache = on/off 打开/关闭服务器cache；相当于--no-cache certificate = file 设定客户端认证文件；相当于--certificate=file certificate_type = string 设定认证类型；相当于--certificate-type=string check_certificate = on/off 设定是否进行授权确认；相当于--check-certificate convert_links = on/off 是否转换非相对链接；相当于-k cookies = on/off 是否允许cookies；相当于--cookies connect_timeout = n 设定连接超时时间；相当于--connect-timeout cut_dirs = n 忽略远程第n层目录成分；相当于--cut-dirs=n debug = on/off 调试模式；相当于-d delete_after = on/off 下载后是否删除；相当于--delete-after dir_prefix = string 设定目录树的最顶级目录名；相当于-P string dirstruct = on/off 打开/关闭目录结构；相当于-x 或 -nd dns_cache = on/off 打开/关闭DNS cache；相当于--no-dns-cache dns_timeout = n 设定DNS超时时间；相当于--dns-timeout domains = string 相当于-D dot_bytes = n 进度条使用点时，设定每个点代表的Byte数（默认1024） dots_in_line = n 进度条使用点时，设定每行的点数（默认50） 11 / 13 dot_spacing = n 设定一串中点的个数（默认10） egd_file = file 设定EGD socket文件名为file；相当于--egd-file=file exclude_directories = string 设定不用下载的目录；相当于-X exclude_domains = string 相当于--exclude-domains=string follow_ftp = on/off 是否追踪HTML文件中的FTP链接；相当于--follow-ftp follow_tags = string 仅追踪指定的HTML标记；相当于--follow-tags=string force_html = on/off 是否强制将输入文件名的对应文件当成HTML文件（-F） ftp_password = string 设定FTP密码 ftp_proxy = string 将string当作FTP下载的代理 ftp_user = string 设定FTP用户名 glob = on/off 打开或关闭成团下载；相当于--glob和--no-glob header = string 为下载的HTTP文件添加头部；相当于--header=string html_extension = on/off 在text/html或application/xhtml+xml类无后缀名的文件名后添加 “.html”后缀；相当于-E http_keep_alive = on/off 是否保持HTTP链接活跃；相当于--no-http-keep-alive http_password = string 设定HTTP下载用的密码；相当于--http-password=string http_proxy = string 设定HTTP代理 http_user = string 设定HTTP 下载用户名；相当于--http-user=string ignore_length = on/off 是否忽略Content-Length头部；相当于--ignore-length ignore_tags = string 递归下载时忽略某些标记；相当于--ignore-tags=string include_directories = string 设定下载时追踪的目录；相当于-I string inet4_only = on/off 强制连接IPv4地址；相当于--inet4-only或-4 inet6_only = on/off 强制连接IPv6地址；相当于--inet6-only或-6 input = file 从文件中读取URL；相当于-i file kill_longer = on/off 是否将超出Content-Length头部值的数据当作无效数据 limit_rate = rate 限定下载速率；相当于--limit-rate=rate load_cookies = file 从文件中加载cookie；相当于--load-cookies file logfile = file 设定日志文件；相当于-o file mirror = on/off 打开/关闭镜像功能；相当于-m netrc = on/off 是否读netrc文件 noclobber = on/off 相当于-nc no_parent = on/off 是否允许下载当前目录的上层；相当于--no-parent no_proxy = string 避免某些代理的加载 output_document = file 设定输出文件名；相当于-O file page_requisites = on/off 是否下载用于完全显示页面的元素；相当于-p passive_ftp = on/off/always/never 更改被动FTP的设定；相当于--passive-ftp password = string 同时设定FTP和HTTP下载的密码 12 / 13 post_data = string 用POST方法发送所有HTTP请求，此请求的内容为一个字符串； 相当于--post-data=string post_file = file 用POST方法发送所有HTTP请求，此请求的内容为一个文件；相 当于--post-file=file prefer_family = IPv4/IPv6/none 设定优先考虑的地址族；相当于--prefer-family private_key = file 设定私钥文件；相当于--private-key=file private_key_type = string 设定私钥类型；相当于--private-type=string progress = string 设定进度条类型；相当于--progress=string protocol_directories = on/off 是否用协议名作为目录成分；相当于--protocol-directories proxy_user = string 设定代理授权用户名；相当于--proxy-user=string proxy_password = string 设定代理授权密码；相当于--proxy-password=string quiet = on/off 是否打开安静模式；相当于-q quota = quota 设定下载限额 random_file = file 在系统无/dev/random的情况下，设定随机数生成目录 read_timeout = n 设定读超时时间；相当于--read-timeout=n reclevel = n 设定递归下载的深度；相当于-l n recursive = on/off 打开或关闭递归下载；相当于-r referer = string 设定HTTP Referer，相当于--referer=string relative_only = on/off 是否仅追踪相对链接；相当于-L remove_listing = on/off 是否删除wget 下载过程中生成的 FTP 列表； 相当于 --no-remove-listing restrict_file_names = unix/windows 相当于--restrict-file-names retr_symlinks = on/off 当下在普通页面文件时， 是否获取符号链接； 相当于 --retr-symlinks retry_connrefused = on/off 是否将“connection refused” 当作暂时错误； 相当于 --retry-connrefused robots = on/off 设定是否参考智能机器人的设定，默认是启用 save_cookies = file 将cookies保存到文件中；相当于--save-cookies file secure_protocol = string 设定使用的安全协议；相当于--secure-protocol=string server_response = on/off 设定是否打印服务器响应；相当于-S span_hosts = on/off 是否对主机名进行扩展；相当于-H strict_comments = on/off 相当于--strict-comments timeout = n 设定超时时间；相当于-T n timestamping = on/off 设定是否打开时戳功能；相当于-N tries = n 设定下载每个URL的最大尝试次数；相当于-t n use_proxy = on/off 设定是否使用代理；相当于--no-proxy user = string 同时设定下载HTTP和FTP文件的用户名 verbose = on/off 打开或关闭详细输出结果；相当于-v/-nv 13 / 13 wait = n 设定两次下载之间的间隔；相当于-w n waitretry = n 设定下载尝试失败时等待的时间；相当于--waitretry=n randomwait = on/off 是否设定请求之间的等待时间为随机数