wget
下载工具
一般
wget url
下载url指定的资源，日志输出到stdout，文件名称和url中指定的资源名称一致
wget url -o log -O file
-o：指定日志输出到的文件
-O：指定下载后的文件名称
wget -t 5 url
-t：指定重试次数
限制下载速度
wget --limit-rate 20k url
--limit-rate: 限速，单位有k，m
--quota：或者-Q，限制占用的磁盘大小
断点续传
wget -c url
镜像整个网站
wget --mirror url
将整个网站下载下来
wget -r -N -l 5 url
-r：递归下载
-l：指定递归的深度
-N：允许对文件使用时间戳
ftp、http使用密码
wget --user username --password pass url
使用用户名密码登录并下载
使用post
wget url --post-data "name=value1&name2=value2" -o out.html
以POST的方式提交数据，"name=value1&name2=value2"
curl
curl url -O
下载url中的资源，文件名称从url中解析出
curl url -o filename
下载为filename文件
curl url
直接将url资源内容下载输出到stdout
断点续传
curl -C - url
从上次断点开始下载
-C - ，curl自动推断出需要从哪里开始下载
-C offset：指定偏移量
指定referer
curl --referer refer_url target_url
curl url --cookie "user=bob;pass=123"
curl url --cookie-jar file
--cookie指定cookie，多个cookie使用";"隔开
--cookie-jar，指定cookie文件
设置代理字符串
curl url --user-agent "Mozilla/5.0"
指定任意头部信息
curl -H "Host:www.test.com" -H "Accept-language: en" url
-H 指定任意header，可以指定多个
指定最大下载大小
curl url --max-filesize bytes
如果文件超出限制，返回一个非0码，如果正常返回0
使用用户名密码
curl -u username:passwd url
只打印头信息
curl -I http://test.com
curl -head http://test.com
只打印http头信息，不下载文件
post提交数据
curl -d "name=value1&name2=value2" url -o out.html
-d: 提交post数据，使用""包围，防止shell对"&"执行为命令
--data: 和-d一样