wget全站抓取命令

wget -r -p -np -k http://www.freebuf.com/

忽视，避开robots.txt，加一个-e robots=off

用wget避开robots.txt的下载限制

wget -r -p -np -k -e robots=off http://www.baidu.com/

　　

参考网站

http://blog.csdn.net/sdlyhjq/article/details/8596303

http://blog.csdn.net/zhouxinyu1cp/article/details/72758588

http://blog.csdn.net/doupeihua/article/details/51860504

https://www.v2ex.com/t/148166