zoukankan      html  css  js  c++  java
  • wget简单使用

    wget是linux上的命令行的下载工具。支持HTTPFTP协议,支持代理服务器和断点续传功能,能够自动递归远程主机的目录,找到合乎条件的文件并将其下载到本地硬盘上;如果必要,Linux wget将恰当地转换页面中的超级连接以在本地生成可浏览的镜像。

    基本用法:

    wget -i $file -a out.log -O /dev/null -T 0.001-t 1

    有些网站或者页面,需要额外的认证,所以需要添加额外的HTTP Header,使用方法:

    wget --header="Host: www.google.com" url

    通过--user-agent=来伪装成浏览器

    实现上传数据:

    wget --post-data="user=user1&pass=pass1&submit=Login" http://domain.com/login.php

    有些页面的访问需要登录,访问的时候需要传递cookie,这时候就需要和上面提到的post方式结合。一般过程是:post用户名和密码登录、保存cookie,然后访问页面时附带上cookie

    wget --post-data="user=user1&pass=pass1&submit=Login" --save-cookies=cookie.txt --keep-session-cookies http://domain.com/login.php

    wget --load-cookies=cookie.txt http://domain.com/path/page_need_login.php

    Wget 与CURL的最大区别也是Wget的最大的优势是可以进行递归的下载,可以一次下载一个HTML页面 或者ftp列表中的所有内容。

    原文:

    [1]http://os.51cto.com/art/201002/183100.htm

    [2]http://hi.baidu.com/hhflying/item/7ae51f3d30ce64fdde2221d9

    wget和curl的区别

    http://www.cnblogs.com/xuxm2007/archive/2010/09/07/1820963.html

    [3]wget命令解释

    http://os.51cto.com/art/201002/183100.htm

  • 相关阅读:
    计算机中丢失MSVCP110.dll
    应用程序无法正常启动0xc000007b
    查看80端口被占用
    重装系统后搭建php环境
    修改、设置root密码
    安装虚拟机时出现The Microsoft Runtime DLL
    linux网络配置
    Java拾遗
    哈希中的那些序问题
    笔记本电脑安装jupyterthemes
  • 原文地址:https://www.cnblogs.com/mydomain/p/2924222.html
Copyright © 2011-2022 走看看