zoukankan      html  css  js  c++  java
  • Ubuntu 16.04 curl 安装 使用

    curl是利用URL语法在命令行方式显工作的开元文件传输工具。

    安装

    $ sudo apt install -y curl

    使用

    $ curl http://www.baidu.com

    这是最简单的使用方法。用这个命令获得到http://www.baidu.com指向的页面,同样,如果这个URL指向的是文件或者图片,就会直接下载到本地。如果下载的是HTML文档,那么缺省只会显示文件头部。要全部显示,需要加参数 -i 。要只显示头部,用参数 -l   任何时候,可以用-v命令看curl是怎样工作的,它向服务器发送的所有命令都会显示出来。为了断点续传,可以使用-r参数来指定传输范围。

    获取表单

    在WEB页面设计中,form是很重要的元素。Form通常用来收集并向网站提交信息。提交信息的方法有两种,GET方法和POST方法。先讨论GET方法,例如在页面中有这样一段:

    <form method="GET" action="junk.cgi">

    <input type=text name="birthyear">

    <input type=submit name=press value="OK">

    </form>

    那么浏览器上会出现一个文本框和一个标为“OK”的按钮。按下这个按钮,表单就用GET方法向服务器提交文本框的数据。

    例如原始页面是在 www.hotmail. com/when/birth.html看到的,然后您在文本框中输入1905,然后按OK按钮,那么浏览器的URL现在应该是:“www.hotmail. com/when/junk.cgi?birthyear=1905&press=OK”

    对于这种网页,curl可以直接处理,例如想获取上面的网页,只要输入:

    curl "www.hotmail. com/when/junk.cgi?birthyear=1905&press=OK"

    就可以了。

    表单用来提交信息的第二种方法叫做POST方法,POST方法和GET方法的区别在于GET方法使用的时候,浏览器中会产生目标URL,而POST不会。类似GET,这里有一个网页:

    <form method="POST" action="junk.cgi">

    <input type=text name="birthyear">

    <input type=submit name=press value="OK">

    </form>

    浏览器上也会出现一个文本框和一个标为“OK”的按钮。按下这个按钮,表单用POST方法向服务器提交数据。

    这时的URL是看不到的,因此需要使用特殊的方法来抓取这个页面:

    curl -d "birthyear=1905&press=OK" www.hotmail. com/when/junk.cgi

    这个命令就可以做到。

    1995年年末,RFC 1867定义了一种新的POST方法,用来上传文件。主要用于把本地文件上传到服务器。此时页面是这样写的:

    <form method="POST" enctype='multipart/form-data' action="upload.cgi">

    <input type=file name=upload>

    <input type=submit name=press value="OK">

    </form>

    对于这种页面,curl的用法不同:

    curl -F upload=@localfilename -F press=OK URL

    这个命令的实质是将本地的文件用POST上传到服务器。

    有关POST还有不少用法,用户可以自己摸索。

    使用PUT

    HTTP协议文件上传的标准方法是使用PUT,此时curl命令使用-T参数:

    curl -T uploadfile www.uploadhttp. com/receive.cgi

    有关认证

    curl可以处理各种情况的认证页面,例如下载用户名/密码认证方式的页面(在IE中通常是出现一个输入用户名和密码的输入框):

    curl -u name:password www.secrets. com

    如果网络是通过http代理服务器出去的,而代理服务器需要用户名和密码,那么输入:

    curl -U proxyuser:proxypassword http://curl.haxx. se

    任何需要输入用户名和密码的时候,只在参数中指定用户名而空着密码,curl可以交互式的让用户输入密码。

    引用

    有些网络资源访问的时候必须经过另外一个网络地址跳转过去,这用术语来说是:referer,引用。

    对于这种地址的资源,curl也可以下载:

    curl -e http://curl.haxx. se daniel.haxx. se

    指定用户端

    有些网络资源首先需要判断用户使用的是什么浏览器,符合标准了才能够下载或者浏览。

    此时curl可以把自己“伪装”成任何其他浏览器:

    curl -A "Mozilla/4.0 (compatible; MSIE 5.01; Windows NT 5.0)" URL

    这个指令表示curl伪装成了IE5.0,用户平台是Windows 2000。(对方服务器是根据这个字串来判断客户端的类型的,所以即使使用AIX也无所谓)。

    使用:

    curl -A "Mozilla/4.73 [en] (X11; U; Linux 2.2.15 i686)" URL

    此时curl变成了Netscape,运行在PIII平台的Linux上了。

    COOKIES

    Cookie是服务器经常使用的一种记忆客户信息的方法。如果cookie被记录在了文件中,那么使用命令:

    curl -b stored_cookies_in_file www.cookiesite. com

    curl可以根据旧的cookie写出新cookie并发送到网站:

    curl -b cookies.txt -c newcookies.txt www.cookiesite. com

    加密HTTP

    如果是通过OpenSSL加密的https协议传输的网页,curl可以直接访问:

    curl https://that.secure.server. com

    http认证

    如果是采用证书认证的http地址,证书在本地,那么curl这样使用:

    curl -E mycert.pem https://that.secure.server. com

    注意事项

    curl非常博大,用户要想使用好这个工具,除了详细学习参数之外,还需要深刻理解http的各种协议与URL的各个语法。

    这里推荐几个读物:

    RFC 2616 HTTP协议语法的定义。

    RFC 2396 URL语法的定义。

    RFC 2109 Cookie是怎样工作的。

    RFC 1867 HTTP如何POST,以及POST的格式。

    命令

    linux curl命令

    -a/--append 上传文件时,附加到目标文件

    -A/--user-agent <string> 设置用户代理发送给服务器

    - anyauth 可以使用“任何”身份验证方法

    -b/--cookie <name=string/file> cookie字符串或文件读取位置

    - basic 使用HTTP基本验证

    -B/--use-ascii 使用ASCII /文本传输

    -c/--cookie-jar <file> 操作结束后把cookie写入到这个文件中

    -C/--continue-at <offset> 断点续传

    -d/--data <data> HTTP POST方式传送数据

    --data-ascii <data> 以ascii的方式post数据

    --data-binary <data> 以二进制的方式post数据

    --negotiate 使用HTTP身份验证

    --digest 使用数字身份验证

    --disable-eprt 禁止使用EPRT或LPRT

    --disable-epsv 禁止使用EPSV

    -D/--dump-header <file> 把header信息写入到该文件中

    --egd-file <file> 为随机数据(SSL)设置EGD socket路径

    --tcp-nodelay 使用TCP_NODELAY选项

    -e/--referer 来源网址

    -E/--cert <cert[:passwd]> 客户端证书文件和密码 (SSL)

    --cert-type <type> 证书文件类型 (DER/PEM/ENG) (SSL)

    --key <key> 私钥文件名 (SSL)

    --key-type <type> 私钥文件类型 (DER/PEM/ENG) (SSL)

    --pass <pass> 私钥密码 (SSL)

    --engine <eng> 加密引擎使用 (SSL). "--engine list" for list

    --cacert <file> CA证书 (SSL)

    --capath <directory> CA目录 (made using c_rehash) to verify peer against (SSL)

    --ciphers <list> SSL密码

    --compressed 要求返回是压缩的形势 (using deflate or gzip)

    --connect-timeout <seconds> 设置最大请求时间

    --create-dirs 建立本地目录的目录层次结构

    --crlf 上传时把LF转变成CRLF

    -f/--fail 连接失败时不显示http错误

    --ftp-create-dirs 如果远程目录不存在,创建远程目录

    --ftp-method [multicwd/nocwd/singlecwd] 控制CWD的使用

    --ftp-pasv 使用 PASV/EPSV 代替端口

    --ftp-skip-pasv-ip 使用PASV的时候,忽略该IP地址

    --ftp-ssl 尝试用 SSL/TLS 来进行ftp数据传输

    --ftp-ssl-reqd 要求用 SSL/TLS 来进行ftp数据传输

    -F/--form <name=content> 模拟http表单提交数据

    -form-string <name=string> 模拟http表单提交数据

    -g/--globoff 禁用网址序列和范围使用{}和[]

    -G/--get 以get的方式来发送数据

    -h/--help 帮助

    -H/--header <line>自定义头信息传递给服务器

    --ignore-content-length 忽略的HTTP头信息的长度

    -i/--include 输出时包括protocol头信息

    -I/--head 只显示文档信息

    从文件中读取-j/--junk-session-cookies忽略会话Cookie

    - 界面<interface>指定网络接口/地址使用

    - krb4 <级别>启用与指定的安全级别krb4

    -j/--junk-session-cookies 读取文件进忽略session cookie

    --interface <interface> 使用指定网络接口/地址

    --krb4 <level> 使用指定安全级别的krb4

    -k/--insecure 允许不使用证书到SSL站点

    -K/--config 指定的配置文件读取

    -l/--list-only 列出ftp目录下的文件名称

    --limit-rate <rate> 设置传输速度

    --local-port<NUM> 强制使用本地端口号

    -m/--max-time <seconds> 设置最大传输时间

    --max-redirs <num> 设置最大读取的目录数

    --max-filesize <bytes> 设置最大下载的文件总量

    -M/--manual 显示全手动

    -n/--netrc 从netrc文件中读取用户名和密码

    --netrc-optional 使用 .netrc 或者 URL来覆盖-n

    --ntlm 使用 HTTP NTLM 身份验证

    -N/--no-buffer 禁用缓冲输出

    -o/--output 把输出写到该文件中

    -O/--remote-name 把输出写到该文件中,保留远程文件的文件名

    -p/--proxytunnel 使用HTTP代理

    --proxy-anyauth 选择任一代理身份验证方法

    --proxy-basic 在代理上使用基本身份验证

    --proxy-digest 在代理上使用数字身份验证

    --proxy-ntlm 在代理上使用ntlm身份验证

    -P/--ftp-port <address> 使用端口地址,而不是使用PASV

    -Q/--quote <cmd>文件传输前,发送命令到服务器

    -r/--range <range>检索来自HTTP/1.1或FTP服务器字节范围

    --range-file 读取(SSL)的随机文件

    -R/--remote-time 在本地生成文件时,保留远程文件时间

    --retry <num> 传输出现问题时,重试的次数

    --retry-delay <seconds> 传输出现问题时,设置重试间隔时间

    --retry-max-time <seconds> 传输出现问题时,设置最大重试时间

    -s/--silent静音模式。不输出任何东西

    -S/--show-error 显示错误

    --socks4 <host[:port]> 用socks4代理给定主机和端口

    --socks5 <host[:port]> 用socks5代理给定主机和端口

    --stderr <file>

    -t/--telnet-option <OPT=val> Telnet选项设置

    --trace <file> 对指定文件进行debug

    --trace-ascii <file> Like --跟踪但没有hex输出

    --trace-time 跟踪/详细输出时,添加时间戳

    -T/--upload-file <file> 上传文件

    --url <URL> Spet URL to work with

    -u/--user <user[:password]>设置服务器的用户和密码

    -U/--proxy-user <user[:password]>设置代理用户名和密码

    -v/--verbose

    -V/--version 显示版本信息

    -w/--write-out [format]什么输出完成后

    -x/--proxy <host[:port]>在给定的端口上使用HTTP代理

    -X/--request <command>指定什么命令

    -y/--speed-time 放弃限速所要的时间。默认为30

    -Y/--speed-limit 停止传输速度的限制,速度时间'秒

    -z/--time-cond 传送时间设置

    -0/--http1.0 使用HTTP 1.0

    -1/--tlsv1 使用TLSv1(SSL)

    -2/--sslv2 使用SSLv2的(SSL)

    -3/--sslv3 使用的SSLv3(SSL)

    --3p-quote like -Q for the source URL for 3rd party transfer

    --3p-url 使用url,进行第三方传送

    --3p-user 使用用户名和密码,进行第三方传送

    -4/--ipv4 使用IP4

    -6/--ipv6 使用IP6

    -#/--progress-bar 用进度条显示当前的传送状态

  • 相关阅读:
    XAML学习笔记之Layout(五)——ViewBox
    XAML学习笔记——Layout(三)
    XAML学习笔记——Layout(二)
    XAML学习笔记——Layout(一)
    从0开始搭建SQL Server 2012 AlwaysOn 第三篇(安装数据,配置AlwaysOn)
    从0开始搭建SQL Server 2012 AlwaysOn 第二篇(配置故障转移集群)
    从0开始搭建SQL Server 2012 AlwaysOn 第一篇(AD域与DNS)
    Sql Server 2012 事务复制遇到的问题及解决方式
    Sql Server 2008R2升级 Sql Server 2012 问题
    第一次ACM
  • 原文地址:https://www.cnblogs.com/vercont/p/10210340.html
Copyright © 2011-2022 走看看