zoukankan      html  css  js  c++  java
  • linux中shell curl命令获取http状态码强大的网络传输工具

    文章来源:http://dbajun.iteye.com/blog/1813801

    curl命令详解:http://blog.sina.com.cn/s/blog_94cf845f0102w8vt.html

    curl命令是一个功能强大的网络工具,它能够通过http、ftp等方式下载文件,也能够上传文件。其实curl远不止前面所说的那些功能,大家可以通过man curl阅读手册页获取更多的信息。类似的工具还有wget。

    常用参数

    curl命令参数很多,这里只列出我曾经用过、特别是在shell脚本中用到过的那些。

    -v/--verbose 小写的v参数,用于打印更多信息,包括发送的请求信息,这在调试脚本是特别有用。

    -m/--max-time <seconds> 指定处理的最大时长

    -H/--header <header> 指定请求头参数

    -s/--slient 减少输出的信息,比如进度

    --connect-timeout <seconds> 指定尝试连接的最大时长

    -x/--proxy <proxyhost[:port]> 指定代理服务器地址和端口,端口默认为1080

    -T/--upload-file <file> 指定上传文件路径

    -o/--output <file> 指定输出文件名称

    -d/--data/--data-ascii <data> 指定POST的内容

    --retry <num> 指定重试次数

    -e/--referer <URL> 指定引用地址

    -I/--head 仅返回头部信息,使用HEAD请求

    使用示例

    示例一 获取指定网页

    [root@jfht ~]# curl http://www.sunrisecorp.net/ 
    <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd">
    <html xmlns="http://www.w3.org/1999/xhtml">
    <head>
    <meta http-equiv="Content-Type" content="text/html; charset=gbk" />
    <meta name="title" content="欢迎您 - 上海腾一" />
    <meta name="keyword" content="上海腾一,融合通信,电子商务,语音通信,数据通信,基站工程外包托管,物联网,网站建设,电子商务解决方案,移动互联网,短信,彩信,呼叫中心,多方会议,PBX,IVR,电子商务策划方案,设备代维,网络优化,通信工程,电信增值,3G" />
    <meta name="description" content="上海腾一信息技术有限公司专注于电信增值、通信工程、电子商务等领域,拥有近十年的经验。" />
    <title>
    欢迎您 - 上海腾一
    </title>

    </body>
    </html>[root@jfht ~]#

    示例二 查看响应头信息

    [root@jfht ~]# curl -I http://www.sunrisecorp.net/
    HTTP/1.1 200 OK
    Server: Apache-Coyote/1.1
    Accept-Ranges: bytes
    ETag: W/"17801-1285643951000"
    Last-Modified: Tue, 28 Sep 2010 03:19:11 GMT
    Content-Type: text/html
    Content-Length: 17801
    Date: Tue, 12 Oct 2010 12:49:20 GMT

    [root@jfht ~]#

    ===========================================================================

    通过curl的-w参数我们可以自定义curl的输出

    代码如下 
      # curl -I -m 10 -o /dev/null -s -w %{http_code} IP地址或者网址
      上面的输出是不含换行的,如果需要换行的话,加上\n
      代码如下 
      # curl -I -m 10 -o /dev/null -s -w %{http_code} IP地址或者网址
      200

        # curl -I -m 10 -o /dev/null -s -w %{http_code}"\n" IP地址或者网址

      200

    ============================================================================

    curl下载

    在官网下载win32or64.zip,官网下载

    下载缺失的dll文件

    用dos进入解压目录,运行curl命令即可

    命令实例

    1、开启gzip请求
    curl -I http://www.sina.com.cn/ -H Accept-Encoding:gzip,defalte

    2、监控网页的响应时间
    curl -o /dev/null -s -w "time_connect: %{time_connect}\ntime_starttransfer: %{time_starttransfer}\ntime_total: %{time_total}\n" "http://www.kklinux.com"

    3. 监控站点可用性
    curl -o /dev/null -s -w %{http_code} "http://www.kklinux.com"

    4、以http1.0协议请求(默认为http1.1)
    curl -0 ..............

    监控站点首页下载时间:

    curl -o /dev/null -s -w ‘%{time_total}’ http://www.miotour.com

    curl -o /dev/null -s -w ‘%{http_code}’ http://www.miotour.com

    curl -o /dev/null -s -w %{http_code}:%{time_connect}:%{time_starttransfer}:%{time_total} http://www.miotour.com

    结果:2.547

    -s 静默输出;没有-s的话就是下面的情况,这是在脚本等情况下不需要的信息。

    [ec2-user@ip-10-122-250-19 ~]$ curl -o /dev/null  -w ‘%{time_total}’ http://www.miotour.com

    % Total    % Received % Xferd  Average Speed   Time    Time     Time  Current

    Dload  Upload   Total   Spent    Left  Speed

    100 67770    0 67770    0     0  19228      0 –:–:–  0:00:03 –:–:– 20705

    结果:3.524

    监控首页各项时间指标:

    curl -o /dev/null -s -w ‘%{time_connect}:%{time_starttransfer}:%{time_total}’ http://www.miotour.com

    结果:                                                0.244:                             1.044:                         2.672

    时间指标解释 :

    time_connect    建立到服务器的 TCP 连接所用的时间

    time_starttransfer    在发出请求之后,Web 服务器返回数据的第一个字节所用的时间

    time_total   完成请求所用的时间

    在 发出请求之后,Web 服务器处理请求并开始发回数据所用的时间是

    (time_starttransfer)1.044 - (time_connect)0.244 = 0.8 秒

    客户机从服务器下载数据所用的时间是

    (time_total)2.672 - (time_starttransfer)1.044 = 1.682 秒

    指定特定主机IP地址访问网站

    curl -x 61.135.169.105:80 http://www.baidu.com

    curl -x 61.135.169.125:80 http://www.baidu.com

    curl用法大全

    -x 指定访问IP与端口号

    curl -x 192.168.1.1:80  http://www.miotour.com

    -I 仅仅取文件的http头部

    curl   -I  -x 192.168.1.1:80  http://www.miotour.com

    用referer做的防盗链,就可以使用-e来设置

    curl -e “http://www.qiecuo.org”    http:// www.miotour.com -v  -I

    -H去构造你想要的http头部

    curl -H “X-Forward-For:8.8.8.8″ http://www.miotour.com  -v  -I

    curl反馈时间,例如连接时间,下载时间等信息

    curl -w %{time_connect}:%{time_starttransfer}:%{time_total} -s -o /dev/null

    将一个文件保存到硬盘上,命名为file.html

    curl -o file.html  http://www.miotour.com/index.html

    下载index.html文件, -O是大写的字母

    curl -O http://www.miotour.com/index.html

    curl提交用户名和密码

    curl http://name:passwd@www.miotour.com
    curl -u name:passwd http://www.miotour.com

    -b “cookie” 此参数用来构造一个携带cookie的请求

  • 相关阅读:
    python实现压缩文件成zip格式
    python实现自动发送邮件
    jmeter业务建模中遇到的问题
    python开发环境必备之vim配置
    第五章 python中的异常处理
    第四章 python中的面向对象设计
    第三章 python中的字符串
    Web前端面试题目及答案汇总
    做一个网站一般的步骤流程有哪些
    不用新变量直接交换现有两个变量的值
  • 原文地址:https://www.cnblogs.com/strongery/p/5390483.html
Copyright © 2011-2022 走看看