推荐给开发人员的6个实用命令行工具

推荐给开发人员的6个实用命令行工具

 

作为一名Web开发者，当程序出现问题时日子总不是那么好过。问题可能无处不在，可能是你发送的请求出了错，可能是回复出了错，可能是你使用的某个第三方库出了问题，又或者是一个外部API调用失败了。优秀的工具对于定位问题出在何处有着无可估量的价值，而且能在一开始就帮助我们阻止问题的出现，总的来说能使我们的工作更有效率。命令行工具尤其有用，因为它们非常易于做自动化和脚本处理，能够以各种不同的方式进行组合和重用。本文介绍了6个非常强大且灵活的工具，熟练使用这些工具能使你的生活变得更轻松一些。

Curl

Curl是一个网络传输工具，同wget非常相似。主要的区别在于wget默认是保存到文件，而curl将输出定向到命令行上。这使得curl能非常方便的查看站点的内容。比如，我们可以从ifconfig.me站点得到我们本机的IP地址：

 

 

 

 

 

Shell

 

1 2 3

$ curl ifconfig.me   93.96.141.93

Curl的-i（查看header）和-I（只显示header）选项使得调试HTTP响应以及查看服务器究竟发送给你了什么变得非常有用：

 

 

 

 

 

Shell

 

1 2 3 4 5

$ curl -I news.ycombinator.com HTTP/1.1 200 OK Content-Type: text/html; charset=utf-8 Cache-Control: private Connection: close

-L选项也很有用，能让curl自动跟踪重定向。Curl支持HTTP基本认证，cookies，手动设定headers以及更多有用的功能。

Ngrep

如果要分析网络数据包，我们有Wireshark，它有着上千种设定、过滤器以及配置选项。它还有一个命令行版本Tshark。如果只是针对简单的任务，我觉得Wireshark就太重量级了，所以除非我需要更强大的功能，一般情况下就用ngrep来处理了。Ngrep可以让你像类似grep处理文件的方式来处理网络封包。

针对Web流量，你几乎总是想要加上-W byline选项，这会保留换行符，而-q选项可以抑制某些非匹配数据包而产生的输出。下面是一个抓取所有包含有GET或POST请求数据包的例子：

 

 

 

 

 

Shell

 

1	ngrep –q –W byline “^(GET|POST) .*”

你也可以传入附加的报文过滤选项，比如限制匹配的报文只针对某个特定的主机，IP或端口。这里我们把所有流经Google的流量做一个过滤，只针对80端口且报文中包含“search”。

 

 

 

 

 

Shell

 

1	ngrep –q –W byline “search” host www.google.com and port 80

Netcat

Netcat或者叫nc，这是一个自称是网络中的瑞士军刀般的工具。它很简单但也非常强大和灵活，允许你创建任意的网络连接。这里我们来看看如何把它作为一个端口扫描器：

 

 

 

 

 

Shell

 

1 2 3

$ nc –z example.com 20-100 Connection to example.com 22 port [tcp/ssh] succeeded! Connection to example.com 80 port [tcp/ssh] succeeded!

除了能够创建任意的连接，Netcat还能够监听传入的连接。这里我们利用nc的这个功能再配合tar来快速有效的在服务器之间拷贝文件。在服务器端，运行：

 

 

 

 

 

Shell

 

1	$nc –l 9090 | tar –xzf –

在客户端运行：

 

 

 

 

 

Shell

 

1	$tar –czf dir/ | nc server 9090

我们可以使用Netcat把任何应用通过网络暴露出来，这里我们通过8080端口将shell暴露出来：

 

 

 

 

 

Shell

 

1 2	$ mkfifo backpipe $ nc –l 8080 0<backpipe | /bin/bash > backpipe

现在我们可以通过任意一台客户机来访问服务器了：linode

 

 

 

 

 

 

Shell

 

1 2 3

$ nc example.com 8080 uname –a Linux li228-162 2.6.39.1-linode34 ##1 SMP Tue Jun 21 10:29:24 EDT 2011 i686 GNU/Linux

尽管后面这两个例子有些投机取巧的成分（现实中你应该使用类似rsync这样的工具来拷贝文件，用SSH来远程登录服务器），它们还是展示出了Netcat的强大和灵活，通过结合netcat和其它的应用你可以实现很多不同的事情。

推荐阅读：《8 个实用的 Linux netcat 命令示例》 

Sshuttle

Sshuttle允许你通过任意一台可SSH访问的服务器来为你的流量建立安全的隧道。搭建和使用都非常简单，不需要你在服务器上安装任何软件或者修改任何本地代理设定。当你在非安全的公共WiFi或其他不受信任的网络中时，通过SSH让流量走安全隧道，这样就可避免类似Firesheep或dsniff这样的工具的侵扰。所有的网络通讯，包括DNS请求都会发送到你的SSH服务器：

 

 

 

 

 

Shell

 

1	$ sshuttle –r <server> --dns 0/0

如果你提供了—daemon参数，sshuttle会以守护进程的形式在后台运行。结合一些其他的选项，你可以使用别名形式来简单快速的启动和停止安全隧道：

 

 

 

 

 

 

Shell

 

1 2	alias tunnel=’sshuttle –D –pidfile=/tmp/sshuttle.pid –r <server> --dns 0/0’ alias stoptunnel=’[[ -f /tmp/sshuttle.pid ]] && kill `cat /tmp/sshuttle.pid`’

你也可以使用sshuttle来解决一些基于IP的地理定位筛选的问题，如今有很多服务都在使用这种应用比如BBC的iPlayer就需要你在英国，还有Turntable，需要你在美国。要绕过这种限制，你需要访问到位于该国的某个服务器。Amazon在许多国家都有免费的E2C微实例，或者你也可以找一个便宜的vps，几乎世界上任何国家都有。

在这个例子中，我们不需要让所有的流量都走隧道，我们只需要针对目标服务的流量就行了。

不幸的是sshuttle只接受IP地址作为参数，不支持主机名，所以我们还得先用dig来解析出主机名。

 

 

 

 

 

Shell

 

1	$ sshuttle –r <server> `dig +short <hostname>`

Siege

Siege是一个HTTP基准测试工具。除了负载测试功能外，它还有一个很方便的-g选项，这非常类似于curl的-iL，只是这里Siege也会输出请求header。这里是针对Google的一个例子（为了简洁我拿掉了一些header）

 

 

 

 

 

Shell

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22

$ siege -g www.google.com GET / HTTP/1.1 Host: www.google.com User-Agent: JoeDog/1.00 [en] (X11; I; Siege 2.70) Connection: close     HTTP/1.1 302 Found Location: http://www.google.co.uk/ Content-Type: text/html; charset=UTF-8 Server: gws Content-Length: 221 Connection: close     GET / HTTP/1.1 Host: www.google.co.uk User-Agent: JoeDog/1.00 [en] (X11; I; Siege 2.70) Connection: close     HTTP/1.1 200 OK Content-Type: text/html; charset=ISO-8859-1 X-XSS-Protection: 1; mode=block Connection: close

Siege真正在行的是服务器的负载测试。就像ab（一款Apache HTTP服务基准测试工具）一样，你可以向站点发送并发请求，并查看它如何处理流量。用下面的命令，我们会在30秒内向Google发起20个并发连接，最后会得到一个漂亮的测试报告。

 

 

 

 

 

Shell

 

1 2 3 4 5 6 7 8 9 10 11 12 13 14 15

$ siege -c20 www.google.co.uk -b -t30s ... Lifting the server siege... done. Transactions: 1400 hits Availability: 100.00 % Elapsed time: 29.22 secs Data transferred: 13.32 MB Response time: 0.41 secs Transaction rate: 47.91 trans/sec Throughput: 0.46 MB/sec Concurrency: 19.53 Successful transactions: 1400 Failed transactions: 0 Longest transaction: 4.08 Shortest transaction: 0.08

Siege最有用的一个特性是它可以把一个记录URL的文件作为输入，然后“点击”这些URL，而不是只处理一个单独的页面。这对于负载测试来说很有用，因为你可以对站点重现真实的流量并观察站点如何处理，而不必一遍又一遍重复点击同一个URL。下面是你用Siege来重现Apache对另一台服务器的日志记录，以做负载测试的例子：

 

 

 

 

 

Shell

 

1 2	$ cut -d ' ' -f7 /var/log/apache2/access.log > urls.txt $ siege -c<concurrency rate> -b -f urls.txt

Mitmproxy

Mitmproxy是一个支持SSL的HTTP中间人代理工具，它允许你检查HTTP和HTTPS流量并支持直接改写请求。这个应用曾经在一些有关iOS应用的隐私丑闻中都出现过，包括Path的地址簿上传丑闻。它的直接改写请求的能力也被用来针对iOS平台，其应用包括在GameCenter中伪造一个虚假的高分数值。

Mitmproxy可不只是用来查看移动应用发送了些什么内容或者是伪造几个高分数值那么简单。它同样可以为Web开发者解决很多问题。比如，之前我们需要不停点击F5键或者清除缓存才能保证看到最新的内容，现在你可以运行：

 

 

 

 

 

Shell

 

1	$ mitmproxy --anticache

这样将自动去掉缓存控制相关的header，并确保你总是获取到刷新后的内容。不幸的是，这并不会像sshuttle那样自动为你设定转发功能，所以启动mitmproxy之后你还需要修改全局或者特定于浏览器的代理设置。

mitmproxy另一个非常给力的功能是记录并重现HTTP的交互过程。官方文档给出了一个关于无线网络登录的例子。同样的技术也能够用来作为基本的Web测试框架。比如，为了确认你的用户注册流程是否正常工作，你可以开启记录会话：

 

 

 

 

 

Shell

 

1	$ mitmdump -w user-signup

然后跑一遍用户注册流程，目前为止应该能如预期般的工作。用Ctrl+C来停止记录。在任意时刻我们都能重现刚刚记录到的交互过程，并检查200状态码：

 

 

 

 

 

 

Shell

 

1	$ mitmdump -c user-signup | tail -n1 | grep 200 && echo "OK" || echo "FAIL"

如果注册流程中的任意一点出了问题，我们将看到FAIL消息而不是OK。你可以创建一整套这类测试套件，并经常执行这类测试以确保当站点突然出现故障时你会得到提示。