怎样准确推断请求是搜索引擎爬虫（蜘蛛）发出的请求？

站点常常会被各种爬虫光顾，有的是搜索引擎爬虫，有的不是，通常情况下这些爬虫都有UserAgent，而我们知道UserAgent是能够伪装的，UserAgent的本质是Http请求头中的一个选项设置，通过编程的方式能够给请求设置随意的UserAgent。 

所以通过UserAgent推断请求的发起者是否是搜索引擎爬虫（蜘蛛）的方式是不靠谱的，更靠谱的方法是通过请求者的ip相应的host主机名是否是搜索引擎自己家的host的方式来推断。

要获得ip的host，在windows下能够通过nslookup命令，在linux下能够通过host命令来获得，比如：

这里我在windows下运行了nslookup ip 的命令，从上图能够看到这个ip的主机名是crawl-66-249-64-119.googlebot.com。 这说明这个ip是一个google爬虫，google爬虫的域名都是 xxx.googlebot.com.

我们也能够通过python程序的方式来获得ip的host信息，代码例如以下：

import socket
def getHost(ip):
    try:
        result=socket.gethostbyaddr(ip)
        if result: return result[0], None
    except socket.herror,e:
        return None, e.message

上述代码使用了socket模块的gethostbyaddr的方法获得ip地址的主机名。

经常使用蜘蛛的域名都和搜索引擎官网的域名相关，比如：

• 百度的蜘蛛一般是baidu.com或者baidu.jp的子域名
• google爬虫一般是googlebot.com的子域名
• 微软bing搜索引擎爬虫是search.msn.com的子域名
• 搜狗蜘蛛是crawl.sogou.com的子域名

基于以上原理，我写了一个工具页面提供推断ip是否是真实搜索引擎的工具页面，该页面上提供了网页推断的工具和常见的google和bing的搜索引擎爬虫的ip地址。

页面地址：http://outofmemory.cn/tools/is-search-engine-spider-ip/ 

本文提供的代码是python代码，通过JAVA代码也是能够实现的，原理是一样的。