zoukankan      html  css  js  c++  java
  • useragent 分析 PHP

    推荐下我的 IIS日志分析器

    USER-AGENT是什么?

    USER-AGENT:记录请求所来自的浏览器。

    User-Agent分析网站 http://www.useragentstring.com/

    通过解析User-Agent可以知道访问者信息。

    特意截取了服务器一天的IIS日志进行分析!

    robot 搜索机器人

    像google、百度等搜索引擎都会有自动的爬虫程序在网上不停的爬取网页信息。来建立它们的搜索索引!

    一下为爬虫的User-Agent:(按字母顺序排列)

    Baiduspider+(+http://www.baidu.com/search/spider.htm) 百度网页

    Gigabot/3.0+(http://www.gigablast.com/spider.html) 外国绿色搜索

    Googlebot-Image/1.0 google图片搜索

    HuaweiSymantecSpider/1.0+DSE-support@huaweisymantec.com+(compatible;+MSIE+7.0;+http://www.huaweisymantec.com/en/IRL/spider)

    华为赛门铁克

    larbin+(larbin@unspecified.mail) 开源网络蜘蛛

    MLBot+(www.metadatalabs.com/mlbot) 未知

    Mozilla/5.0+(compatible;+008/0.83;+http://www.80legs.com/webcrawler.html;)+Gecko/2008032620 国外可自定义爬虫

    Mozilla/5.0+(compatible;+bingbot/2.0;++http://www.bing.com/bingbot.htm) 微软BING

    Mozilla/5.0+(compatible;+crawler/3.0.0++http://www.notconfigured.com/) 未知

    Mozilla/5.0+(compatible;+DotBot/1.1;+http://www.dotnetdotcom.org/,+crawler@dotnetdotcom.org) 外国互联网分析统计

    Mozilla/5.0+(compatible;+Googlebot/2.1;++http://www.google.com/bot.html) Google

    Mozilla/5.0+(compatible;+MJ12bot/v1.3.3;+http://www.majestic12.co.uk/bot.php?+) 英国

    Mozilla/5.0+(compatible;+Search17Bot/1.1;+http://www.search17.com/bot.php) 未知

    Mozilla/5.0+(compatible;+Yahoo!+Slurp;+http://help.yahoo.com/help/us/ysearch/slurp)  雅虎

    Mozilla/5.0+(compatible;+Yahoo!+Slurp+China;+http://misc.yahoo.com.cn/help.html)  雅虎

    Mozilla/5.0+(compatible;+YandexBot/3.0;++http://yandex.com/bots) 俄罗斯搜索引擎

    Mozilla/5.0+(compatible;+YandexBot/3.0;+MirrorDetector;++http://yandex.com/bots) 俄罗斯搜索引擎

    Mozilla/5.0+(compatible;+YoudaoBot/1.0;+http://www.youdao.com/help/webmaster/spider/;+) 有道

    Mozilla/5.0+(compatible;YodaoBot-Image/1.0;http://www.youdao.com/help/webmaster/spider/;) 有道图片

    msnbot/2.0b+(+http://search.msn.com/msnbot.htm)._ MSN搜索

    msnbot-media/1.1+(+http://search.msn.com/msnbot.htm) MSN搜索

    panscient.com 国外垂直搜索

    Sogou+Pic+Spider/3.0(+http://www.sogou.com/docs/help/webmasters.htm#07) 搜狗图片

    Sogou-Test-Spider/4.0+(compatible;+MSIE+5.5;+Windows+98) 未知

    Sosoimagespider+(+http://help.soso.com/soso-image-spider.htm) 搜搜图片

    Sosospider+(+http://help.soso.com/webspider.htm) 搜搜

    Yeti/1.0+(NHN+Corp.;+http://help.naver.com/robots/) 韩国搜索

    zawc/Nutch-1.0+(http://www.zawc.com)  准备转让汗

    DoCoMo/2.0+P900i(c100;TB;W24H11)(compatible;+ichiro/mobile+goo;+http://help.goo.ne.jp/door/crawler.html) 日本的搜索

    Mozilla/4.0+(compatible;+http://search.thunderstone.com/texis/websearch/about.html) 国外

    Mozilla/5.0+(Windows;+U;+Windows+NT+5.1;+en-US)+Speedy+Spider+(http://www.entireweb.com/about/search_tech/speedy_spider/)

    分析:

    有这么多机器人访问!注意User-Agent是可以伪造的。很多搜索爬虫说明页都有提到。但可以分析IP来辨别!

    其他的User-Agent

    +(^_^) 汗!不知道是什么东西

    AppleWebKit/532.7+(KHTML,+like+Gecko)+Chrome/4.0.271.1+Safari/532.7+TencentTraveler/5.0+QQBrowser/5.0.6587.400+(webkit)

    BREW-Applet/0x20068888+(BREW/3.1.5.20;+DeviceId:+110006;+Lang:+zhcn)+ucweb-squid

    HD2_T8585+Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+CE;+PPC)/UCWEB7.4.0.57/31/999

    HD_mini_T5555+Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+CE;+PPC)/UCWEB7.4.1.61/31/999

    HTC_HD2_T8585+Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+CE;+PPC)/UCWEB7.4.1.61/31/999

    HUAWEI+C5110+Java/HWJa/1.0+Profile/MIDP-2.0+Configuration/CLDC-1.1+UNTRUSTED/1.0

    J2ME

    J2ME/UCWEB7.3.1.56/139/800

    Jakarta+Commons-HttpClient/3.1

    Java/1.6.0_10

    LG-KG70+MIC/1.1.14+MIDP-2.0/CLDC-1.1+UNTRUSTED/1.0

    MAUI_WAP_Browser

    MOT-EM330/0.0.96+UNTRUSTED/1.0

    MSIE+6.0

    Microsoft-ATL-Native/9.00

    Mozilla/4.0

    Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+95) IE4、win95现在还有人用

    Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+98)

    Mozilla/4.0+(compatible;+MSIE+4.01;+Windows+CE;+PPC)/UCWEB7.4.0.57/31/800

    Mozilla/4.0+(compatible;+MSIE+6.0;)

    Mozilla/4.0+(compatible;+MSIE+7.0;+Windows+NT+5.1;+360SE)

    Mozilla/4.0+(compatible;+MSIE+8.0;+Windows+NT+5.1;+Trident/4.0)

    Mozilla/5.0+(Linux;+U;+Android+2.1;+zh-cn;+T2+Build/ERD79)+AppleWebKit/530.17+(KHTML,+like+Gecko)+Version/4.0+Mobile+Safari/530.17

    Mozilla/5.0+(Macintosh;+U;+Intel+Mac+OS+X+10_6;+zh-cn)+AppleWebKit/531.9+(KHTML,+like+Gecko)+Version/4.0.3+Safari/531.9

    Mozilla/5.0+(Windows;+U;+Windows+NT+5.1;+en-US)+AppleWebKit/534.6+(KHTML,+like+Gecko)+Chrome/6.0.493.0+Safari/534.6

    Mozilla/5.0+(iPhone;+U;+CPU+iPhone+OS+4_1+like+Mac+OS+X;+zh-cn)+AppleWebKit/532.9+(KHTML,+like+Gecko)+Mobile/8B117

    NOKIA3250/UCWEB7.1.0.42/28/800 手机上的UC

    Opera/9.80+(Windows+NT+5.1;+U;+zh-cn)+Presto/2.6.30+Version/10.60

    Palm680/RC1+(iPhone;+U;+CPU+iPhone+OS+2_2_1+like+Mac+OS+X;+zh-cn)/UCWEB7.4.1.68/41/997

    Python-urllib/1.17

    SonyEricssonU100i/R1BA+Profile/MIDP-2.1+Configuration/CLDC-1.1

    TencentTraveler+4.0

    UCWEB7.4.0.57/28/999

    UNTRUSTED/1.0

    Unknown/GoBrowser/1.6.0.70

    Wget/1.10.2+(Red+Hat+modified)

    Wget/1.9+cvs-stable+(Red+Hat+modified)

    ZTE-Me/Mobile

    aboutthedomain 什么东西

    kuanguang+Java/1.6.0_18

    libwww-perl/5.836

    分析:

    看到上面的User-Agent会发现手机的User-Agent有多混乱!并且User-Agent里面还包含了大量的软件和系统信息!

    为什么就没人给个标准规范!移动互联网平台各式各样!最终只会苦了我们这些程序员!


    欢迎转载,转载请注明:转载自[ http://www.cnblogs.com/zjfree/ ]
  • 相关阅读:
    mac 版 Pycharm 激活
    最快的 maven repository--阿里镜像仓库
    java-Object
    java --replaceAll方法
    正则表达式中^[a-z]与[^a-z]有区别吗
    keyListener用的健值表,保留一份
    java播放背景音乐 mp3和mav都可以播放
    腾讯云ubuntu远程桌面
    nginx 配置转发到其他多台服务器
    java 键盘监听事件
  • 原文地址:https://www.cnblogs.com/zjfree/p/1884766.html
Copyright © 2011-2022 走看看