zoukankan      html  css  js  c++  java
  • PHP采集利器 Snoopy 试用心得

    Snoopy是什么?
    Snoopy是一个php类,用来模仿web浏览器的功能,它能完成获取网页内容和发送表单的任务。
    Snoopy的一些特点:
    * 方便抓取网页的内容
    * 方便抓取网页的文本内容 (去除HTML标签)
    * 方便抓取网页的链接
    * 支持代理主机
    * 支持基本的用户名/密码验证
    * 支持设置 user_agent, referer(来路), cookies 和 header content(头文件)
    * 支持浏览器转向,并能控制转向深度
    * 能把网页中的链接扩展成高质量的url(默认)
    * 方便提交数据并且获取返回值
    * 支持跟踪HTML框架(v0.92增加)
    * 支持再转向的时候传递cookies (v0.92增加)
    要想了解的更深入些,你自己Google一下吧。下面就给几个简单的例子: 


    1获取指定url内容

    $url = "http://www.codesky.net"; 
    include("snoopy.php"); 
    $snoopy = new Snoopy; 
    $snoopy->fetch($url); //获取所有内容 
    echo $snoopy->results; //显示结果 
    $snoopy->fetchtext //获取文本内容(去掉html代码) 
    $snoopy->fetchlinks //获取链接 
    $snoopy->fetchform //获取表单 

    2 表单提交 
    $formvars["username"] = "admin"; 
    $formvars["pwd"] = "admin"; 
    $action = "http://www.codesky.net";//表单提交地址 
    $snoopy->submit($action,$formvars);//$formvars为提交的数组 
    echo $snoopy->results; //获取表单提交后的 返回的结果 
    $snoopy->submittext; //提交后只返回 去除html的 文本 
    $snoopy->submitlinks;//提交后只返回 链接 

    既然已经提交的表单 那就可以做很多事情 接下来我们来伪装ip,伪装浏览器
    3 伪装 
    $formvars["username"] = "admin"; 
    $formvars["pwd"] = "admin"; 
    $action = "http://www.codesky.net"; 
    include "snoopy.php"; 
    $snoopy = new Snoopy; 
    $snoopy->cookies["PHPSESSID"] = 'fc106b1918bd522cc863f36890e6fff7'; //伪装sessionid 
    $snoopy->agent = "(compatible; MSIE 4.01; MSN 2.5; AOL 4.0; Windows 98)"; //伪装浏览器 
    $snoopy->referer = "http://s.jb51.net"; //伪装来源页地址 http_referer 
    $snoopy->rawheaders["Pragma"] = "no-cache"; //cache 的http头信息 
    $snoopy->rawheaders["X_FORWARDED_FOR"] = "127.0.0.101"; //伪装ip 
    $snoopy->submit($action,$formvars); 
    echo $snoopy->results; 

    原来我们可以伪装session 伪装浏览器 ,伪装ip, haha 可以做很多事情了。 
    例如 带验证码,验证ip 投票, 可以不停的投。
    ps:这里伪装ip ,其实是伪装http头, 所以一般的通过 REMOTE_ADDR 获取的ip是伪装不了,
    反而那些通过http头来获取ip的(可以防止代理的那种) 就可以自己来制造ip。
    关于如何验证码 ,简单说下:
    首先用普通的浏览器, 查看页面 , 找到验证码所对应的sessionid,
    同时记下sessionid和验证码值,
    接下来就用snoopy去伪造 。

    原理:由于是同一个sessionid 所以取得的验证码和第一次输入的是一样的。
    4 有时我们可能需要伪造更多的东西,snoopy完全为我们想到了
    $snoopy->proxy_host = "www.codesky.net"; 
    $snoopy->proxy_port = "8080"; //使用代理 
    $snoopy->maxredirs = 2; //重定向次数 
    $snoopy->expandlinks = true; //是否补全链接 在采集的时候经常用到 
    // 例如链接为 /images/taoav.gif 可改为它的全链接 http://www.codesky.net/images/taoav.gif,这个地方其实可以在最后输出的时候用ereg_replace函数自己替换 
    $snoopy->maxframes = 5 //允许的最大框架数 
    //注意抓取框架的时候 $snoopy->results 返回的是一个数组 
    $snoopy->error //返回报错信息 

    上面的基本用法了解了,下面我就实例演示一次: 
    <? 
    //echo var_dump($_SERVER); 
    include("Snoopy.class.php"); 
    $snoopy = new Snoopy; 
    $snoopy->agent = "Mozilla/5.0 (Windows; U; Windows NT 5.1; zh- 
    CN; rv:1.9.0.5) Gecko/2008120122 Firefox/3.0.5 FirePHP/0.2.1";//这项是浏览器信 
    息,前面你用什么浏览器查看cookie,就用那个浏览器的信息(ps:$_SERVER可以查看到浏览器的信息) 
    $snoopy->referer = "http://bbs.jb51.net/index.php"; 
    $snoopy->expandlinks = true; 
    $snoopy->rawheaders["COOKIE"]="__utmz=17229162.1227682761.29.7.utmccn=(referral)|utmcsr=jb51.net|utmcct=/html/index.html|utmcmd=referral; cdbphpchina_smile=1D2D0D1; cdbphpchina_cookietime=2592000; __utma=233700831.1562900865.1227113506.1229613449.1231233266.16; __utmz=233700831.1231233266.16.8.utmccn=(referral)|utmcsr=localhost:8080|utmcct=/test3.php|utmcmd=referral; __utma=17229162.1877703507.1227113568.1231228465.1231233160.58; uchome_loginuser=sinopf; xscdb_cookietime=2592000; __utmc=17229162; __utmb=17229162; cdbphpchina_sid=EX5w1V; __utmc=233700831; cdbphpchina_visitedfid=17; cdbphpchinaO766uPYGK6OWZaYlvHSuzJIP22VpwEMGnPQAuWCFL9Fd6CHp2e%2FKw0x4bKz0N9lGk; xscdb_auth=8106rAyhKpQL49eMs%2FyhLBf3C6ClZ%2B2idSk4bExJwbQr%2BHSZrVKgqPOttHVr%2B6KLPg3DtWpTMUI4ttqNNVpukUj6ElM; cdbphpchina_onlineusernum=3721"; 
    $snoopy->fetch("http://bbs.jb51.net"); 
    $n=ereg_replace("href="","href="http://bbs.jb51.net/",$snoopy->results ); 
    echo ereg_replace("src="","src="http://bbs.jb51.net/",$n); 
    ?> 

    这是模拟登陆PHPCHINA论坛的过程,首先要查看自己浏览器的信息:echo var_dump($_SERVER);这句代码可以看到自己浏览器的信息,把
    $_SERVER['HTTP_USER_AGENT']后边的内容复制下来,粘在$snoopy->agent的地方,然后就是要查看自己的
    COOKIE了,用自己在论坛的账号登陆论坛后,在浏览器地址栏里输入
    javascript:document.write(document.cookie),回车,就可以看到自己的cookie信息,复制粘贴
    到$snoopy->rawheaders["COOKIE"]=的后边。(我的cookie信息为了安全起见已经删除了一段内容)

    然后再注意:

    # $n=ereg_replace("href="","href="http://bbs.jb51.net/",$snoopy->results );

    # echo ereg_replace("src="","src="http://bbs.jb51.net/",$n);

    这两句代码源码天空,因为采集到的内容所有的HTML源码地址都是相对链接,所以要替换成绝对链接,这样就可以引用论坛的图片和css样式了。 


    Snoopy下载

  • 相关阅读:
    MOSS中的User的Title, LoginName, DisplayName, SID之间的关系
    如何在Network Monitor中高亮间隔时间过长的帧?
    SharePoint服务器如果需要安装杀毒软件, 需要注意什么?
    如何查看SQL Profiler? 如何查看SQL死锁?
    什么是Telnet
    The name or security ID (SID) of the domain specified is inconsistent with the trust information for that domain.
    Windows SharePoint Service 3.0的某个Web Application无搜索结果
    网络连接不上, 有TCP错误, 如果操作系统是Windows Server 2003, 请尝试一下这里
    在WinDBG中查看内存的命令
    The virtual machine could not be started because the hypervisor is not running
  • 原文地址:https://www.cnblogs.com/moqiang02/p/4061341.html
Copyright © 2011-2022 走看看