3.电影搜索之采集

           关于采集，是一种即可恨又开爱的东西。可爱之处在于，通过采集，可以快速使你，从数据的平民窟，变成数据的富翁。而且消耗的时间相当之短。 可恨之处也很明显，对于被你采集的人和你的竞争对手来说，都是咬牙切齿，夜不能寐的。

           

             我这里采集的部分相当简单。主要是用到了  "PHP Simple HTML DOM" 

             用法可以参考：http://www.cnphp.info/php-simple-html-dom-parser-intro.html

             这是一个使用非常简单方便的类，尤其是适合那些用惯了jquery的同学。他的选择器基本和jquery一直，所以用这个类采集，基本不用写正则表达式。 jquery是一个好东西，以至于很多语言都在模仿他的设计方式。java里面有个叫jsoup的包也是实现了类似的功能，使用非常简单方便。后台是使用java的人可以看看 jsoup。

             下面举一个采集实例，目标对象是：http://www.dy9.net/nList/1.html 这个网站。网站截图如下：

             

目测应该是一个百度影音的视频播放网站。

列表主体部分代码如下:

<div class="main">
<div class="nBox">
    <div class="head">
        <div class="status"><div class="ico"></div></div>
        <h3 class="title">最新动作片</h3>
        <div class="xpage"><span>共2494条数据 页次:1/179页</span><em class="nolink">首页</em><em class="nolink">上一页</em><em>1</em><a href="/nList/1_2.html">2</a><a href="/nList/1_3.html">3</a><a href="/nList/1_4.html">4</a><a href="/nList/1_5.html">5</a><a href="/nList/1_6.html">6</a><a href="/nList/1_7.html">7</a><a href="/nList/1_8.html">8</a><a href="/nList/1_2.html">下一页</a><a href="/nList/1_179.html">尾页</a><span><input type="input" name="page" size="4"><input type="button" value="跳转" onclick="getPageGoUrl(179,'page','/nList/1_&lt;page&gt;.html')" class="btn"></span></div>
    </div>
    <div class="border">
        
        <div class="tw w50p"> <a href="/movie/23660.html" class="imgBg1"><img src="/pic/uploadimg/2013-10/23660.jpg" alt="特殊身份/终极解码" title="特殊身份/终极解码" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">DVD
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/23660.html">特殊身份/终极解码</a></strong></p>
            <p class="actor">主演：甄子丹,景甜,安志杰,..</p>
            <p>地区：香港</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-28</p>
        <p><a href="/player/23660-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/1668.html" class="imgBg1"><img src="http://i3.ku6img.com/cms/jc/201009/25/16607v0ft_1.jpg" alt="猛龙" title="猛龙" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">全集
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/1668.html">猛龙</a></strong></p>
            <p class="actor">主演：洪金宝,迈克尔.比恩,..</p>
            <p>地区：香港</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-28</p>
        <p><a href="/player/1668-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/4495.html" class="imgBg1"><img src="/pic/uploadimg/2011-7/4495.jpg" alt="第三十九级台阶" title="第三十九级台阶" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/4495.html">第三十九级台阶</a></strong></p>
            <p class="actor">主演：鲁伯特·潘瑞-琼斯,L..</p>
            <p>地区：大陆</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-28</p>
        <p><a href="/player/4495-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/16510.html" class="imgBg1"><img src="/pic/uploadimg/2013-11/201311251248364079.jpg" alt="大洋深处" title="大洋深处" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">暂无
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/16510.html">大洋深处</a></strong></p>
            <p class="actor">主演：克里斯·海姆斯沃斯,汤..</p>
            <p>地区：欧美</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-25</p>
        <p><a href="/player/16510-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/23479.html" class="imgBg1"><img src="/pic/uploadimg/2013-9/23479.jpg" alt="狄仁杰之神都龙王" title="狄仁杰之神都龙王" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">TS抢先版
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/23479.html">狄仁杰之神都龙王</a></strong></p>
            <p class="actor">主演：赵又廷,冯绍峰,林更新..</p>
            <p>地区：大陆</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-24</p>
        <p><a href="/player/23479-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/24048.html" class="imgBg1"><img src="/pic/uploadimg/2013-11/24048.jpg" alt="新雌雄大盗" title="新雌雄大盗" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">DVD
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/24048.html">新雌雄大盗</a></strong></p>
            <p class="actor">主演：Eric,Robert..</p>
            <p>地区：欧美</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-24</p>
        <p><a href="/player/24048-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/19935.html" class="imgBg1"><img src="/pic/uploadimg/2013-11/201311240161448042.jpg" alt="四大名捕2" title="四大名捕2" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">预告
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/19935.html">四大名捕2</a></strong></p>
            <p class="actor">主演：邓超,刘亦菲,邹兆龙,..</p>
            <p>地区：大陆</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-24</p>
        <p><a href="/player/19935-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/21504.html" class="imgBg1"><img src="/pic/uploadimg/2013-4/21504.jpg" alt="雷神2：黑暗世界" title="雷神2：黑暗世界" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">首发
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/21504.html">雷神2：黑暗世界</a></strong></p>
            <p class="actor">主演：克里斯·海姆斯沃斯,汤..</p>
            <p>地区：欧美</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-23</p>
        <p><a href="/player/21504-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/23507.html" class="imgBg1"><img src="/pic/uploadimg/2013-9/23507.jpg" alt="逃出生天3D" title="逃出生天3D" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">TS粤语
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/23507.html">逃出生天3D</a></strong></p>
            <p class="actor">主演：古天乐,刘青云,李心洁..</p>
            <p>地区：香港</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-23</p>
        <p><a href="/player/23507-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/24031.html" class="imgBg1"><img src="/pic/uploadimg/2013-11/24031.jpg" alt="桎梏" title="桎梏" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">BD
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/24031.html">桎梏</a></strong></p>
            <p class="actor">主演：朴雅卡·乔普拉,拉姆·..</p>
            <p>地区：其它</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-22</p>
        <p><a href="/player/24031-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/24020.html" class="imgBg1"><img src="/pic/uploadimg/2013-11/24020.jpg" alt="悍战谍影/谍战马德拉斯" title="悍战谍影/谍战马德拉斯" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">BD
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/24020.html">悍战谍影/谍战马..</a></strong></p>
            <p class="actor">主演：约翰·亚伯拉罕,娜吉丝..</p>
            <p>地区：欧美</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-22</p>
        <p><a href="/player/24020-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/5076.html" class="imgBg1"><img src="/pic/uploadimg/2011-7/5076.jpg" alt="尼姆岛" title="尼姆岛" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/5076.html">尼姆岛</a></strong></p>
            <p class="actor">主演：阿比吉尔·布莱斯林,杰..</p>
            <p>地区：欧美</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-21</p>
        <p><a href="/player/5076-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/24008.html" class="imgBg1"><img src="/pic/uploadimg/2013-11/24008.jpg" alt="间谍/K先生" title="间谍/K先生" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">DVD+BD
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/24008.html">间谍/K先生</a></strong></p>
            <p class="actor">主演：薛景求,文素丽,高昌锡</p>
            <p>地区：韩国</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-21</p>
        <p><a href="/player/24008-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
        <div class="tw w50p"> <a href="/movie/20032.html" class="imgBg1"><img src="/pic/uploadimg/2012-12/20032.jpg" alt="逃脱" title="逃脱" width="120" height="160" onerror="src='/template/skin/images/nopic.gif'"><span class="imgBg1Bg">DVD+BD
</span></a>
          <div class="twC2">
            <p><strong><a href="/movie/20032.html">逃脱</a></strong></p>
            <p class="actor">主演：戴克斯·夏普德,克里斯..</p>
            <p>地区：欧美</p>
            <p>类型：动作片</p>
        <p>时间：2013-11-20</p>
        <p><a href="/player/20032-0.html" class="btn1">马上观看</a></p>
          </div>
        </div>
        
    <div class="page"><span>共2494条数据 页次:1/179页</span><em class="nolink">首页</em><em class="nolink">上一页</em><em>1</em><a href="/nList/1_2.html">2</a><a href="/nList/1_3.html">3</a><a href="/nList/1_4.html">4</a><a href="/nList/1_5.html">5</a><a href="/nList/1_6.html">6</a><a href="/nList/1_7.html">7</a><a href="/nList/1_8.html">8</a><a href="/nList/1_2.html">下一页</a><a href="/nList/1_179.html">尾页</a><span><input type="input" name="page" size="4"><input type="button" value="跳转" onclick="getPageGoUrl(179,'page','/nList/1_&lt;page&gt;.html')" class="btn"></span></div>
    </div>
   </div>
</div>

        现在假设我们的目标是：采集电影的名称，地区，类型，时间，和对于的播放地址。

        那么php代码如下：

        

//简单的输出采集也的所有电影详情也url地址
public function dy9list(){
$from="http://www.dy9.net/nList/13.html";
$html = file_get_html("$from");
$info=$html->find("div[class=w50p]");
foreach ($info as $v){
$href=$v->find("a",0)->href;
dump($href);
}

}

//结果如下：

string(17) "/movie/24007.html"
string(17) "/movie/23417.html"
string(17) "/movie/23535.html"
string(17) "/movie/24022.html"
string(17) "/movie/23611.html"
string(17) "/movie/23003.html"
string(17) "/movie/21791.html"
string(17) "/movie/23517.html"
string(17) "/movie/24058.html"
string(17) "/movie/23767.html"
string(17) "/movie/21790.html"
string(17) "/movie/22244.html"
string(17) "/movie/23943.html"
string(17) "/movie/23543.html"

采集关键项数据代码如下：

/**
     * www.dy9.net 列表采集
     */
    public function dy9list(){
        $from="http://www.dy9.net/nList/13.html";
        $html = file_get_html("$from");
        $info=$html->find("div[class=w50p]");
        foreach ($info as $v){
            $movie['href']=$v->find("a",0)->href;
            $movie['name']=$v->find("p",0)->plaintext;
            $movie['star']=$v->find("p",1)->plaintext;
            $movie['area']=$v->find("p",2)->plaintext;
            $movie['type']=$v->find("p",3)->plaintext;
            $movie['time']=$v->find("p",4)->plaintext;
            dump($movie);
        }
    }


array(6) {
  ["href"] => string(17) "/movie/24007.html"
  ["name"] => string(12) "漂亮男人"
  ["star"] => string(40) "主演：张根硕,李智恩,李章宇.."
  ["area"] => string(15) "地区：韩国"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-29"
}
array(6) {
  ["href"] => string(17) "/movie/23417.html"
  ["name"] => string(18) "土豆星球2013.."
  ["star"] => string(40) "主演：李顺载,吕珍九,河妍秀.."
  ["area"] => string(15) "地区：韩国"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-29"
}
array(6) {
  ["href"] => string(17) "/movie/23535.html"
  ["name"] => string(12) "多谢款待"
  ["star"] => string(40) "主演：杏,东出昌大,原田泰造.."
  ["area"] => string(15) "地区：日本"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-29"
}
array(6) {
  ["href"] => string(17) "/movie/24022.html"
  ["name"] => string(27) "来自风平浪静的明天"
  ["star"] => string(40) "主演：花江夏树,花泽香菜,石.."
  ["area"] => string(15) "地区：日本"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-29"
}
array(6) {
  ["href"] => string(17) "/movie/23611.html"
  ["name"] => string(12) "继承者们"
  ["star"] => string(40) "主演：李敏镐,朴信惠,金宇彬.."
  ["area"] => string(15) "地区：韩国"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-29"
}
array(6) {
  ["href"] => string(17) "/movie/23003.html"
  ["name"] => string(15) "红宝石戒指"
  ["star"] => string(40) "主演：李素妍,林贞恩,郑东焕.."
  ["area"] => string(15) "地区：韩国"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-29"
}
array(6) {
  ["href"] => string(17) "/movie/21791.html"
  ["name"] => string(15) "丑八怪警报"
  ["star"] => string(38) "主演：林周焕,姜索拉,申素率"
  ["area"] => string(15) "地区：韩国"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-28"
}
array(6) {
  ["href"] => string(17) "/movie/23517.html"
  ["name"] => string(24) "因为是你才喜欢 .."
  ["star"] => string(38) "主演：尹海英,李在皇,尹智敏"
  ["area"] => string(15) "地区：韩国"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-28"
}
array(6) {
  ["href"] => string(17) "/movie/24058.html"
  ["name"] => string(22) "欧若拉公主 国语"
  ["star"] => string(40) "主演：全素敏,孙昌锡,边熙峰.."
  ["area"] => string(15) "地区：韩国"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-28"
}
array(6) {
  ["href"] => string(17) "/movie/23767.html"
  ["name"] => string(10) "LEGALHIG.."
  ["star"] => string(9) "主演："
  ["area"] => string(15) "地区：日本"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-28"
}
array(6) {
  ["href"] => string(17) "/movie/21790.html"
  ["name"] => string(15) "欧若拉公主"
  ["star"] => string(40) "主演：全素敏,孙昌锡,边熙峰.."
  ["area"] => string(15) "地区：韩国"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-28"
}
array(6) {
  ["href"] => string(17) "/movie/22244.html"
  ["name"] => string(6) "恩熙"
  ["star"] => string(40) "主演：金恩熙,景秀珍,林成载.."
  ["area"] => string(15) "地区：韩国"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-28"
}
array(6) {
  ["href"] => string(17) "/movie/23943.html"
  ["name"] => string(19) "黄金时刻 国语"
  ["star"] => string(35) "主演：李善均,黄静茵,李圣"
  ["area"] => string(15) "地区：韩国"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-28"
}
array(6) {
  ["href"] => string(17) "/movie/23543.html"
  ["name"] => string(6) "猫侍"
  ["star"] => string(28) "主演：北村一辉,平田"
  ["area"] => string(15) "地区：日本"
  ["type"] => string(18) "类型：日韩剧"
  ["time"] => string(19) "时间：2013-11-28"
}

//数据整理之后就在一个数组里面了，然后 add到数据库就OK了，当然这里你也可以采集到影片的图片。

  采集大概的节奏就是这样了。具体不同的网站结构不同，但是道理是一样的。只要有规律就可以采集。

  采集之后把数据添加到数据库，同时保存这条数据的来源，可以作为排重用，之后也可以提示去源网页。

  我这里只是简单的采集了列表也里面的数据，一般的网页就是列表页，然后详情页，大部分数据都是在详情页。尤其是视频正在的播放网址，只能在播放页采集到。

  很多网站对视频资源地址都是做了处理的，比如有的网站会对百度影音的的url做一个 base64编码，然后他使用的时候通过base64解码。有一些是把多个播放地址拼接然后中间加入一些分割符号。

---------------------------------------------------

http://www.mrhso.com/movie