zoukankan      html  css  js  c++  java
  • perl 爬虫研究2

    继续研究云总的代码时,发现很纠结的问题。

    再看代码,试着单月测试的方法研究,始终输出的是数组,

    感觉不会再爱了。。。。先把上午的活干完,晚上飞机走人了。。

    #!/usr/bin/perl
    use URI::URL;
    use Web::Scraper;
    use Data::Dumper;
    
    my $base_url="http://www.cnblogs.com/";
    my $host=URI::URL->new($base_url)->host;
    
    print "host:$host
    ";
    $scraper=scraper{ process '//a','links[]'=>'@href';};
    print $scraper->scrape( URI->new($base_url))->{'links'};
    foreach(@{$res}){
      $link=$_->as_string;
      $link=URI::URL->new($link,$base_url);
       $link = $link->abs->as_string;
                            if( $link =~ /(.*?)#(.*)/ )
                            {
                                    $link = $1;
                            }
      print Dumper($link);
    }
  • 相关阅读:
    SVN版本控制服务
    JVM内存结构
    Git的使用
    Nginx详解
    Apache(httpd)详解
    rsyslog日志收集器
    nsswitch名称解析框架
    NFS网络文件系统
    ThreadLocal详解
    RocketMQ踩坑记
  • 原文地址:https://www.cnblogs.com/xiaoCon/p/3346851.html
Copyright © 2011-2022 走看看