zoukankan      html  css  js  c++  java
  • '/test.txt'; // 把抓取的代码写入该文件

     

    将获得的代码直接写入某个文件 
    代码如下:
    <?php 
    $urls = array( 
    'http://www.sina.com.cn/', 
    'http://www.sohu.com/', 
    'http://www.163.com/' 
    ); // 设置要抓取的页面URL

    $save_to='/test.txt'; // 把抓取的代码写入该文件

    $st = fopen($save_to,"a"); 
    $mh = curl_multi_init();

    foreach ($urls as $i => $url) { 
    $conn[$i] = curl_init($url); 
    curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"); 
    curl_setopt($conn[$i], CURLOPT_HEADER ,0); 
    curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60); 
    curl_setopt($conn[$i], CURLOPT_FILE,$st); // 设置将爬取的代码写入文件 
    curl_multi_add_handle ($mh,$conn[$i]); 
    } // 初始化

    do { 
    curl_multi_exec($mh,$active); 
    } while ($active); // 执行

    foreach ($urls as $i => $url) { 2881064151}
    curl_multi_remove_handle($mh,$conn[$i]); 
    curl_close($conn[$i]); 
    } // 结束清理

    curl_multi_close($mh); 
    fclose($st); 
    ?>

    代码2:将获得的代码先放入变量,再写入某个文件 
    代码如下:
    <?php 
    $urls = array( 
    'http://www.sina.com.cn/', 
    'http://www.sohu.com/', 
    'http://www.163.com/' 
    );

    $save_to='/test.txt'; // 把抓取的代码写入该文件 
    $st = fopen($save_to,"a");

    $mh = curl_multi_init(); 
    foreach ($urls as $i => $url) { 
    $conn[$i] = curl_init($url); 
    curl_setopt($conn[$i], CURLOPT_USERAGENT, "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 6.0)"); 
    curl_setopt($conn[$i], CURLOPT_HEADER ,0); 
    curl_setopt($conn[$i], CURLOPT_CONNECTTIMEOUT,60); 
    curl_setopt($conn[$i],CURLOPT_RETURNTRANSFER,true); // 设置不将爬取代码写到浏览器,而是转化为字符串 
    curl_multi_add_handle ($mh,$conn[$i]); 
    }

    do { 
    curl_multi_exec($mh,$active); 
    } while ($active);

    foreach ($urls as $i => $url) { 
    $data = curl_multi_getcontent($conn[$i]); // 获得爬取的代码字符串 
    fwrite($st,$data); // 将字符串写入文件。当然,也可以不写入文件,比如存入数据库 
    } // 获得数据变量,并写入文件

    foreach ($urls as $i => $url) { 
    curl_multi_remove_handle($mh,$conn[$i]); 
    curl_close($conn[$i]); 
    }

    curl_multi_close($mh); 
    fclose($st); 
    ?>

  • 相关阅读:
    Windows 10 +Anaconda+tensorflow+cuda8.0 环境配置
    mysql练习
    Flask 系列之 LoginManager
    flask_restful的使用
    用 Flask 来写个轻博客 (27) — 使用 Flask-Cache 实现网页缓存加速
    jquery之$(document).ready(function()和 $(function()执行顺序
    Spring Bean的生命周期(非常详细)
    Asset Catalog Help (一)---About Asset Catalogs
    Programming With Objective-C---- Encapsulating Data ---- Objective-C 学习(三) 封装数据
    Ruby module ---模块,组件
  • 原文地址:https://www.cnblogs.com/cbryge/p/6169292.html
Copyright © 2011-2022 走看看