zoukankan      html  css  js  c++  java
  • paip.抓取网页内容java php python

    paip.抓取网页内容--java php python.txt

    作者Attilax  艾龙, EMAIL:1466519819@qq.com
    来源:attilax的专栏
    地址:http://blog.csdn.net/attilax

    //java
    String urlContent = WebpageContent("http://www.123cha.com/ip/?q="+ip,"utf-8");



    ///php
    file_get_contents($url);
     curl_init()>>>curl_exec
     fopen->fread->fclose
     
     
     /python
     urllib.urlopen(url).read()
     response = urllib2.urlopen('http://www.baidu.com/')  
    html = response.read()  
     
     ///ahk
     UrlDownloadToFile, URL, Filename

     
     
     public String downloadPage(String Url, String encode) {
            try {
                URL pageUrl = new URL(Url);
                // Open connection to URL for reading.
                BufferedReader reader = new BufferedReader(new InputStreamReader(
                        pageUrl.openStream(), encode));
                // BufferedReader br = new BufferedReader(new InputStreamReader(in,
                // "gbk"));
                // Read page into buffer.
                String line;
                StringBuffer pageBuffer = new StringBuffer();
                while ((line = reader.readLine()) != null) {
                    pageBuffer.append(line);
                }
                String s = pageBuffer.toString();
                return s;
                // System.out.println(s);
                // return pageBuffer.toString();
            } catch (Exception e) {
                // return null;
                throw new RuntimeException(e);
            }

        }

     
     
     参考:
     php获取网页内容方法总结_php技巧_脚本之家.htm
     Python 3 抓取网页资源的 N 种方法.htm
  • 相关阅读:
    自学Linux命令的四种方法
    POJ 1170 Shopping Offers -- 动态规划(虐心的六重循环啊!!!)
    九度OJ 1447 最短路 1008 最短路径问题
    九度OJ 1024 畅通工程 -- 并查集、贪心算法(最小生成树)
    PHPActiveRecord 学习三
    PHPUnit 组织测试
    PHPActiveRecord validates
    PHPActiveRecord 学习二
    PHPActiveRecord 学习一
    PHP ActiveRecord demo栗子中 关于类名 的问题
  • 原文地址:https://www.cnblogs.com/attilax/p/15199300.html
Copyright © 2011-2022 走看看