zoukankan      html  css  js  c++  java
  • Java获取网页内容

    以前都是用python写爬虫,这次使用java。代码虽然多了点,不过还是静态类型语言代码提示舒心点。获取网页源代码算是爬虫的基本入门吧。

    我们采用Apache的commons-httpclient包进行抓取。需要用到三个包:commons-httpclient、commons-codec、commons-logging。用maven则只需添加如下dependency即可:

    <dependency>
        <groupId>commons-httpclient</groupId>
        <artifactId>commons-httpclient</artifactId>
        <version>3.1</version>
    </dependency>

    核心代码如下:

    import org.apache.commons.httpclient.HttpClient;
    import org.apache.commons.httpclient.methods.PostMethod;
    import java.io.IOException;
    
    public class Main {
    
        public static String readUrl(String url) {
            PostMethod method = new PostMethod(url);
            String res = null;
            try {
                new HttpClient().executeMethod(method);
                res = new String(method.getResponseBodyAsString().getBytes(), "utf8");
            } catch (IOException e) {
                e.printStackTrace();
            }
            return res;
        }
    
        public static void main(String[] args) {
            System.out.println(readUrl("http://blog.zzkun.com"));
        }
    }

    爬取本博客网站,执行结果如下:

  • 相关阅读:
    Codeforces 722C. Destroying Array
    Codeforces 722D. Generating Sets
    【BZOJ】3436: 小K的农场
    数论四·扩展欧几里德
    数论三·约瑟夫问题
    数论二·Eular质数筛法
    #1287 : 数论一·Miller-Rabin质数测试
    树的维护
    可持久化线段树
    【NOIP2016】天天爱跑步
  • 原文地址:https://www.cnblogs.com/kunsoft/p/13675292.html
Copyright © 2011-2022 走看看