从网页中通过正则表达式获取标题等信息（二）实现过程分析

上篇文章，介绍了我2012年实现的一个内容聚合网站,通过正则表达式抽取网页内容，并提供了代码实现。

从网页中通过正则表达式获取标题、URL和发表时间

本文将进一步介绍其实现过程：

一、网页结构分析 

  在2012年左右，JavaScript还远没有今天这么强大，当时html是网页的骨架，css进行风格装饰，javascript提供动作。

  [注]在当今动辄 React、Angular、Vue之类技术做前端，前端一栈式开发的背景下，内容抽取也许大不一样。

  从网页页面上抽取内容，需要分析其html结构。一般情况下是通过table、ul、li、div之类的标签提供一个列表,内容页面一般是通过div实现的。

  比如博客园的“精华区”，通过Chrome的F12，

然后“查看元素”，整个列表页面是通过div支撑起来的，每一条也是一个div；

其中标题和链接是在<div class="post_item">下的<a class="titlelnk"中；

发表时间，是在<a href=和<span class="article_comment">之间。

二、内容提取

        知道了结构，下一步就是如何提取内容了。

1、提取整个列表部分

        该部分相对比较简单，找到列表部分的起始、结束部分就可以了。

        如博客园精华部分的起始是：<div id="post_list">，结束是：</div>。

        一般情况下，开始位置比较容易确定，但结束位置这么些用正则表达式在结束标签是div的时候是无法获取内容的。这种情况下要找到结束标签的下一个标签, 比如：

<script>editorPickStat(); aggSite.user.getUserInfo();</script>

 // 获得网址所在的匹配区域部分

  private static String getContentArea(String urlContent, String strAreaBegin,String strAreaEnd) {

​    int pos1 = 0, pos2 = 0;
​    pos1 = urlContent.indexOf(strAreaBegin) + strAreaBegin.length();
​    pos2 = urlContent.indexOf(strAreaEnd, pos1);
​    return urlContent.substring(pos1, pos2);
  }

        然后通过正则表达式获取一个列表：

Pattern pt = Pattern.compile(rb.getRegex());
​Matcher mt = pt.matcher(contentArea);

while (mt.find()) {

2、提取单条记录

方法同提取内容部分差不多，如单条记录的起始标签为<div class="post_item">，结束标签相对来说也比较难确定。

获取单条记录，并去除空格之类的无用字符：

String rowContent = mt.group();

rowContent = rowContent.replaceAll(rb.getRemoveRegex(), "")；

3、提取出标题

取出标题用的是 >.?</a>或者title=.?>,并且要去除空格和多余的字符，需要用到类似：<li>|</li>|(<img)([sS]?)(>)|(<div)([sS]?)(>)|</div>或者(<table)([sS]?)(>)|<tr>|(<td)([sS]?)(>)|</td>|</tr>|(<table)([sS]*?)(>)之类的。

// 获取标题

Matcher title = Pattern.compile(rb.getTitleRegex()).matcher(rowContent);

while (title.find()) {

String s = title.group().replaceAll("||>|</a>|[.*?]|</l>","");

if(s ==null || s.trim().length()<=0){
s = "error";
}
tuBean.setTitle(s)；

}

4、提取出超链接

提取出超链接，需要用到 href=.?target=或者href=.?.> 或者 href=.*?title。要根据实际情况配置。

// 获取网址

Matcher myurl = Pattern.compile(rb.getUrlRegex()).matcher(

rowContent);

while (myurl.find()) {

String u = myurl.group().replaceAll(

"href=|"|>|target=|_blank|title", "");

u = u.replaceAll("'|\", "");

if(u!=null && (u.indexOf("http://")==-1)){

tuBean.setUrl(rb.getPrefix() + u);

}else{

tuBean.setUrl(u);

}

}

if(tuBean.getUrl() ==null){

tuBean.setUrl("error");

}

5、提取出发表时间

不同的时间格式，获取方法是不一样的。这个也是用正则表达式获取：比较常规的

[0-9]{4}-[0-9]{1,2}-[0-9]{1,2}

或者：

[0-9]{4}-[0-9]{2}-[0-9]{1,2}

// 获取时间
Matcher d = Pattern.compile(rb.getDateRegex()).matcher(rowContent);
while (d.find()) {

tuBean.setDeliveryDate(d.group());

}