从人人网抓取高校数据信息，包括，省份 高校 院系 (提供最终SQL文件下载)

从人人网抓取高校数据信息，包括，省份 - 高校 - 院系 

Author: handt

Blog    : www.cnblogs.com/handt

涉及到的脚本和 SQL 文件 点此下载

=========== 正文部分 ==============

思路分析：

1. 获得高校数据

地址：http://s.xnimg.cn/a44177/allunivlist.js （通过分析页面请求确定为该文件）

对该文件进行人工分析，结合页面弹出框，可以得知，该js文件包含了 国家、城市、学校 信息。文件为 “非标准” json格式：所有key值均未加双引号。比如其中大学信息格式为：

{id:1,univs:[{id:1001,name:"\u6e05\u534e\u5927\u5b66"}

标准 JSON 格式的id，univs，name 都应该用双引号包围。关于JSON格式的简单介绍可以参见《PHP 与 JSON》

因此，第一步 应该是格式化数据文件，转换为标准JSON格式，以便直接用PHP的 json_decode 函数处理。

接下来，具体分析该文件的字段信息。

出于提高访问速度的考虑，allunivlist.js 文件被压缩在同一行。为了快速分析该文件，提供一个小技巧：将文件另存到本地，用vim打开，使用 vim 的括号匹配功能（shift+5）从最外层逐渐开始分析。（vim更多知识可以参见《Vimtutor拾遗》）

经过分析，文件整体结构为

[{国家1},{国家2},{国家3}....]

国家定义：{id:xxx, univs:xxxx, name:xxxx, provs:xxxx, country_id:xxx}  (provs表示省份)

provs：[{省份1},{省份2},{省份3}....]

省份定义：{id:xxx, univs:xxx, country_id:xxxx, name:xxxx} (univs表示大学)

univs: [{大学1},{大学2},{大学3}....]

大学定义：{id:xxx, name:xxxx}

通过该文件，能够获取到中国所有省份的高校信息。

对应的，可以建立数据表school：

CREATE TABLE `school` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `sid` int(11) DEFAULT NULL COMMENT '学校id',
  `cid` int(11) DEFAULT NULL COMMENT '所在城市id',
  `name` varchar(255) CHARACTER SET utf8 DEFAULT NULL COMMENT '名字',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=3198 DEFAULT CHARSET=latin1;

2. 获取各高校的院系信息

人人网查询高校院系的接口为：http://www.renren.com/GetDep.do?id=高校ID

这里的 高校ID 即为1中“大学定义”部分高亮标识的id，亦即数据表中的sid。

该接口的返回信息很简单，一个<select>元素，其中的<option> value 就是院系信息。

对于院系信息，可以建立数据表 department：

CREATE TABLE `department` (
  `id` int(11) NOT NULL AUTO_INCREMENT,
  `sid` int(11) NOT NULL COMMENT 'school id',
  `did` int(11) NOT NULL COMMENT 'department id',
  `name` varchar(255) CHARACTER SET utf8 COLLATE utf8_unicode_ci NOT NULL COMMENT 'department 名字',
  PRIMARY KEY (`id`)
) ENGINE=InnoDB AUTO_INCREMENT=30044 DEFAULT CHARSET=latin1;

---

确立了思路之后，下面开始动手。采用 PHP + MYSQL 完成编码部分内容。

1. 获得高校数据：

1.1 读取文件并将初始化为标准 JSON 格式

将 http://s.xnimg.cn/a44177/allunivlist.js 文件另存到本地。

因为这里只需要中国的数据，可以将 [{国家1},{国家2},{国家3}....] 中其他国家的内容删除。同时，开头的 ‘ var allUnivList=’ 也删掉。简单处理后，文件在括号匹配上是符合json格式的。

接下来读取文件，对形如 ‘#(?P<name>\w+):#i’ 的数据，进行替换，在前后均添加双引号。

读取文件和初始化代码：

function x_readfile($filename)
{
    $handle = fopen($filename, 'r');
    $contents = fread($handle, filesize($filename));
    fclose($handle);
    return $contents;
}

$content = x_readfile('allunivlist.js');
// 将文件初始化为标准JSON格式
$pat = '#(?P<name>\w+):#i';
$replacement = '"${1}":';
$str = preg_replace($pat, $replacement, $content);
$ret = json_decode($str, true); // true 返回的是关联array类型，否则为class

1.2 生成要插入数据库的语句：

通过循环，生成形如 ‘insert into school(sid, cid, name) values(xxx, xxx, xxx)’的语句。

$ret 变量是 json_decode 后的关联数组，回顾 1 中分析的数据结构：

provs：[{省份1},{省份2},{省份3}....]

省份定义：{id:xxx, univs:xxx, country_id:xxxx, name:xxxx} univs表示大学

univs: [{大学1},{大学2},{大学3}....]

大学定义：{id:xxx, name:xxxx}·　　

利用如下代码进行处理：

// 提取 城市 - 学校 信息
// 省份{id, univs, country_id, name}
// 学校{id, name}
foreach($ret as $k => $v)
{
    // $k : order id
    // $v : detail array(id, univs, conntry_id, name)
    // table: id, cid, sid, name  (city, school, name)
    $name = my_decode($v['name']);
    create_insert_sql($v['id'], 0, $name);  // $v['univs']表示当前省份下的所有高校
    foreach($v['univs'] as $university){
        $name = my_decode($university['name']);  // 学校{id, name}
        create_insert_sql($university['id'], $v['id'], $name);
    }
}

这里用到了my_decode函数，对形如‘\uaaaa\ubbbb’的字符进行编码处理：

function replace_unicode_escape_sequence($match) {
    return mb_convert_encoding(pack('H*', $match[1]), 'UTF-8', 'UTF-8');
}
// solution from:http://stackoverflow.com/questions/2934563/how-to-decode-unicode-escape-sequences-like-u00ed-to-proper-utf-8-encoded-cha
function my_decode($str)
{
    return    $str = preg_replace_callback('/\\\\u([0-9a-f]{4})/i', 'replace_unicode_escape_sequence', $str);
}

create_insert_sql 函数用来生成进行插入的sql 语句。为了方便，这里直接将sql语句用echo显示在网页上。再将网页文字直接复制到sql 客户端中（笔者使用的navicat）执行。

function create_insert_sql($sid, $cid, $name)
{
    $sql =  'insert into ' . TABNAME . '(sid, cid, name) values (' . $sid . ',' . $cid . ',"' . $name . '");';
    echo $sql . '<br/>';
    return $sql;
}

获取高校信息的完整代码如下（点击展开）：

<?php
define('TABNAME', 'school');

function x_readfile($filename)
{
    $handle = fopen($filename, 'r');
    $contents = fread($handle, filesize($filename));
    fclose($handle);
    return $contents;
}
function replace_unicode_escape_sequence($match) {
    return mb_convert_encoding(pack('H*', $match[1]), 'UTF-8', 'UTF-8');
}
// solution from:http://stackoverflow.com/questions/2934563/how-to-decode-unicode-escape-sequences-like-u00ed-to-proper-utf-8-encoded-cha
function my_decode($str)
{
    return    $str = preg_replace_callback('/\\\\u([0-9a-f]{4})/i', 'replace_unicode_escape_sequence', $str);
}

function create_insert_sql($sid, $cid, $name)
{
    $sql =  'insert into ' . TABNAME . '(sid, cid, name) values (' . $sid . ',' . $cid . ',"' . $name . '");';
    echo $sql . '<br/>';
    return $sql;
}

$content = x_readfile('cu.js');
// 将文件初始化为标准JSON格式
$pat = '#(?P<name>\w+):#i';
$replacement = '"${1}":';
$str = preg_replace($pat, $replacement, $content);
$ret = json_decode($str, true);
// 提取 城市 - 学校 信息
// 省份{id, univs, country_id, name}
// 学校{id, name}
foreach($ret as $k => $v)
{
    // $k : order id
    // $v : detail array(id, univs, conntry_id, name)
    // table: id, cid, sid, name  (city, school, name)
    $name = my_decode($v['name']);
    create_insert_sql($v['id'], 0, $name);
    foreach($v['univs'] as $university){
        $name = my_decode($university['name']);
        create_insert_sql($university['id'], $v['id'], $name);
    }
}

?>

2. 获得院系信息

在 1 中已经成功生成了 省份 - 高校 数据。院系信息只需要通过接口，循环访问即可。

2.1 获取学校ID 集合

标准的数据库连接操作。利用while循环，将所有sid存储在 $sids 数组中。

// 获取所有学校id
$link = mysql_connect(MYSQL_HOST, MYSQL_USER, MYSQL_PASS);
if (!$link) {
    die('Could not connect: ' . mysql_error());
}
$db_selected = mysql_select_db(DATABASE, $link);
if (!$db_selected) {
    die ('Can\'t use : ' . mysql_error());
}
mysql_query("set names utf8;"); 
$sql_statement = 'select sid from school where cid != 0';
$result = mysql_query($sql_statement, $link);
$sids = array();
while($row = mysql_fetch_array($result)){
    $sids[] = $row['sid'];
}

2.2 调用接口，循环访问各高校院系数据

这里使用到了存储过程进行数据库读写操作，具体分析参看下文的 A) 部分。

// 根据学校 id 去发起请求，一共3163个学校，可见请求之多
$baseurl = 'http://www.renren.com/GetDep.do?id=';
for($i = 0; $i < count($sids); $i++){
    $content = x_readfile($baseurl . $sids[$i]);
    $pat = '#<option[^>].*?>(.*?)</option>#i';
    $matches = array();
    preg_match_all($pat, $content, $matches);
    // 抛弃第一条结果：<option value=''>院系</option>
    array_shift($matches[1]);
    try {  
        $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

        $dbh->beginTransaction();
        $dbh->exec('set names utf8;');
        foreach($matches[1] as $k => $v){
            $dbh->exec(create_insert_sql($sids[$i], $k + 1, mb_convert_encoding($v, 'UTF-8', 'HTML-ENTITIES')));
        }
        $dbh->commit();

    } catch (Exception $e) {
        $dbh->rollBack();
        echo "Failed: " . $e->getMessage();
    }
}

因为是访问网络文件，x_readfile有所改变：

function x_readfile($filename)
{
    $handle = fopen($filename, 'r');
    $contents = stream_get_contents($handle);
    return $contents;
}

没有过于复杂的思路，不过细节上要提到两点。

A) 使用存储过程写入数据库

在1.2中生成的sql语句，是直接使用mysql客户端执行的。对于3000多条数据，一条条执行，速度很慢。考虑到院系数据可能是高校数据的10倍，应该用更快的方式写数据库。因此，使用到了存储过程。

PHP中存储过程的使用可以参看PHP手册，这里给出示范代码：

// 初始化 PDO 存储过程
try {
    $dsn = 'mysql:dbname=' . DATABASE . ';host=127.0.0.1';
    $dbh = new PDO($dsn, MYSQL_USER, MYSQL_PASS,
            array(PDO::ATTR_PERSISTENT => true));
} catch (Exception $e) {
    die("Unable to connect: " . $e->getMessage());
}
.......
.......
    try {  
        $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

        $dbh->beginTransaction();
        $dbh->exec('set names utf8;');
        foreach($matches[1] as $k => $v){
            $dbh->exec(create_insert_sql($sids[$i], $k + 1, mb_convert_encoding($v, 'UTF-8', 'HTML-ENTITIES')));
        }
        $dbh->commit();

    } catch (Exception $e) {
        $dbh->rollBack();
        echo "Failed: " . $e->getMessage();
    }

B) 数据库乱码

因为院系信息返回的格式形如”&#xxxxx;&#xxxxx“，进行了十进制编码，需要进行转换。

mb_convert_encoding($v, 'UTF-8', 'HTML-ENTITIES')

在插入数据库的时候，发现 department.name字段 全部是乱码，而数据表的format中已将name字段设置为 UTF-8 字符集。经验分析，是在写入数据库时的编码出了问题，因此，在每次写数据库前加一条语句：

$dbh->exec('set names utf8;');

这样就没有乱码了。

获取院系信息的完整代码如下（点击展开）：

<?php
define('DATABASE', 'test');
define('TABNAME', 'department');
define('MYSQL_HOST', 'localhost');
define('MYSQL_USER', 'root');
define('MYSQL_PASS', 'root');

function x_readfile($filename)
{
    $handle = fopen($filename, 'r');
    $contents = stream_get_contents($handle);
    return $contents;
}

function create_insert_sql($sid, $did, $name)
{
    $sql =  'insert into ' . TABNAME . '(sid, did, name) values (' . $sid . ',' . $did . ',"' . $name . '");';
    //echo $sql . '<br/>';
    return $sql;
}
// 获取所有学校id
$link = mysql_connect(MYSQL_HOST, MYSQL_USER, MYSQL_PASS);
if (!$link) {
    die('Could not connect: ' . mysql_error());
}
$db_selected = mysql_select_db(DATABASE, $link);
if (!$db_selected) {
    die ('Can\'t use : ' . mysql_error());
}
mysql_query("set names utf8;"); 
$sql_statement = 'select sid from school where cid != 0';
$result = mysql_query($sql_statement, $link);
$sids = array();
while($row = mysql_fetch_array($result)){
    $sids[] = $row['sid'];
}
// 初始化 PDO 存储过程
try {
    $dsn = 'mysql:dbname=' . DATABASE . ';host=127.0.0.1';
    $dbh = new PDO($dsn, MYSQL_USER, MYSQL_PASS,
            array(PDO::ATTR_PERSISTENT => true));
} catch (Exception $e) {
    die("Unable to connect: " . $e->getMessage());
}
// 根据学校 id 去发起请求，一共3163个学校，可见请求之多
$baseurl = 'http://www.renren.com/GetDep.do?id=';
for($i = 0; $i < count($sids); $i++){
    $content = x_readfile($baseurl . $sids[$i]);
    $pat = '#<option[^>].*?>(.*?)</option>#i';
    $matches = array();
    preg_match_all($pat, $content, $matches);
    // 抛弃第一条结果：<option value=''>院系</option>
    array_shift($matches[1]);
    try {  
        $dbh->setAttribute(PDO::ATTR_ERRMODE, PDO::ERRMODE_EXCEPTION);

        $dbh->beginTransaction();
        $dbh->exec('set names utf8;');
        foreach($matches[1] as $k => $v){
            $dbh->exec(create_insert_sql($sids[$i], $k + 1, mb_convert_encoding($v, 'UTF-8', 'HTML-ENTITIES')));
        }
        $dbh->commit();

    } catch (Exception $e) {
        $dbh->rollBack();
        echo "Failed: " . $e->getMessage();
    }
}
?>

最后附上两张最终SQL文件结果图：

一个直接使用这些数据的例子：

《制作一个选择中国大学的弹框 (数据、步骤、代码)》

http://www.cnblogs.com/technology/archive/2012/07/30/2607560.html