【20171104早】python爬虫之username,password登陆

工欲善其事，必先利其器。网站只能通过交互式登陆吗？当然不是，作为网络蛮荒世界的一个剑客，老黑欲练就自由之剑，呵呵，就是用代码编写可以自动登陆系统的工具，从而获取想要的数据。

简单版：

样板网站：

成绩系统：http://jwc.ecjtu.jx.cn/mis_o/login.htm

账号：jwc

密码：jwc

Now! Let's go! go ! go!

　　s1：获取实际登陆的url，老黑使用了firefox，live http headers工具，填入账号密码后，获取到实际登陆的url为http://jwc.ecjtu.jx.cn/mis_o/login.php，post信息为: user=jwc&pass=jwc&Submit=%CC%E1%BD%BB

　　s2：编写python代码模拟登陆，使用到了python中requests

# -*- coding: utf-8 -*-
import sys
import requests
reload(sys)
sys.setdefaultencoding('utf8')

url = 'http://jwc.ecjtu.jx.cn/mis_o/login.php'
# 1: get 2: post
option = '2'
if option == '1':
    url = 'http://www.kfzhongzhou.com/cyjb_xx.asp?id=15'

output_file = open('D:codehuboutput.html', 'w')
datas = {'user': 'jwc',
         'pass': 'jwc',
         'Submit': '%CC%E1%BD%BB'
         }
headers = {'Referer': 'http://jwc.ecjtu.jx.cn/mis_o/login.php',
           'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 '
                         '(KHTML, like Gecko) Chrome/52.0.2743.82 Safari/537.36',
           'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,*/*;q=0.8',
           'Accept-Language': 'zh-CN,zh;q=0.8',
           }
if __name__ == '__main__':
    print '开始！'
    responses = None
    sessions = requests.session()
    if option == '1':
        responses = sessions.get(url)
    else:
        responses = sessions.post(url, headers=headers, data=datas)
    print responses.headers
    print responses.status_code

    r2 = sessions.get('http://jwc.ecjtu.jx.cn/mis_o/main.php')
    context = r2.text
    output_file.write(context)
    print '结束！'
    output_file.close()

　　解释：构造sessions进行登陆，保证可以下载正常登陆后才能访问道的main.php页面，进行验证是否登陆成功。

　　s3：效果，main.php内容被写在本地文件output.html中，用firefox打开后是如下效果

　　因为这个系统编码的问题导致写入output.html中的内容是乱码，对比一下正常登陆的页面，可以看出是登陆成功了。

扩展：优化后可以使用cookie进行登陆，参考文章 地址