新浪微博模拟登录

因为项目原因，我被领导委任爬取微博用户的一些信息，而作为一个爬虫经验几乎为0的python非老司机，开始了漫长的研究之路。。。。

在了解了爬虫的基本工具和著名框架scrapy后

博主还是决定自己参考网上的各路大神的脚本，写一个登录脚本。。。。

环境

tools

1、Chrome及其developer tools

2、Charles【这个是fiddler的Mac替代版，付费软件，但是网上有破解版的，可以搜一下，用着比Mac版的fiddler舒服多了】

3、python3.6

4、pycharm

查询资料的过程中，因为微博登录有好几个跳转，很多大神建议preserve log模式打开

python3.6中使用的库

1、urllib.request、urllib.error、urllib.parse

2、re——正则表达式

3、rsa、base64

4、json

5、binascii——对加密数据进行编码

ps：博主这里用的是anaconda自带的库，发现rsa和base64需要用pip另外下载

系统

Mac OS 10.13.2

weibo.com登录

当我登录微博后，每隔一段时间就会出现push_count.json文件，当我们点击输入用户名时，会出现prelogin.php文件，引起了我们的注意

点开查看，会发现一些十分可疑的东西，比如su。

这里我们用base64对其解码试试

import base64
print(base64.b64decode('MzU4NTEwMjQ5JTQwcXEuY29t'))

输出结果为：b'358510249%40qq.com'

果然，是用户名！！！

需要注意的是，用户名中可能包含@这样的符号，而我们刚才看到的加密过的su，解码之后@变成了%40，这其实是url的编码。

然后为了方便查看，我们切换到charles工具查看一下prelogin.php的body部分

sinaSSOController.preloginCallBack({
    "retcode": 0,
    "servertime": 1515836591,
    "pcid": "gz-cd9bccf44f515b8765496d8694e51ba7c996",
    "nonce": "JLT53P",
    "pubkey": "EB2A38568661887FA180BDDB5CABD5F21C7BFD59C090CB2D245A87AC253062882729293E5506350508E7F9AA3BB77F4333231490F915F6D63C55FE2F08A49B353F444AD3993CACC02DB784ABBB8E42A9B1BBFFFB38BE18D78E87A0E41B9B8F73A928EE0CCEE1F6739884B9777E4FE9E88A1BBE495927AC4A799B3181D6442443",
    "rsakv": "1330428213",
    "is_openlock": 0,
    "showpin": 0,
    "exectime": 5
})

一眼望过去，哇，长得好像json，嗨森！

有用的似乎有servertime、nonce、rsakv以及这长长的pubkey。。。。是什么鬼！！

一查：好嘛，非对称加密，呵呵好开心。。。。。才怪！！！QAQ

登录微博

在这里，我们需要用到Charles来抓取跳转的连接。结果如下：

我们抓取的目标就是prelogin后面出现的POST表单login.php?client=ssologin.js(v1.4.19)

观察一下里面的内容：

entry:weibo
gateway:1
from:
savestate:7
qrcode_flag:false
useticket:1
pagerefer:https://login.sina.com.cn/crossdomain2.php?action=logout&r=https%3A%2F%2Fweibo.com%2Flogout.php%3Fbackurl%3D%252F%252Fs.weibo.com
vsnf:1
su:MzU4NTEwMjQ5JTQwcXEuY29t
service:miniblog
servertime:1515895583
nonce:JLT53P
pwencode:rsa2
rsakv:1330428213
sp:02ca1b627293c21e098882de3e276def93654ffba9817d0d95174b11c403e46e8016bf66ed421198fffaaa691fb0c9d03d45da676de0282a30aef899855262e09164dfef35eb6820ba017ecf8f437643fe94eaf0632095ffcc647ada27b23c9ed1b1c8f7d1d87ce2c69ed4f9997fb9283c42622c677dbecfe60a802f4b621ee3
sr:1680*1050
encoding:UTF-8
prelt:31
url:https://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack
returntype:META

不难看出，su即username，sp即password，sp显然已经用rsa加密过。

为了解密加密过后的sp，我们首先需对js进行分析。

首先，登录的时候会出现一个post表单login.php?client=ssologin.js(v1.4.19)，随后出现一个ssologin.js文件，点开以后，我们发现了一堆密密麻麻的东西。

结合之前的信息，我们已经知道RSA加密和一个叫pubkey的参数，搜一下，立刻能得到我们想要的信息：

这里，10001就是rsa加密用到的exponent，需要注意的是，它是16进制的，所以我们还需要将其转化为10进制。

另一个信息就死我们的password啦

password=RSAKey.encrypt([me.servertime,me.nonce].join("	")+"
"+password)}

对应的Python加密代码如下：

import rsa
import binascii
def get_encrypted_pw(self, data):
    rsa_e = int('10001',16)  # 0x10001
    pw_string = str(servertime) + '	' + str(nonce) + '
' + str(password)
    key = rsa.PublicKey(int(pubkey, 16), rsa_e)
    pw_encypted = rsa.encrypt(pw_string.encode('utf-8'), key)
    password = ''  # 安全起见清空明文密码
    passwd = binascii.b2a_hex(pw_encypted)  #将二进制编码转化为ascii/hex
    print(passwd)
    return passwd

最终代码

# 导入所需模块
import urllib.error
import urllib.request
import urllib.parse
import re
import rsa
import http.cookiejar  #从前的cookielib
import base64
import json
import urllib
import binascii

# 简历Launcher类
class Launcher():
    # 初始化username和password这两个参数
    def __init__(self,username,password):
        self.username = username
        self.password = password

    #建立get_encrypted_name方法，获取base64加密后的用户名
    def get_encrypted_name(self):
        # 将字符串转化为url编码
        username_urllike = urllib.request.quote(self.username)
        username_encrypted = base64.b64encode(bytes(username_urllike, encoding='utf-8'))
        return username_encrypted.decode('utf-8')  # 将bytes对象转为str

    def get_prelogin_args(self):
        '''
        该函数用于模拟预登录过程,并获取服务器返回的 nonce , servertime , pubkey 等信息,用一个字典返回数据
        '''
        json_pattern = re.compile('((.*))')
        url = 'http://login.sina.com.cn/sso/prelogin.php?entry=weibo&callback=sinaSSOController.preloginCallBack&su=&' + self.get_encrypted_name() + '&rsakt=mod&client=ssologin.js(v1.4.19)'
        try:
            request = urllib.request.Request(url)
            response = urllib.request.urlopen(request)
            raw_data = response.read().decode('utf-8')
            # 利用正则取出json
            json_data = json_pattern.search(raw_data).group(1)
            # 讲json包装成字典
            data = json.loads(json_data)
            # print(data)
            return data
        except urllib.error as e:
            print("%d" % e.code)
            return None

    # 建立get_encrypeted_pw获取登录信息生成的rsa加密版密码
    def get_encrypted_pw(self, data):
        rsa_e = int('10001',16)  # 0x10001
        pw_string = str(data['servertime']) + '	' + str(data['nonce']) + '
' + str(self.password)
        key = rsa.PublicKey(int(data['pubkey'], 16), rsa_e)
        pw_encypted = rsa.encrypt(pw_string.encode('utf-8'), key)
        self.password = ''  # 安全起见清空明文密码
        passwd = binascii.b2a_hex(pw_encypted)
        print(passwd)
        return passwd

    def enableCookies(self):
        # 建立一个cookies 容器
        cookie_container = http.cookiejar.CookieJar()
        # 将一个cookies容器和一个HTTP的cookie的处理器绑定
        cookie_support = urllib.request.HTTPCookieProcessor(cookie_container)
        # 创建一个opener,设置一个handler用于处理http的url打开
        opener = urllib.request.build_opener(cookie_support, urllib.request.HTTPHandler)
        # 安装opener，此后调用urlopen()时会使用安装过的opener对象
        urllib.request.install_opener(opener)

    # 构造build_post_data方法，用于包装一个POST方法所需的数据
    def build_post_data(self, raw):
        post_data = {
            "entry": "weibo",
            "gateway": "1",
            "from": "",
            "savestate": "7",
            "qrcode_flag":'false',
            "useticket": "1",
            "pagerefer": "https://login.sina.com.cn/crossdomain2.php?action=logout&r=https%3A%2F%2Fweibo.com%2Flogout.php%3Fbackurl%3D%252F",
            "vsnf": "1",
            "su": self.get_encrypted_name(),
            "service": "miniblog",
            "servertime": raw['servertime'],
            "nonce": raw['nonce'],
            "pwencode": "rsa2",
            "rsakv": raw['rsakv'],
            "sp": self.get_encrypted_pw(raw),
            "sr": "1680*1050",
            "encoding": "UTF-8",
            "prelt": "194",
            "url": "https://weibo.com/ajaxlogin.php?framelogin=1&callback=parent.sinaSSOController.feedBackUrlCallBack",
            "returntype": "META"
        }
        data = urllib.parse.urlencode(post_data).encode('utf-8')
        return data

    # 登录，注意这里需要进行三次跳转
    def login(self):
        url = 'https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19)'
        self.enableCookies()
        data = self.get_prelogin_args()
        post_data = self.build_post_data(data)
        headers = {
            "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
        }
        try:
            request = urllib.request.Request(url=url, data=post_data, headers=headers)
            response = urllib.request.urlopen(request)
            html = response.read().decode('GBK')
            '''
            一开始用的是utf－8解码，然而得到的数据很丑陋，却隐约看见一个GBK字样。所以这里直接采用GBK解码
            '''
            # print(html)
        except urllib.error as e:
            print(e.code)

        p = re.compile('location.replace("(.*?)")')
        p2 = re.compile("location.replace('(.*?)')")
        p3 = re.compile(r'"userdomain":"(.*?)"')
        try:
            login_url = p.search(html).group(1)
            request = urllib.request.Request(login_url)
            response = urllib.request.urlopen(request)
            page = response.read().decode('GBK')
            # print(page)
            login_url2 = p2.search(page).group(1)
            request = urllib.request.Request(login_url2)
            response = urllib.request.urlopen(request)
            page2 = response.read().decode('utf-8')
            # print(page2)
            login_url = 'http://weibo.com/' + p3.search(page2).group(1)
            request = urllib.request.Request(login_url)
            response = urllib.request.urlopen(request)
            final = response.read().decode('utf-8')
            print(final)

            print("Login success!")
        except:
            print('Login error!')
            return 0

值得注意的是，在最后的login中，我们现尝试直接登录，看看返回的是什么。

def login(self):
    url = 'https://login.sina.com.cn/sso/login.php?client=ssologin.js(v1.4.19)'
    self.enableCookies()
    data = self.get_prelogin_args()
    post_data = self.build_post_data(data)
    headers = {
        "User-Agent": "Mozilla/5.0 (Macintosh; Intel Mac OS X 10_13_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/63.0.3239.132 Safari/537.36"
    }
    try:
        request = urllib.request.Request(url=url, data=post_data, headers=headers)
        response = urllib.request.urlopen(request)
        html = response.read().decode('GBK')
        '''
        一开始用的是utf－8解码，然而得到的数据很丑陋，却隐约看见一个GBK字样。所以这里直接采用GBK解码
        '''
        print(html)
        print('-------------------------')
    except urllib.error as e:
        print(e.code)

很好，我们看到的果然是一堆奇怪的东西呢！！

<html>
<head>
<title>新浪通行证</title>
<meta http-equiv="refresh" content="0; url=&#39;https://login.sina.com.cn/crossdomain2.php?action=login&entry=weibo&r=https%3A%2F%2Fpassport.weibo.com%2Fwbsso%2Flogin%3Fssosavestate%3D1547533996%26url%3Dhttps%253A%252F%252Fweibo.com%252Fajaxlogin.php%253Fframelogin%253D1%2526callback%253Dparent.sinaSSOController.feedBackUrlCallBack%26display%3D0%26ticket%3DST-MjQ2Nzk2MDk3Mg%3D%3D-1515997996-gz-5F219439701347BC4686F4A3E10C79C9-1%26retcode%3D0&sr=1680%2A1050&#39;"/>
<meta http-equiv="Content-Type" content="text/html; charset=GBK" />
</head>
<body bgcolor="#ffffff" text="#000000" link="#0000cc" vlink="#551a8b" alink="#ff0000">
<script type="text/javascript" language="javascript">
location.replace("https://login.sina.com.cn/crossdomain2.php?action=login&entry=weibo&r=https%3A%2F%2Fpassport.weibo.com%2Fwbsso%2Flogin%3Fssosavestate%3D1547533996%26url%3Dhttps%253A%252F%252Fweibo.com%252Fajaxlogin.php%253Fframelogin%253D1%2526callback%253Dparent.sinaSSOController.feedBackUrlCallBack%26display%3D0%26ticket%3DST-MjQ2Nzk2MDk3Mg%3D%3D-1515997996-gz-5F219439701347BC4686F4A3E10C79C9-1%26retcode%3D0&sr=1680%2A1050");
</script>
</body>
</html>

看大神的解释说，这是一段重新定向的的代码，重新定向的url写在location.replace后面，所以我们需要编写一段正则表达式将这段url爬取下来。

p = re.compile('location.replace("(.*?)")')
try:
    login_url = p.search(html).group(1)
    request = urllib.request.Request(login_url)
    response = urllib.request.urlopen(request)
    page = response.read().decode('GBK')
    print(page)
except:
    print('Login error!')
    return 0

来看看结果：

<html>
<head>
<meta http-equiv="Content-Type" content="text/html; charset=GBK" />
<title>新浪通行证</title>


<script charset="utf-8" src="https://i.sso.sina.com.cn/js/ssologin.js"></script>
</head>
<body>
正在登录 ...
<script>
try{sinaSSOController.setCrossDomainUrlList({"retcode":0,"arrURL":["https://passport.weibo.com/wbsso/login?ticket=ST-MjQ2Nzk2MDk3Mg%3D%3D-1515997996-gz-0D1D8222688249D4F950E05810AD22DD-1&ssosavestate=1547533996","https://passport.97973.com/sso/crossdomain?action=login&savestate=1547533996","https://passport.krcom.cn/sso/crossdomain?service=krvideo&savestate=1&ticket=ST-MjQ2Nzk2MDk3Mg%3D%3D-1515997996-gz-94884ABE2B9E4113CE7B809F4B5C92DC-1&ssosavestate=1547533996","https://passport.weibo.cn/sso/crossdomain?action=login&savestate=1"]});}
        catch(e){
            var msg = e.message;
            var img = new Image();
            var type = 1;
            img.src = 'https://login.sina.com.cn/sso/debuglog?msg=' + msg +'&type=' + type;
        }try{sinaSSOController.crossDomainAction('login',function(){location.replace('https://passport.weibo.com/wbsso/login?ssosavestate=1547533996&url=https%3A%2F%2Fweibo.com%2Fajaxlogin.php%3Fframelogin%3D1%26callback%3Dparent.sinaSSOController.feedBackUrlCallBack&display=0&ticket=ST-MjQ2Nzk2MDk3Mg==-1515997996-gz-5F219439701347BC4686F4A3E10C79C9-1&retcode=0');});}
        catch(e){
            var msg = e.message;
            var img = new Image();
            var type = 2;
            img.src = 'https://login.sina.com.cn/sso/debuglog?msg=' + msg +'&type=' + type;
        }
</script>
</body>
</html>

很好又是一堆奇怪的东西！(ノಠ益ಠ)ノ彡┻━┻不过仔细一看，是不是还挺眼熟？？

OMG！！location.replace again！！！只是这次后面的链接似乎是passport.weibo.com，哇哦~是不是敲像正式登陆的~

话不多说，立刻先用这则表达把这段url提取出来再说！

p2 = re.compile("location.replace('(.*?)')")
try:
    login_url2 = p2.search(page).group(1)
    request = urllib.request.Request(login_url2)
    response = urllib.request.urlopen(request)
    page2 = response.read().decode('utf-8')
    print(page2)
except:
    print('Login error!')
    return 0

本以为这次妥妥的了的我看到的结果却是。。。。

<html><head><script language='javascript'>parent.sinaSSOController.feedBackUrlCallBack({"result":true,"userinfo":{"uniqueid":"2467960972","userid":null,"displayname":null,"userdomain":"?wvr=5&lf=reg"}});</script></head><body></body></html>

呵呵，又是一个重定向= =

然而这次很轻易地注意到里面有个"?wvr=5&lf=reg"字段肥肠眼熟，看看刚才手工登陆抓到的包，果然，这是最终链接的一部分。

所以再搞一个正则表达式，把该字段也搞出来，然后拼接一个最终url出来，就可以轻松而愉悦地模拟登陆了！

以上~