在成功获取微博用户的列表之后，我们可以对每个用户的主页内容进行爬取了
环境
tools
1、chrome及其developer tools
2、python3.6
3、pycharm
Python3.6中使用的库
1 import urllib.error 2 import urllib.request 3 import urllib.parse 4 import urllib 5 import json 6 import pandas as pd 7 import time 8 import random 9 import re 10 from datetime import datetime 11 from lxml import etree
爬取字段确定
首先，我们只管的浏览用户主页，点击全部微博，观察我们能获取到的信息：
- 用户id
- 微博id
- 微博时间
- 微博内容
- 微博发布平台
- 微博评论数
- 微博点赞数
- 微博转发数
- 原微博id
- 原微博用户id
- 原微博用户名
- 原微博内容
- 原微博评论数
- 原微博点赞数
- 原微博转发数
然后，我们利用Chrome的developer tools观察用户个人主页所能获取到的主要内容，发现有些转发内容如果过长，无法直接通过用户主页进行爬取，而需要点进该条微博链接，对原微博进行爬取。
因此，我们可以爬取原微博的url，通过解析原微博url的内容来获取原微博的具体内容。
最终，通过综合情况，最后确定的字段为：
- 用户id——uid
- 微博id——mid
- 微博时间——time
- 微博发布平台——app_source
- 微博内容——content
- 微博评论数、点赞数、转发数——others
- 微博地址——url
- 是否转发——is_repost
- 原微博id——rootmid
- 原微博用户id——rootuid
- 原微博名——rootname
- 原微博地址——rooturl
加载页包抓取
在对用户的微博内容进行爬取时，最为困难的是解决网页加载的问题。微博需要两次加载，才能载入微博的全部内容，并进入下一页，因此，如何抓取到加载页的包是我们工作中最为重要的部分。
这里，我们需要借助Chrome的开发者工具，抓取页面加载时出现的包
发现加载的时间段中，出现了一个xhr类型的文件，长得最像我们需要的加载包：
https://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=100505&profile_ftype=1&is_all=1&pagebar=0&pl_name=Pl_Official_MyProfileFeed__22&id=1005051956890840&script_uri=/p/1005051956890840/home&feed_type=0&page=1&pre_page=1&domain_op=100505&__rnd=1517384223025
再加载一次试验一下，发现出现它又出现了：
https://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=100505&profile_ftype=1&is_all=1&pagebar=1&pl_name=Pl_Official_MyProfileFeed__22&id=1005051956890840&script_uri=/p/1005051956890840/home&feed_type=0&page=1&pre_page=1&domain_op=100505&__rnd=1517384677638
看到pl_name=Pl_Official_MyProfileFeed__22基本上就准了，为了保险起见，我们再点开链接看看，然后发现——果然是熟悉的配方，熟悉的味道~~
仔细解析这段url，发现：
- is_all是页面属性，表示全部微博
- page和pre_page都表示页数
- id是用户id【uid】和domain【100505】的结合体
- script_uri是当前用户的主页url字段
- pagebar长得最像加载页，第一个加载页为0，第二个加载页为1
- __rnd是时间戳，可以省略
结合初始网页没有pre_page和pagebar这两个字段，我们去掉这两个字段，运行一下url，观察一下所得到的内容，发现为加载前的用户发布的微博内容。
因此我们可以将用户主页的每一页分为三个部分，分成三个url进行解析，获取整个页面的内容。
具体代码如下：
1 # 初始化url 2 def getBeginURL(self): 3 begin_url = 'https://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=100505&is_all=1&id=100505'+str(self.uid)+ 4 '&script_uri=/u/1956890840&domain_op=100505&page=' 5 return begin_url 6 7 # 设置加载页url，并获取html内容 8 def getHTML(self,page_num,extend_part = ''): 9 # extend_part为获取加载页的扩展字段 10 url = self.getBeginURL()+str(page_num)+extend_part 11 data = urllib.request.urlopen(url).read().decode('utf-8') 12 html = json.loads(data)['data'] 13 return html 14 15 for x in range(3): 16 if x == 0: # 初始页面 17 extend_part = '' 18 elif x == 1: 19 b = x - 1 20 extend_part = '&pre_page=' + str(i) + '&pagebar=' + str(b) 21 elif x == 2: 22 b = x - 1 23 extend_part = '&pre_page=' + str(i) + '&pagebar=' + str(b) 24 html = self.getHTML(i, extend_part) 25 page = etree.HTML(html)
以上，最为头大的问题就解决啦~
博主写代码的时候为了解决加载包的问题头疼了好几天，结果发现Chrome的开发者工具比我想的还要强大的多，不由的感叹自己的愚蠢。发现了加载包的规律有，后面的一切都水到渠成，迅速的完成了微博内容爬取的代码~
下面是我的代码，各位可以参考。
博主为了可以实时更新内容，设置了爬取微博的时间段，可以避免每次都爬取页数而造成微博重复爬取的麻烦。
代码还有很多需要改进的地方，希望各位多多交流~
1 import urllib.error 2 import urllib.request 3 import urllib.parse 4 import urllib 5 import json 6 import pandas as pd 7 import time 8 import random 9 import re 10 from datetime import datetime 11 from datetime import timedelta 12 from lxml import etree 13 14 class getWeiboContent(): 15 """ 16 微博内容爬取： 17 mid 18 time 19 app_source 20 content 21 url 22 others(repost, like, comment) 23 is_repost 24 rootmid 25 rootname 26 rootuid 27 rooturl 28 """ 29 def __init__(self, uid, begin_date=None, begin_page=1, interval=None, flag=True): 30 self.uid = uid # 微博用户ID 31 self.begin_page = begin_page # 起始页 32 self.interval = interval # 需要爬取的页数，默认为None 33 self.begin_date = begin_date # 爬取的微博的起始发布日期，默认为None 34 self.flag = flag 35 36 # 初始化url 37 def getBeginURL(self): 38 begin_url = 'https://weibo.com/p/aj/v6/mblog/mbloglist?ajwvr=6&domain=100505&is_all=1&id=100505'+str(self.uid)+ 39 '&script_uri=/u/1956890840&domain_op=100505&page=' 40 return begin_url 41 42 # 设置加载页url，并获取html内容 43 def getHTML(self,page_num,extend_part = ''): 44 url = self.getBeginURL()+str(page_num)+extend_part 45 print(url) 46 data = urllib.request.urlopen(url).read().decode('utf-8') 47 html = json.loads(data)['data'] 48 return html 49 50 # 爬取每条微博的内容，输出字典 51 def getContent(self,node): 52 dic = {} 53 dic['mid'] = node.xpath('./@mid')[0] 54 print('mid:'+dic['mid']) 55 dic['time'] = node.xpath('.//div[@class="WB_from S_txt2"]/a[1]/@title')[0] 56 app_source = node.xpath('.//div[@class="WB_from S_txt2"]/a[2]/text()') 57 if len(app_source) !=0 : # 部分微博不显示客户端信息 58 dic['app_source'] = app_source[0] 59 content = node.xpath('./*/*/div[@class="WB_text W_f14"]')[0].xpath('string(.)') 60 dic['content'] = re.compile(' s*(.*)').findall(content)[0] 61 others = node.xpath('.//ul[@class="WB_row_line WB_row_r4 clearfix S_line2"]//span[@class="line S_line1"]/span/em[2]/text()') 62 dic['repost_num'] = others[1] 63 dic['comment_num'] = others[2] 64 dic['like_num'] = others[3] 65 detail_info = node.xpath('./div[@class="WB_feed_handle"]/div/ul/li[2]/a/@action-data')[0] 66 dic['url'] = re.compile('&url=(.*?)&').findall(detail_info)[0] 67 rootmid = node.xpath('./@omid') 68 # 判断是否存在转发微博 69 if len(rootmid) != 0: 70 dic['is_repost'] = 1 71 dic['rootmid'] = rootmid[0] 72 weibo_expend = node.xpath('./*/*/div[@class="WB_feed_expand"]')[0] 73 rootname = weibo_expend.xpath('./*/*/a[@class="W_fb S_txt1"]/@nick-name') 74 # 判断原博是否被删除 75 if len(rootname) != 0: 76 dic['rootuid'] = re.compile('rootuid=(.*?)&').findall(detail_info)[0] 77 dic['rootname'] = re.compile('rootname=(.*?)&').findall(detail_info)[0] 78 dic['rooturl'] = re.compile('rooturl=(.*?)&').findall(detail_info)[0] 79 80 return dic 81 82 # 获取微博内容 83 def getWeiboInfo(self): 84 i = self.begin_page 85 # 判断是否划定了爬取页数 86 if self.interval is None: 87 # 若未划定爬取页数，则设置自动翻页参数hasMore=True 88 hasMore = True 89 end_page = False 90 else: 91 # 若划定爬取页数，则爬取页数优先 92 end_page = self.begin_page+self.interval 93 hasMore = False 94 # 初始化一个DataFrame用于存储数据 95 weibo_df = pd.DataFrame() 96 while (i <= end_page | hasMore) and self.flag: 97 for x in range(3): 98 if x == 0: # 初始页面 99 extend_part = '' 100 elif x == 1: # 第一个加载页 101 b = x-1 102 extend_part = '&pre_page=' + str(i) + '&pagebar=' + str(b) 103 elif x == 2: # 第二个加载页 104 b = x-1 105 extend_part = '&pre_page=' + str(i) + '&pagebar=' + str(b) 106 html = self.getHTML(i, extend_part) 107 page = etree.HTML(html) 108 if page is None: 109 break 110 else: 111 detail = page.xpath('//div[@class="WB_cardwrap WB_feed_type S_bg2 WB_feed_like "]') 112 # 判断用户是否发过微博 113 if len(detail) == 0: 114 print('该用户并未发过微博') 115 break 116 weibo = {} 117 weibo['mid'] = [] 118 weibo['time'] = [] 119 weibo['content'] = [] 120 weibo['app_source'] = [] 121 weibo['url'] = [] 122 weibo['repost_num'] = [] 123 weibo['comment_num'] = [] 124 weibo['like_num'] = [] 125 weibo['is_repost'] = [] 126 weibo['rootmid'] = [] 127 weibo['rootname'] = [] 128 weibo['rootuid'] = [] 129 weibo['rooturl'] = [] 130 for w in detail: 131 all_info = self.getContent(w) 132 # 判断是否设置了微博的开始日期 133 if self.begin_date is None: 134 pass 135 else: 136 weibo_dt = datetime.strptime(all_info['time'], '%Y-%m-%d %H:%M').date() 137 begin_dt = datetime.strptime(self.begin_date, "%Y-%m-%d").date() 138 # 判断微博发布日期是否在开始日期之后 139 if begin_dt > weibo_dt: 140 # 当微博发布日期在开始日期之后时，停止爬取 141 self.flag = False 142 break 143 weibo['mid'].append(all_info.get('mid', '')) 144 weibo['time'].append(all_info.get('time', '')) 145 weibo['app_source'].append(all_info.get('app_source','')) 146 weibo['content'].append(all_info.get('content', '')) 147 weibo['url'].append(all_info.get('url', '')) 148 weibo['repost_num'].append(all_info.get('repost_num', '')) 149 weibo['comment_num'].append(all_info.get('comment_num', '')) 150 weibo['like_num'].append(all_info.get('like_num', '')) 151 weibo['is_repost'].append(all_info.get('is_repost', 0)) 152 weibo['rootmid'].append(all_info.get('rootmid', '')) 153 weibo['rootname'].append(all_info.get('rootname', '')) 154 weibo['rootuid'].append(all_info.get('rootuid', '')) 155 weibo['rooturl'].append(all_info.get('rooturl', '')) 156 weibo = pd.DataFrame(weibo) 157 weibo['uid'] = self.uid 158 weibo_df = weibo_df.append(weibo,ignore_index=True) 159 # 提取下一页链接 160 if page is None: 161 break 162 else: 163 next_page = page.xpath('//a[@class="page next S_txt1 S_line1"]/@href') 164 if len(next_page) == 0: # 判断是否存在下一页 165 self.flag = False 166 print('已是最后一页') 167 else: 168 page_num = re.compile('page=(d*)').findall(next_page[0])[0] 169 i = int(page_num) 170 time.sleep(random.randint(5, 10)) # 设置睡眠时间 171 return weibo_df 172 173 if __name__=='__main__': 174 uid = input('请输入uid：') 175 begin_date = input('请输入日期，格式为xxxx-xx-xx：') 176 begin_page = input('请输入开始页，默认为1：') 177 getWeiboContent(uid, begin_date).getWeiboInfo()