闲来无事,抓一下博客园的文章玩玩,当然,不会暴力抓取,每天就抓10条就好。
先前抓美团数据时因为抓的太快,ip被ban掉了,所以这次就搞了个selenium来模拟点击,纯属娱乐。
上代码:
#!/usr/bin/env python # -*- coding: utf-8 -*- # @Time : 2018/9/26 14:38 # @Author : Sa.Song # @Desc : 循环请求博客园下https://www.cnblogs.com/cate/python/页面,处理页面得到所有title标签列表,使用selenium + Chrome模拟点击获取正文 # @File : cnblogs.py # @Software: PyCharm import time from selenium import webdriver from selenium.webdriver.chrome.options import Options from lxml import etree url = 'https://www.cnblogs.com/cate/python/' title_num = 5 for i in range(title_num): chrome_options = Options() chrome_options.add_argument('lang=zh_CN.UTF-8') # 设置文字编码 chrome_options.add_argument('--headless') # 不显式的打开浏览器 prefs = { 'profile.default_content_setting_values':{ 'images':2, } } # 设置禁止加载图片 chrome_options.add_experimental_option('prefs', prefs) browser = webdriver.Chrome(chrome_options=chrome_options) browser.get(url=url) time.sleep(3) # 获取到请求页面的所有博客标题所在的标签 title_list = browser.find_elements_by_xpath('//div[@id="post_list"]/div[@class="post_item"]/div[@class="post_item_body"]/h3/a') title_list[i].click() #点击选中的标签 time.sleep(3) message_url = browser.current_url # 获取当前访问页面的url html = browser.page_source # 获取当前访问页面的内容(所见即所得) html = etree.HTML(html) # 处理得到的html,使其可以xpath title = html.xpath('//a[@id="cb_post_title_url"]/text()')[0] # 获取文章标题 message = html.xpath('//div[@id="cnblogs_post_body"]')[0] # 获取正文的富文本标签 # 获得的message为:<Element div at 0x1c47517d4c8>,使用etree.tostring()获得其中的富文本标签,得到bytes类型数据,再decode() data = etree.tostring(message).decode('utf-8') print('访问:', message_url) print('标题:', title) browser.close()
上边的代码时跑在windos下的,如果想要跑在linux下,Chrome会比较复杂,配置PhantomJS比较简单,其实代码基本一样:
Linux下Python3环境安装selenium跟phantomjs
环境安装:
前提是安装好了python3
先安装依赖包:
sudo yum install build-essential g++ flex bison gperf ruby perl libsqlite3-dev libfontconfig1-dev libicu-dev libfreetype6 libssl-dev libpng-dev libjpeg-dev python libx11-dev libxext-dev
获取PhantomJS:
wget
https://bitbucket.org/ariya/phantomjs/downloads/phantomjs-2.1.1-linux-x86_64.tar.bz2
解压并且创建软连接:
tar -xvjf phantomjs-2.1.1-linux-x86_64.tar.bz2
sudo cp -R phantomjs-2.1.1-linux-x86_64 /usr/local/share/
sudo ln -sf /usr/local/share/phantomjs-2.1.1-linux-x86_64/bin/phantomjs /usr/local/bin/
安装selenium:
pip3 insatll selenium
安装完成后上代码:
# -*- coding: utf-8 -*- # @Time : 2018/9/26 14:38 # @Author : Sa.Song # @Desc : 循环请求博客园下https://www.cnblogs.com/cate/python/页面,处理页面得到所有title标签列表,使用selenium + Chrome模拟点击获取正文 # @File : cnblogs.py # @Software: PyCharm import time from selenium import webdriver from selenium.webdriver.chrome.options import Options from lxml import etree url = 'https://www.cnblogs.com/cate/python/' title_num = 5 for i in range(title_num): browser = webdriver.PhantomJS() browser.get(url=url) time.sleep(3) # 获取到请求页面的所有博客标题所在的标签 title_list = browser.find_elements_by_xpath('//div[@id="post_list"]/div[@class="post_item"]/div[@class="post_item_body"]/h3/a') title_list[i].click() #点击选中的标签 time.sleep(3) message_url = browser.current_url # 获取当前访问页面的url html = browser.page_source # 获取当前访问页面的内容(所见即所得) html = etree.HTML(html) # 处理得到的html,使其可以xpath title = html.xpath('//a[@id="cb_post_title_url"]/text()')[0] # 获取文章标题 message = html.xpath('//div[@id="cnblogs_post_body"]')[0] # 获取正文的富文本标签 # 获得的message为:<Element div at 0x1c47517d4c8>,使用etree.tostring()获得其中的富文本标签,得到bytes类型数据,再decode() data = etree.tostring(message).decode('utf-8') print('访问:', message_url) print('标题:', title) with open('message.html', 'a+', encoding='utf-8') as f: f.write(data)
ps: 正文获取的是富文本标签(投机取巧了)
想了解更多Python关于爬虫、数据分析的内容,欢迎大家关注我的微信公众号:悟道Python