python爬取某查查用selenium终于搞定了！

原文链接

之前试过用request的方法爬取企查查， 结果完全获取不到信息。经论坛朋友们指点，找到selenium神器，学了两天，终于可以啦！
怕被封号，所以设置了很多等待时间，爬取速度比较慢。


代码如下：

[Python] 纯文本查看 复制代码

?

001 002 003 004 005 006 007 008 009 010 011 012 013 014 015 016 017 018 019 020 021 022 023 024 025 026 027 028 029 030 031 032 033 034 035 036 037 038 039 040 041 042 043 044 045 046 047 048 049 050 051 052 053 054 055 056 057 058 059 060 061 062 063 064 065 066 067 068 069 070 071 072 073 074 075 076 077 078 079 080 081 082 083 084 085 086 087 088 089 090 091 092 093 094 095 096 097 098 099 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132

from selenium import webdriver import time from selenium.webdriver.common.action_chains import ActionChains from selenium.webdriver.common.keys import Keys import xlrd from xlutils.copy import copy import random   ####################################模拟使用IE浏览器登陆#################################### option = webdriver.IeOptions() option.add_argument('--user-agent="Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko"') path = 'C:Program Files (x86)Internet ExplorerIEDriverServer.exe' driver = webdriver.Ie(executable_path=path, options=option) driver.implicitly_wait(10)     ####################################通过名称获取网页#################################### #打开搜索页 driver.get('https://www.qcc.com/search?key=%E6%B1%9F%E5%AE%81%E5%8E%BF%E8%93%9D%E5%A4%A9%E7%A0%96%E5%8E%82') time.sleep(20)  # 20s内手动登录 #输入搜索词 #corps = ['广州海洋勘探开发总公司', '广东车海洋环保科技有限公司', '广东粤新海洋工程装备股份有限公司', '广东省海洋工程职业技术学校（广东省海洋工程技工学校）',]          #'广东华风海洋信息系统服务有限公司', '广州海洋天网科技股份有限公司', '中船海洋与防务装备股份有限公司', '广州海洋生物科普有限公司'] for i in range(0, len(corps)):     corp = corps[i]     #清空搜索框     driver.find_element_by_id('headerKey').clear()     #向搜索框输入搜索词     driver.find_element_by_id('headerKey').send_keys(corp)     time.sleep(6)     try:         #获取公司链接         link = driver.find_element_by_xpath('//a[@class="list-group-item keyMoveItem"]').get_attribute("href")         #打开公司链接         driver.get(link)         time.sleep(6)     except:         print(corp + '：未查找到信息！')   ####################################获取信息####################################     #获取子界面     elements = driver.find_elements_by_class_name('company-nav-head')     for element in elements:         ele = element.get_attribute('href')         #点击基本信息         if 'base' in ele:             element.click()             #获取公司名称             corpname = driver.find_element_by_xpath('//div[@class="row title jk-tip"]/h1').text             #获取所属行业             try:                 hangye = driver.find_element_by_xpath('//table[@class="ntable"]//tr[4]/td[6]').text             except:                 hangye = 'None'             #获取人员规模             try:                 renyuan = driver.find_element_by_xpath('//table[@class="ntable"]//tr[6]/td[2]').text             except:                 renyuan = 'None'             #获取经营范围             try:                 jingying = driver.find_element_by_xpath('//table[@class="ntable"]//tr[9]/td[2]').text             except:                 jingying = 'None'             #获取标签             try:                 tags = driver.find_elements_by_xpath('//div[@class="row tags"]/span')                 tagname = []                 for tag in tags:                     tagname.append(tag.text)                 tagname = "、".join(tagname)             except:                 zl = "None"             #print(corpname + '-'+ hangye + '-'+ renyuan + '-'+ jingying + '-'+ tagname)         #点击专利信息         elif 'assets' in ele:             element.click()             #获取科技创新含量             try:                 techscore = driver.find_element_by_xpath('//div[@class="zlchart-tcount"]/span').text             except:                 techscore = "None"             #获取专利数量             try:                 zlcount = driver.find_element_by_xpath('//aspan[@class="title"]/span[@class="tbadge"]').text             except:                 zlcount = "None"             #获取专利信息             try:                 zlments = driver.find_elements_by_xpath('//section[@id="zhuanlilist"]//table[@class="ntable ntable-odd"]//tr/td[5]')                 zls = []                 for zlment in zlments:                     zls.append(zlment.text)                 zl = "、".join(zls)             except:                 zl = "None"             #print(corpname + '-' + techscore + '-' + zlcount + '-' + zl)         else:             pass         time.sleep(4)   ####################################保存信息####################################     #保存到excel中     rexcel = xlrd.open_workbook("C:/Users/SNT/Desktop/qcc.xls")     table = rexcel.sheets()[0]  # 打开第一个sheet     rows = table.nrows  # 获取行数       # 用xlutils方法追写excel     excel = copy(rexcel)  # 用xlutis提供的copy方法将xlrd对象转化为xlwt对象     sheet = excel.get_sheet(0)  # 获取第一个sheet     sheet.write(rows, 0, rows)     sheet.write(rows, 1, corpname)     sheet.write(rows, 2, tagname)     sheet.write(rows, 3, hangye)     sheet.write(rows, 4, renyuan)     sheet.write(rows, 5, jingying)     sheet.write(rows, 6, techscore)     sheet.write(rows, 7, zlcount)     sheet.write(rows, 8, zl)     sheet.write(rows, 9, corp)       excel.save("C:/Users/SNT/Desktop/qcc.xls")     print(corp +'信息保存完毕！')     sltime = 30*random.random()     print('休息' + str(sltime) +'s...... ')     time.sleep(sltime)     print(str(i+1) +'家公司信息保存完毕')   #关闭浏览器 driver.quit()

运行结果：

 

免费评分