selenium页面搜索批量抓取:
from selenium import webdriver from selenium.webdriver.common.by import By from selenium.webdriver.support.ui import WebDriverWait #等待一个元素加载完成 from selenium.webdriver.support import expected_conditions as EC import time driver=webdriver.Chrome() #配置参数 driver.get("https://www.baidu.com") driver.implicitly_wait(10) #控制操作的时间,在10秒之内,如果元素出现,就继续执行,元素没有出现最多10秒 driver.find_element_by_id("kw").send_keys(u"python 培训") #注意 这里批量抓取 elements 加了s,不加会报错 可理解为发现多个元素 s为复数 texts=driver.find_elements_by_xpath("//div/h3/a") for text in texts: print(text.text) time.sleep(20) driver.close()