zoukankan      html  css  js  c++  java
  • 爬虫探索Chromedriver+Selenium初试

      今天分享Python使用Chromedriver+Selenium爬虫的的方法,Chromedriver是一个有意思的爬虫插件,这个插件的爬虫方式主要是完全模拟浏览器点击页面,一步一步去找你要的东西,就跟个机器一样,不停的去执行命令。主要用于爬一些网站的反爬虫做的很好,自己又很想爬去里面的数据,那就可以用这个插件,

    1. Selenium的安装

      Selenium安装直接采用pip安装最为简便,即打开cmd,输入pip install selenium 安装成功如下:

    2. Chromedriver安装

      Chromedriver下载前需要先下载了google浏览器

      Chromedriver下载地址:http://chromedriver.storage.googleapis.com/index.html

      Chromedriver版本对应支持的Chrome版本如下表:

    chromedriver版本

    支持的Chrome版本

    v2.43

    v69-71

    v2.42

    v68-70

    v2.41

    v67-69

    v2.40

    v66-68

    v2.39

    v66-68

    v2.38

    v65-67

    v2.37

    v64-66

    v2.36

    v63-65

    v2.35

    v62-64

    v2.34

    v61-63

    v2.33

    v60-62

    v2.32

    v59-61

    v2.31

    v58-60

    v2.30

    v58-60

    v2.29

    v56-58

    v2.28

    v55-57

    v2.27

    v54-56

    v2.26

    v53-55

    v2.25

    v53-55

    v2.24

    v52-54

    v2.23

    v51-53

    v2.22

    v49-52

    v2.21

    v46-50

    v2.20

    v43-48

    v2.19

    v43-47

    v2.18

    v43-46

    v2.17

    v42-43

    v2.13

    v42-45

    v2.15

    v40-43

    v2.14

    v39-42

    v2.13

    v38-41

    v2.12

    v36-40

    v2.11

    v36-40

    v2.10

    v33-36

    v2.9

    v31-34

    v2.8

    v30-33

    v2.7

    v30-33

    v2.6

    v29-32

    v2.5

    v29-32

    v2.4

    v29-32

      注意:解压好的Chromedriver需放在Python的安装路径下。我的Python路径在D:anaconda中,以我的为例:

    3. 测试

      用一段Python代码检测Chromedriver+Selenium安装是否成功。在Pycharm编辑以下Python代码,运行下面代码,会自动打开浏览器,然后访问网页。

     

      注意:建议运行代码时关闭360,金山等软件。

  • 相关阅读:
    如何优雅地关闭资源
    JMeter使用教程2——MySQL压测
    JMeter使用教程
    Redis系列(五):消息队列
    Redis系列(四):地理信息
    Redis系列(三):Bitmaps和HyperLogLog
    Redis系列(二):常用操作
    Redis系列(一):安装
    linux命令学习_实验楼(总结)
    【转】Linux中常用的tar解压打包命令语法介绍
  • 原文地址:https://www.cnblogs.com/xiaoguan-bky/p/11275164.html
Copyright © 2011-2022 走看看