zoukankan      html  css  js  c++  java
  • Python爬虫环境常用库安装

    1:urllib urllib.request
    这两个库是python自带的库,不需要重新安装,在python中输入如下代码:

    import urllib
    import urllib.request
    response=urllib.request.urlopen("http://www.baidu.com")
    print(response)
    1
    2
    3
    4
    返回结果为HTTPResponse的对象:
    <http.client.HTTPResponse object at 0x000001929C7525F8>

    2:正则表达式模块
    import re
    1
    该库为python自带的库,直接运行不报错,证明该库正确安装。

    3:request库的安装
    安装命令:pip install requests
    验证该库是否安装成功,运行如下代码:

    import requests
    response=requests.get("http://www.baidu.com")
    print(response)
    1
    2
    3
    4:selenium库的安装

    由于如果需要使用selenium的话,需要为本机配置对应浏览器的驱动,下面以chomedriver为例,首先安装chromedriver,chromedriver与支持对应的chrome版本如下:

    chromedriver版本 支持的Chrome版本
    v2.33 v60-62
    v2.32 v59-61
    v2.31 v58-60
    v2.30 v58-60
    v2.29 v56-58
    v2.28 v55-57
    v2.27 v54-56
    v2.26 v53-55
    v2.25 v53-55
    v2.24 v52-54
    v2.23 v51-53
    v2.22 v49-52
    v2.21 v46-50
    v2.20 v43-48
    v2.19 v43-47
    v2.18 v43-46
    v2.17 v42-43
    v2.13 v42-45
    v2.15 v40-43
    v2.14 v39-42
    v2.13 v38-41
    v2.12 v36-40
    v2.11 v36-40
    v2.10 v33-36
    v2.9 v31-34
    v2.8 v30-33
    v2.7 v30-33
    v2.6 v29-32
    v2.5 v29-32
    v2.4 v29-32
    如何查看本机的chrome的版本,具体方法如下:

    chromedriver的下载地址如下:
    http://chromedriver.storage.googleapis.com/index.html
    chromedriver解压后放到Python或者其他配置了环境变量的目录下。
    测试代码及运行结果如下:

    安装plantomjs
    下载地址为:http://phantomjs.org/download.html
    下载完成后,解压文件夹,将文件夹中phantomjs.exe的拷贝到Python或者其他配置了环境变量的目录下,或单独为其配置环境变量,测试代码及运行结果如下:


    5: 安装LXML


    6:安装beautifulsoup


    7:安装pyquery


    8:安装pymysql


    9:安装pymongo


    10:安装redis


    11:安装flask


    12:安装django

    ---------------------
    作者:天涯笨熊
    来源:CSDN
    原文:https://blog.csdn.net/qq_29186489/article/details/78581249
    版权声明:本文为博主原创文章,转载请附上博文链接!

  • 相关阅读:
    冒泡排序的java实现
    linux磁盘挂载
    Spring第九篇:primary指定bean为首选对象
    Spring第八篇:容器中bean对象的创建顺序
    Spring第六篇:依赖的手动注入
    Spring第五篇:Spring bean的作用域
    Spring第四篇:bean实例的创建方式
    SpringBoot 整合 kaptcha 验证码
    Java 创建线程池的方式
    MySQL IF() 函数用法
  • 原文地址:https://www.cnblogs.com/palace/p/9891340.html
Copyright © 2011-2022 走看看