zoukankan      html  css  js  c++  java
  • 爬虫常用库的安装

    请求库(requests,selenium)、解析库(beautifulsop)、存储库、工具库等

    urelib   

    re

    上面这两个是python自带的库

    需要自己安装额库:

    (在windows下,使用pip install 命令)

    requests

    selenium用来驱动浏览器,做自动化测试,一些被js渲染的用这个来获取源代码

    phantomjs,无界面浏览器,下载,并将phantomjs.exe配置到环境变量

    lxml,可以用来进行网页的解析

    ------------------------------------

    beautifulsoup,也是一个网页解析库,并且依赖于lxml库,在安装时需要输入pip3 install beautifulsoup4,导入时使用import bs4  

    from bs4 import Beautifulsoup

    -------------------------------------

    pyquery也是一个网页解析库,比beautifulsoup更加方便

    一些存储库:

    pymysql

    pymongo

    redis

    一些工具库

    flask是一个web库,在做一些代理的设置是=时,可  能会用到这个库

    django,一个web服务器框架

    jupyter,可以理解为一个笔记本,但这个笔记本功能比较强,可以在先运行代码,很多功能,用来写代码或者文档记录很方便

    在linux下,使用如下命令即可:

    pip3 install requests selenium beautifulsoup4 puquery pymysql pymongo redis flask django jupyter

    三样东西有助于缓解生命的疲劳:希望、睡眠和微笑。---康德
  • 相关阅读:
    Servlet程序开发-- 过滤器
    English--Computer System
    Servlet程序开发--实例操作:MVC设计模式应用
    Servlet程序开发--WEB开发模式(Mode I, Mode II)
    在服务器上搭建git仓库
    git 搭建本地仓库
    smartcrop.js 内容感知图像裁剪
    js函数 eql,equal,equalp
    nodejs XML和json互相转换
    js 创建XML
  • 原文地址:https://www.cnblogs.com/ronghe/p/9142241.html
Copyright © 2011-2022 走看看