zoukankan      html  css  js  c++  java
  • scrapy 框架的安装与启动

    scrapy 框架的安装

    安装的详细过程:https://cuiqingcai.com/5421.html

    Windows平台

    如果 pip3 install scrapy 安装不上,则执行下列步骤安装

        1、pip3 install wheel #安装后,便支持通过wheel文件安装软件,wheel文件官网:https://www.lfd.uci.edu/~gohlke/pythonlibs
        3、pip3 install lxml
        4、pip3 install pyopenssl
        5、下载并安装pywin32:https://sourceforge.net/projects/pywin32/files/pywin32/
        6、下载twisted的wheel文件:http://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted
        7、执行pip3 install 下载目录Twisted-17.9.0-cp36-cp36m-win_amd64.whl
        8、pip3 install scrapy

    mac、Linux平台

    pip3 install scrapy

    注意:安装完成后,python的scripts文件夹中会有scrapy可执行文件

    启动程序与爬虫

    创建scrapy项目:

    scrapy startproject 项目名   (django创建项目)

    创建爬虫:

    scrapy genspider 爬虫名 要爬取的网站地址   # 可以创建多个爬虫

    启动爬虫:

    命令行启动

    scrapy crawl 爬虫名字
    scrapy crawl 爬虫名字 --nolog

    scrapy在pycharm配置启动(无需命令行启动)

    # 在项目路径下创建一个run.py(名字随意),右键执行即可
    from scrapy.cmdline import execute
    # execute(['scrapy','crawl','爬虫名','--nolog'])
    execute(['scrapy','crawl','爬虫名'])
  • 相关阅读:
    vmware centos 共赏目录不显示
    小程序上拉刷新
    chrome json接口数据 插件
    滚动条滚动事件
    smarty循环item命名规范
    css实现梯形样式(含有border)
    设置行高并不能垂直居中
    图片翻转交互效果
    smarty文章字符截取
    css动画 transition
  • 原文地址:https://www.cnblogs.com/baohanblog/p/12674983.html
Copyright © 2011-2022 走看看