zoukankan      html  css  js  c++  java
  • scrapy的简单使用

    使用之前的创建虚拟环境方法(pipenv)

    创建虚拟环境并进入虚拟环境

    mkdir douban 
    cd douban pipenv install pipenv shell

    再安装我们的scrapy

    pipenv install scrapy

    然后创建项目

    scrapy startproject doubanmovie
    cd doubanmovie
    scrapy genspider douban_movie (这里加入你想要爬的网站url)

    再使用pychram打开这个目录

    写好代码后在pycharm下方点击终端输入

    scrapy crawl douban_movie
    scrapy crawl douban_movie -o detail.json #为json格式保存
    scrapy crawl douban_movie -o detail.jl #以行的形式保存
    scrapy crawl douban_movie -o detail.csv #以csv文件格式保存
    scrapy crawl douban_movie -o detail.xml #以xml文件格式保存

    运行任务

    简单使用结束

  • 相关阅读:
    Bundle Adjustment
    BFL ekf imu and odom
    RNN
    深度学习的数学(笔记)
    BP 神经网络
    PCA
    SVM
    KNN
    Kmeans
    决策树
  • 原文地址:https://www.cnblogs.com/jay-col/p/10466735.html
Copyright © 2011-2022 走看看