zoukankan      html  css  js  c++  java
  • the introduction of scrapy1.1 tools

    scrapy xxcommand:输出xxcommand的相关信息

    help:scrapy的基本命令,用于查看帮助信息

    version:查看版本信息,可见-V参数查看各组件的版本信息;

    startproject用于新建一个工程

    genspider:在工程中产生一个spider,可产生多个spider,不同的spider要求name不同。

     

    list:此工程中都有哪些spider

    view:查看页面源码在浏览器中显示的样子

    会儿在浏览器中自动打开sina的首页,但是偶尔测试别的网址的时候,有打不开的情况,目前不知原因。

    此函数可用来判断你要处理的某个页面,时候有你想要的内容

    parse:使用在工程中定义的parse函数解析某个页面

    此函数用来判断你所使用的parse函数功能是否正确

    shell:一个非常有用的命令,可用于调试数据、检测xpath、查看网页源码,等等。

    必须回退到project's top level directory,enclose urls in quotes,必须用双引号将url括号起来。

     

     

    runspider:运行自包含的爬虫

    scrapy runspider  xxxxspider.py

    bench:运行一个基准的测试

    scrapy bench

    安装完scrapy之后,测试scrapy时候安装成功

    ************************************
    给我一个支点,我可以改变整个世界!
  • 相关阅读:
    .Net常用的命名空间
    Jquery测试纠错笔记
    第一章 学习总结
    Java和C++引用的区别
    gin的墙内开发艺术
    golang几个环境变量的问题
    Leetcode240_搜索二维矩阵II
    Leetcode1358_包含所有三种字符的子字符串数目
    Leetcode1354_多次求和构造目标数组
    Leetcode1353_最多可以参加的会议数目
  • 原文地址:https://www.cnblogs.com/flyinghorse/p/5642039.html
Copyright © 2011-2022 走看看