爬取---Books to Scrape（第一页所有书名和价格）

1、首先在终端建立一个项目   项目名为bookspider    建立过程在这里就略写了

网站链接：http://books.toscrape.com/catalogue/page-1.html

 2、打开文件spider——books.py文件以及settings.py文件

重新配置settings.py文件的内容

 

 

3、打开books.py编辑代码

import scrapy

from scrapy.http.response.html import HtmlResponse

class BooksSpider(scrapy.Spider):
    name = 'books'
    allowed_domains = ['books.toscrape.com']
    start_urls = ['http://books.toscrape.com/catalogue/page-1.html']


    def parse(self, response):
        # print('*')
        # print(type(response))    #  <class 'scrapy.http.response.html.HtmlResponse'>
        # print('*')

        Books_lis = response.xpath("//div/ol[@class='row']/li")
        #print(Books_lis)
        for Books_li in Books_lis:
            book_name = Books_li.xpath(".//h3/a")
            print(book_name)

        for prices_li in Books_lis:
            book_price = prices_li.xpath(".//div[@class='product_price']/p[@class='price_color']/text()").get()
            print(book_price)

4、运行结果

 

 运行程序可以的方法：

1、直接通过终端  win+R

2、通过pycharm中的Terminal打开终端

 3、在项目文件夹下建立一个Python文件  上例文件名为start.py  

输入

from scrapy import cmdline

# cmdline.execute("scrapy crawl books").split()  等价下面的cmd
cmdline.execute(["scrapy","crawl","books"])

其中 books 是文件名

然后点击运行即可