使用python在scrapy框架下制作一个简单的爬虫

步骤：

一，新建一个工程

二，在工程中中新建一个爬虫项目，scrapy startproject  myspider

scrapy startproject myspider #myspider为工程名，可根据自己需求更改

三，切入到项目目录下，然后在项目中，新建一个爬虫spider。

cd myspider #切入到项目目录下
scrapy genspider itcast itcast.cn#新建一个爬虫

四，在itcast.py中，编写爬取程序

# -*- coding: utf-8 -*-
import scrapy


class ItcastSpider(scrapy.Spider):
    name = 'itcast'#爬虫名
    allowed_domains = ['itcast.cn']#允许爬取得范围
    start_urls = ['http://www.itcast.cn/channel/teacher.shtml']#最开始请求的url地址

    def parse(self, response):
        #处理start_url地址对应的响应
        # ret=response.xpath("//div[@class='tea_con']//h3/text()").extract()
        # print(ret)

        # li_list=response.xpath("//div[@class='tea_con']//li")
        # for li in li_list:
        #     item={}
        #     item["name"]=li.xpath(".//h3/text()").extract()[0]
        #     item["title"]=li.xpath(".//h4/text()").extract()[0]
        #     print(item)


        li_list = response.xpath("//div[@class='tea_con']//li")
        for li in li_list:
            item = {}
            item["name"] = li.xpath(".//h3/text()").extract_first()
            item["title"] = li.xpath(".//h4/text()").extract_first()
            # print(item)
            yield item   #将数据传给pipelines，使用生成器可以减小内存占用

五，开启MyspiderPipeline之前需要在settings.py中开启MyspiderPipeline

#开启ITEM_PIPELINES，ITEM_PIPELINES才可以使用
ITEM_PIPELINES = {
   'myspider.pipelines.MyspiderPipeline': 300,#300表示爬虫的距离远近，越大越远，
}

 六， 在MyspiderPipeline中进行数据处理

class MyspiderPipeline(object):
    def process_item(self, item, spider):
        item["hello"]="world"
        print(item)
        return item#为了让数据在不同的pipeline中传递，需要return来返回item,

七、保存爬取的数据

 scrapy crawl itcast -o teacher.csv#将爬取的数据保存为teacher.csv

一个简单的scrapy框架下的爬虫就制作好了