潭州课堂25班：Ph201805201 爬虫高级 第六课 sclapy 框架 中间建 与selenium对接 (课堂笔记）

 

 

 因为每次请求得到的响应不一定是正常的，

 

也可以在中间建中与个类的方法，自动更换头自信，代理Ip,

在设置文件中添加头信息列表，

 在中间建中导入刚刚的列表，和随机函数

 

class UserAgentMiddleware(object):
    def process_request(self, request, spider):
        # 随机头信息，
        UA = random.choice(UserAgent_list)
        request.headers['User-Agent'] = UA

class ProxyMiddleware(object):
    def process_request(self, request, spider):
        # 代理
        proxy = {
            'http':'http:ip.post'
        }
        request.meta['proxy'] = 'http:ip.post'
        pass

　　

scrapy与 selenium

  以 历史空气质量数据 网站为列：

　　https://www.aqistudy.cn

建一项目 scrapy startproject raea

 创建运行文件 scrapy genspider area_1 baidu.com

 

写好后无法获取数据，是因为 scrapy 无法执行 js 获取数据 ，

所以要在中间建 中自己写个类，

在 middlewares 中导入selenium 

 

 里边的类名改成自己写的那个类方法