Scrapy Shell:
语法:
scrapy shell "url"
response.url #当前响应的url地址 response.request.url # 当前响应的请求url地址 response.headers #响应头 response.body #响应体,也就是html代码,默认是bytes类型 response.request.headers #当前响应的请求头
Scrapy 的response与requests里面的response 区别:
Scrapy:response.body 是bytes类型,他没有content属性
Requests: response.content.decode() 就是bytes类型
scrapy shell 可以用来调度,尤其是可以用来测试xpath写法是否正确