爬淘宝的商品信息下 （下） -- 实现定时任务爬取
上回我们讲到用scrapy爬取淘宝的商品信息, 今天的任务是实现爬虫的周期作业功能。商品信息的交易量评论数，等等，会处在变动之中，因此需要爬虫能够在每天预设的时间爬取网页。
假设，我们现在的任务是，要爬虫在凌晨3点，也就是 每天的凌晨3:00，（对，就是那个月黑风高，四下无人的夜晚，悄悄的，爬虫它来了，然后悄悄地又走了，）进行一次爬取任务。
main.py就是我们要写的文件，话说，scrapy爬虫，不一定非得要用scrapy命令才能去调用，我们可以直接从脚本中调用，嗯，很好，狠喜欢。
整个scrapy项目的结构如下所示，看到main.py了吗？没错，直接放在根目录下就可以了，妥妥的，就是这么简单
D:CodeTB>tree /f
文件夹 PATH 列表
卷序列号为 0000007D E659:980C
D:.
│ main.py
│ scrapy.cfg
│
├─.idea
│ │ misc.xml
│ │ modules.xml
│ │ TB.iml
│ │ workspace.xml
│ │
│ └─inspectionProfiles
│ profiles_settings.xml
│
├─results
│ result.2017-05-11.csv
│
└─TB
│ items.py
│ middlewares.py
│ pipelines.py
│ settings.py
│ __init__.py
│
├─spiders
│ │ taobao.py
│ │ __init__.py
│ │
│ └─__pycache__
│ taobao.cpython-36.pyc
│ __init__.cpython-36.pyc
│
└─__pycache__
items.cpython-36.pyc
pipelines.cpython-36.pyc
settings.cpython-36.pyc
__init__.cpython-36.pyc
下面直接上mian.py的代码，废话不多说
from scrapy.utils.project import get_project_settings
from scrapy.crawler import CrawlerRunner
from scrapy.utils.log import configure_logging
from twisted.internet import reactor
from apscheduler.schedulers.background import BlockingScheduler
import multiprocessing
scheduler = BlockingScheduler()
def release_spiders():
configure_logging({'LOG_FORMAT': '%(levelname)s: %(message)s'})
settings = get_project_settings()
runner = CrawlerRunner(settings)
for spider in runner.spider_loader.list():
runner.crawl(spider)
d = runner.join()
d.addBoth(lambda _: reactor.stop())
reactor.run()
@scheduler.scheduled_job('cron', hour=3, minute=0, id="daily_crawl")
def run():
process = multiprocessing.Process(target=release_spiders)
process.start()
if __name__ == "__main__":
scheduler.start()
除了scrapy以外，还用到了多进程multiprocess包，定时任务调度apscheduler包，貌似前一个包，默认就有，而后面一个，要自己安装的。。。。
为什么要开启多进程。。。。？你以为我想啊，折腾了好久，发现如果不开多进程的话，webdriver不会自动关闭，而且，pipline中的数据存储也不工作，神烦啦！。。。。。。。所以，还是再开个进程，让定时任务和爬取任务分开，各玩各的！
@scheduler.scheduled_job('cron', hour=3, minute=0, id="daily_crawl") 这个地方就是设置定时任务的执行时间点，24小时制，所以，会在每日的凌晨3点0分，进行一次爬取任务，半夜人少，网速快，偷偷地，刺激，没毛病。
好了，就这样了，具体代码，已经上传到github了，下载地址https://github.com/Levstyle/TaobaoSpider， 只要执行main.py代码文件即可
如果有毛病，请直接跟俺说啊，反正我也不会改的