上面 的模块 ,对应就是一个文件。
四个模块都是和 引擎做交互,由引擎来决定 将相应的数据传给谁!!!
里面的多线程 ,高并发都是 交给调度器来实现的!!!
实际开发中 和程序员有关系的就只有 spider (1,start_url 2,解析数据 ) 和 管道 (保存数据)
pass