目的是写一个golang并发爬虫版本的演化过程。
那么在演化之前，当然是先跑通一下单任务版本的架构。
正如人走路之前是一定要学会爬走一般。
首先看一下单任务版本的爬虫架构，如下：
这是单任务版本爬虫的一个架构：
第一步是将seed送到engine里去。
第二步是将seed里的url给到fetcher，fetcher会从网络上获取文本内容。
第三步是将获取下来的文本内容给到parser，parser会根据一定的转换规则获取到request和需要打印或者存储的item给到engine里。
其中parser返回的request会继续给到engine里维护的一个队列中去，只要request有值就会一直去fethcer和parser。
另外这里的fetcher和parser因为fetcher的返回值是parse的传入参数值，所以这里其实可以合并成一个模块，比如一个叫worker的模块。
后面升级的架构就只有worker模块，fetcher和parser则只是worker模块里的实现模块了。
目前，此版本架构的缺点：
1.没有很好的利用golang的channel，engine里一直是处于单任务的状态。尤其是fetcher模块，这里获取网络里的内容会格外的需要时间一些。
此单任务版本可有源码？
有，地址如下：
https://github.com/anmutu/du_crawler/tree/master/02crawler
这个版本还是蛮好懂的。这里注明了，大概的一个流程。想了解详细还是看源码的好。