索引页提取的 内容页URL在同一个IP下 多线程 下载这些URL会被封IP
那就只能把这些IP 分到不同的客户机下的不同IP再下载相当于把所有的内容页URL分出去分别下载 另外一种就是按主机分组， 还是多线程，但是一个线程负责一组。不同的线程之间不同时下载一个域名的。相当于是并行