自己用Python脚本写爬虫有一段时日了，也抓了不少网页，有的网页信息两多，一个脚本用exe跑了两个多月，数据还在进行中。但是总觉得这样抓效率有点低，问题也是多多的，很早就知道了这个框架好用，今天终于鼓起勇气安装这个了。
在网上找了些文档，按绝安装方法大同小异，就开始安装了。现在将这些比较好的网站给贴出来，可以供大家看看http://my.oschina.net/xtfjt1988/blog/364577， http://blog.fishc.com/4008.html 按照这个步骤基本可以安好 就是上面提到的lxml 、pywin32 必须在网上面下载，还有就是Twisted 这个与网络连接的也必须下载。其他的可以用pip安装。我建议该下载的还是要下载的为好，但是最后一步安装scrapy的时候我用pip 的时候就不管用了，试了好多办法，各种各样的错误，我建议还是用easy_install scrapy 安装scrapy，每一步都可以用法import 导入模块验证一下有没有安装成功。
鉴于写了那么多爬虫，也不能说经验有多么的深，但是从中也学到了不少的东西，以后还要坚持写博文的。很期待我的第一个框架小爬爬的成功。