第一次优化 [2013.4.24]
增加access日志以查看爬虫的访问情况
第二次优化 [2013.5.6]
首页去除随机商品和随机文章
首页指向的不重要页面使用nofollow
robots.txt中Disallow管理页面和用户页面
修改不规范的url：/filters/select/all//和/filters/select//all/
第三次优化 [2013.5.12]
删除统计代码的display:none
删除所有注释代码
第四次优化 [2013.5.13]
增加google analysis统计代码
jilinmei.com使用nginx 301重定向到www.jilinmei.com
第五次优化 [2013.5.14]
首页删除alimama广告代码
第六次优化 [2013.5.17]
删除cnzz统计代码，只保留baidu和google统计代码
<head>开始部分增加charset=utf-8，显式指定编码
优化效果：很快就发现baiduspider爬取页面数量明显增多
第七次优化 [2013.519]
首页衣妆达人频道增加nofollow属性
robots.txt中Disallow衣妆达人页面
主要是为了减少对这些页面的爬取和收录，增加商品页面的爬取和收录
因为据说百度对某个网站每天爬取网页的数量是有限的
转载请注明出处：吉林美打折网