爬虫心得

1. 如果网址比较具有时效性, 可以先写仅具有下载功能的爬虫而不先解析
2. 写爬虫如果需要解析的话, 应该先研究反反爬策略或可以提前下载几个网页到本地,然后进行解析匹配, 避免在测试时频繁请求目标网址, 同时也节省了请求网页的时间
3. 解析匹配写完后, 再开始数据的爬取, 然后进行调试等等