之前爬取博客园新闻的标题,很成功的就可以爬取到,但最近爬取博客园新闻的具体内容时出现了一些小问题。
而对于这种情况,需要登录博客园获取网页的cookie,添加到headers中去
先登录
然后F12,复制cookie
最后加入到hearders:
这时候运行就可以爬取新闻详细内容。