zoukankan      html  css  js  c++  java
  • [爬虫学习笔记]C# 使用 ScrapySharp 并行下载天涯图片

           最近因为一个作业需要完成CNKI爬虫,研究爬虫架构的时候发现了这个疑似移植于Python的著名开源爬虫框架Scrapy的ScrapySharp,然而在网上寻找之后只发现了这个F#的Demo,就使用原文中示例的网站写了这个C#版本的代码。

           PS:研究之后发现,ScrapySharp和Scrapy差距还是挺大的,没有Scrapy那样完善的八大组件,只含有获取网页内容和基于HtmlAgilityPack扩展的网页解析功能,莫名有些小失望。

    using System;
    using System.IO;
    using System.Linq;
    using System.Threading.Tasks;
    using HtmlAgilityPack;
    using ScrapySharp.Extensions;
    using ScrapySharp.Network;
    
    namespace ScrapySharpDemo
    {
        class Program
        {
            static void Main(string[] args)
            {
                //示例网站地址
                var url = "http://bbs.tianya.cn/post-12-563201-1.shtml";
                var web = new ScrapingBrowser();
                var html = web.DownloadString(new Uri(url));
                var doc = new HtmlDocument();
                doc.LoadHtml(html);
                //获取网站中的图片地址
                var urls= doc.DocumentNode.CssSelect("div.bbs-content > img").Select(node => node.GetAttributeValue("original")).ToList();
                //并行下载图片
                Parallel.ForEach(urls, SavePic);
            }
    
            public static void SavePic(string url)
            {
                var web = new ScrapingBrowser();
                //因天涯网站限制,所有站外来源都无法访问图片,故先设置请求头Refer属性为当前页地址
                web.Headers.Add("Referer", "http://bbs.tianya.cn/post-12-563201-1.shtml");
                var pic = web.NavigateToPage(new Uri(url)).RawResponse.Body;
                var file = url.Substring(url.LastIndexOf("/", StringComparison.Ordinal));
                if (!Directory.Exists("imgs"))
                    Directory.CreateDirectory("imgs");
                File.WriteAllBytes("imgs" + file, pic);
            }
        }
    }
  • 相关阅读:
    Java 文件操作大全
    JAVA 环境变量配置
    Spring MVC 环境搭建(maven+SpringMVC+mybatis+Freemarker)
    maven的安装,maven库配置和Eclipse插件的安装
    maven web项目不能创建src/main/java等文件夹的问题
    Java 高效检查一个数组中是否包含某个值
    java发送http的get、post请求
    Timequest静态时序分析(STA)基础
    QuartusII Design partion and logic lock
    FPGA优化之高扇出
  • 原文地址:https://www.cnblogs.com/WayneShao/p/5858549.html
Copyright © 2011-2022 走看看