C# 爬取猫眼电影数据

最近做了一个新项目，因为项目需要大量电影数据，猫眼电影又恰好有足够的数据，就上猫眼爬数据了。

1、先分析一下网页地址，发现电影都是被排好序号了，这就很简单了。

2、在分析页面，这次主要爬取黄色框中的内容。在浏览器中按F12检查元素，只要把Div获取出来就算完成了。

下面贴代码：

主函数

static void Main(string[] args)
        {
            int errorCount = 0;//计算爬取失败的次数
            int count = 450;//结束范围
            for (int i = 401; i <= count; i++)
            {
                Thread.Sleep(2000);//每隔两秒爬取一次，不要给服务器压力
                try
                {
                    HtmlWeb web = new HtmlWeb();
                    //https://maoyan.com/films/1
                    web.OverrideEncoding = Encoding.UTF8;
                    HtmlDocument doc = web.Load($"https://maoyan.com/films/{i}");//把url中的1替换为i

                    HtmlDocument htmlDoc = new HtmlDocument();
                    string url = $"https://maoyan.com/films/{i}";
                    
                    //获取电影名
                    HtmlNode MovieTitle = doc.DocumentNode.SelectSingleNode("//div[@class='movie-brief-container']/h1[@class='name']");//分析页面结构后得到的div
                    if (MovieTitle == null)//如果是null，那么表明进入验证页面了，执行第二种方法
                    {
                        string urlResponse = URLRequest(url);
                        htmlDoc.LoadHtml(urlResponse);
                        MovieTitle = htmlDoc.DocumentNode.SelectSingleNode("//div[@class='movie-brief-container']/h1[@class='name']");
                        if (MovieTitle == null)//如果是null，那么表明进入验证页面了。（第二种方法也失效）
                        {
　　　　　　　　　　　　　　　　　　//此处需要进入浏览器手动完成验证 或者 自行分析验证页面实现自动验证
                        }
                    }
                    string title = MovieTitle.InnerText;
                    //Console.WriteLine(MovieTitle.InnerText);

                    //获取电影海报
                    HtmlNode MovieImgSrc = doc.DocumentNode.SelectSingleNode("//div[@class='celeInfo-left']/div[@class='avatar-shadow']/img[@class='avatar']");
                    if (MovieImgSrc == null)
                    {
                        
                        MovieImgSrc = htmlDoc.DocumentNode.SelectSingleNode("//div[@class='celeInfo-left']/div[@class='avatar-shadow']/img[@class='avatar']");
                    }
                    //Console.WriteLine(MovieImgSrc.GetAttributeValue("src", ""));
                    string imgurl = MovieImgSrc.GetAttributeValue("src", "");

                    //电影类型
                    HtmlNodeCollection MovieTypes = doc.DocumentNode.SelectNodes("//div[@class='movie-brief-container']/ul/li[@class='ellipsis']");
                    if (MovieTypes == null)
                    {
                        MovieTypes = htmlDoc.DocumentNode.SelectNodes("//div[@class='movie-brief-container']/ul/li[@class='ellipsis']");
                    }
                    string types = "", artime = "", releasetime = "";

                    foreach (var item in MovieTypes[0].ChildNodes)
                    {
                        if (item.InnerText.Trim() != "")
                        {
                            //Console.WriteLine(item.InnerText.Trim());
                            types += item.InnerText.Trim() + "-";
                        }
                    }
                    artime = MovieTypes[1].InnerText;
                    releasetime = MovieTypes[2].InnerText;
                    //Console.WriteLine(MovieTypes[i].InnerText);

                    //剧情简介
                    string intro = "";
                    HtmlNode introduction = doc.DocumentNode.SelectSingleNode("//div[@class='mod-content']/span[@class='dra']");
                    if (introduction == null)
                    {
                        introduction = htmlDoc.DocumentNode.SelectSingleNode("//div[@class='mod-content']/span[@class='dra']");
                    }
                    //Console.WriteLine(introduction.InnerText);
                    intro = introduction.InnerText;
                    //Console.WriteLine(i);

                    using (FileStream fs = new FileStream(@"d:Sql.txt", FileMode.Append, FileAccess.Write))
                    {
                        fs.Lock(0, fs.Length);
                        StreamWriter sw = new StreamWriter(fs);
                        sw.WriteLine($"INSERT INTO Movies VALUES('{title}','{imgurl}','{types}','{artime}','{releasetime}','{intro.Trim()}');");
                        fs.Unlock(0, fs.Length);//一定要用在Flush()方法以前，否则抛出异常。
                        sw.Flush();
                    }

                }
                catch (Exception ex)
                {
                    errorCount++;
                    Console.WriteLine(ex);
                }
            }
            Console.WriteLine($"结束 成功:{count - errorCount}条,失败：{errorCount}条");
            Console.ReadLine();

        }

URLRequest方法

static string URLRequest(string url)
        {
            // 准备请求
            HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);

            // 设置GET方法
            request.Method = "GET";
            request.Timeout = 6000; //60 second timeout
            request.UserAgent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/83.0.4103.106 Safari/537.36";

            string responseContent = null;

            // 获取 Response
            using (WebResponse response = request.GetResponse())
            {
                using (Stream stream = response.GetResponseStream())
                {
                    // 读取流
                    using (StreamReader streamreader = new StreamReader(stream))
                    {
                        responseContent = streamreader.ReadToEnd();
                    }
                }
            }

            return (responseContent);
        }

先进入for循环，到时候把url中的 1 替换为 i ，就可以实现自动爬取所有电影了。

解析html代码我用的是第三方类库  HtmlAgilityPack，大家可以在Nuget中搜索到。

我将爬取的数据转换为Sql语句了，存在D盘根目录下 Sql.txt。

下面是结果

 

一共爬了200条数据

大家注意一下，程序报错 如果是空异常，那么表明没有获取到相应的div，没有获取到相应的div就表明猫眼让你跳转到验证中心页面了，你要进入到浏览器验证一下，或者更换IP访问。

最后再提醒一下大家，要慢慢的获取数据，不然会403。