百度流行音乐-资源数据整合

　　首先在此申明，此抓取内容及发布的地址，只用于个人研究，如涉及到版权问题，还及时联系作者。

　　目的：

　　　　其实最开始是在研究vs2013环境下使用xmargin做的app，研究到webView控件的时候需要一个简单的页面来嵌套，但是个人觉得光是点测试数据没什么意思，就决定网上找下音乐方面的资源地址，可是搜索出来的好多音乐接口地址都不能使用了，所以觉得抓一下百度的音乐资源看是否能成功。

　　首先：

　　打开网页地址：http://music.baidu.com/tag/流行，立马使用gg浏览器F12，查看是否有音乐资源的地址，看到的是

　　

　　第一感觉后面的数字就是资源的唯一标识符Id，然后继续点击音乐名字，F12进入到

　　

　　看起来可以用的信息有：songPic(歌曲图片)和刚才第一个页面获取的信息id及songTitle(歌曲名字)(其他什么发布时间忽略)，但是还是没有咋们想要的音频文件的地址和歌词，那么再继续进入播放页面

　　

　　f12看到的效果是

　　

　　看不到想要的音频地址，歌词地址，哪怕之前对应的id都没有了，仔细一看checkreelList_833790(0,event,this); 这个方法对应的是0，然后看每一首歌曲都有一个编号，升序往下排列这，这种情况第一反应音乐的信息应该是一个单独的文件或者ajax获取的json数据；于是乎通过network开始查找json文件或者js文件看有没有这种明显的音乐数据库信息；查找结果如下：

　　

　　格式化之后的数据songinfo文件：

　　

　　对应的还是Id，歌曲名称，图片地址，没有想要的信息；那么继续往下面找信息songlink文件中

　　

　　已经看到了mp3的资源信息，复制到浏览器打开，没错可以下载，然后打开能正常播放出歌曲声音，并且以.lrc结尾的地址就是歌词了，可以看一下；走到这里感觉好像挺简单的获取到了想要的信息，但是有没有注意到最开始的时候是点击了一首歌曲，现在出现的好像是一个列表的信息，仔细观察第一首歌曲的确是刚才选择的，下面的一些歌曲是默认按照第一个页面流行先后顺序来的，那么回到第一个页面点击两首歌曲，然后点击播放选中歌曲，直接又跳转到了刚才的播放页面，但是细心的朋友会发现浏览器地址栏里面是这样的如：

　　

　　然后和最开始选中一首歌曲的地址栏对比：

　　

　　是不是多了几个数字，发现多的这几个数字正好就是前面说的音乐的唯一编号Id，再看刚才说的songinfo和songlink文件都有刚才选择的歌曲的信息，然后做一下数据的整合就有了下面的代码：

using System;
using System.Collections.Generic;
using System.Linq;
using System.Text;
using System.Text.RegularExpressions;
using System.Web;
using System.Web.UI;
using System.Web.UI.WebControls;
using TaskPlugin;

public partial class SourceTool : System.Web.UI.Page
{
    protected void Page_Load(object sender, EventArgs e)
    {

    }

    protected void btnFidder_Click(object sender, EventArgs e)
    {

        var sbLog = new StringBuilder(string.Empty);
        try
        {
            var musices = new List<MoMusic>();

            //1.获取-流行音乐歌单
            var p_url = "http://music.baidu.com/tag/流行";
            var p_music = PublicClass._HttpGet(p_url);
            if (string.IsNullOrEmpty(p_music)) { sbLog.Append("获取音乐列表失败
"); return; }

            var pm = Regex.Matches(p_music, "title="(?<title>[^"]+)[^>]+>(?<m_name>[^<]+)[^h]+href="/mv/(?<sid>[^"]+)[^\?]+[^>]+>(?<a_name>[^<]+)");
            if (pm.Count <= 0) { sbLog.Append("获取音乐列表失败
"); return; }

            var sids = string.Empty;
            foreach (Match item in pm)
            {

                var music = new MoMusic();
                music.M_Sid = item.Groups["sid"].Value;
                music.M_Name = item.Groups["m_name"].Value;
                music.M_Gif = "http://musicdata.baidu.com/data2/pic/9e815fa08f315c5577acb8efff6cc63f/262002544/262002544.jpg";  //默认图片
                music.A_Name = item.Groups["a_name"].Value;

                sids += music.M_Sid + ",";
                musices.Add(music);
            }

            //2.获取对应音乐的图片
            sids = sids.TrimEnd(',');
            var pp_url = "http://play.baidu.com/data/music/songinfo";   //获取图片地址
            var pp_music = PublicClass._HttpPost(pp_url, string.Format("songIds={0}", sids));
            if (!string.IsNullOrEmpty(pp_music))
            {

                var ppm = Regex.Matches(pp_music, ""songId":"(?<m_sid>[^"]+)[^P]+[^:]+:"(?<m_gif>[^"]+)");
                if (ppm.Count <= 0) { return; }

                foreach (Match item in ppm)
                {
                    var sid = item.Groups["m_sid"].Value.Trim();
                    var m_gif = item.Groups["m_gif"].Value.Trim();
                    if (string.IsNullOrEmpty(sid) || string.IsNullOrEmpty(m_gif)) { continue; }

                    var moMusic = musices.Where(b => b.M_Sid == sid).SingleOrDefault();
                    moMusic.M_Gif = m_gif.Replace("\", ""); ;
                }
            }

            //3.音乐资源信息地址
            var ppp_url = "http://play.baidu.com/data/music/songlink";   //获取播放文件地址
            var ppp_music = PublicClass._HttpPost(ppp_url, string.Format("songIds={0}&hq=0&type=m4a%2Cmp3&rate=&pt=0&flag=-1&s2p=-1&prerate=-1&bwt=-1&dur=-1&bat=-1&bp=-1&pos=-1&auto=-1", sids));
            if (string.IsNullOrEmpty(ppp_music)) { sbLog.Append("获取播放文件地址失败
"); return; }

            var pppm = Regex.Matches(ppp_music, ""songId":(?<m_sid>[^,]+)[^\/]+(?<m_lrc>http:[^"]+)[^\/]+(?<m_link>http:[^"]+)");
            if (pppm.Count <= 0) { sbLog.Append("获取播放文件地址失败
"); return; }

            foreach (Match item in pppm)
            {
                var sid = item.Groups["m_sid"].Value.Trim();
                var m_link = item.Groups["m_link"].Value.Trim();
                var m_lrc = item.Groups["m_lrc"].Value.Trim();
                if (string.IsNullOrEmpty(sid) || string.IsNullOrEmpty(m_link)) { continue; }

                var moMusic = musices.Where(b => b.M_Sid == sid).SingleOrDefault();
                moMusic.M_Link = m_link.Replace("\", "");  
                moMusic.M_Lrc = m_lrc.Replace("\", "");
            }

            var result = Newtonsoft.Json.JsonConvert.SerializeObject(musices);
            //生成json文件
            PublicClass._WriteLog(result, "Music", false, false, ".json");

            sbLog.Append(result);
        }
        catch (Exception ex)
        {
            sbLog.AppendFormat("异常信息：{0}
", ex.Message);
        }
        finally
        {

            Response.Write(sbLog.ToString());
            Response.End();
        }
    }
}

public class MoMusic
{

    /// <summary>
    /// 音乐编号
    /// </summary>
    public string M_Sid { get; set; }

    /// <summary>
    /// 音乐名称
    /// </summary>
    public string M_Name { get; set; }

    /// <summary>
    /// 音乐图片 默认：
    /// </summary>
    public string M_Gif { get; set; }

    /// <summary>
    /// 音乐地址
    /// </summary>
    public string M_Link { get; set; }

    /// <summary>
    /// 音乐歌词文件地址
    /// </summary>
    public string M_Lrc { get; set; }

    /// <summary>
    /// 音乐MV地址
    /// </summary>
    public string M_MV { get; set; }

    /// <summary>
    /// 作者音乐集地址
    /// </summary>
    public string A_Url { get; set; }

    /// <summary>
    /// 作者名字
    /// </summary>
    public string A_Name { get; set; }

}

　　

　　音乐编号，音乐名称，音乐图片，音乐地址，音乐歌词文件地址，作者名字 这些属性值都有了；再顺便弄一个数据的展示页面，音乐可以点击的：

　　童趣-音乐