怎么编写微博爬虫 图片爬虫

背景：实验室大数据分析需要得到社交网站的数据，首选当然是新浪。数据包括指定关键词、话题、位置的微博的内容。字段包括：图片、时间、用户、位置信息。

思路分析：要爬新浪的数据主要有2种方法：

    1.微博开发者平台提供的微博API，资源包括微博内容、评论、用户、关系、话题等信息。同时，你也可以申请高级接口、商业接口获得更多权限，你要去注册申请成为开发者获得OAuth2授权以及这个使用参考，审核大约要1周。也可以直接使用别人分享的APPKEY。

     优点是简单，有专门的问答社区，代码更新方便，可以获得real time的数据，对热门话题比较开放,返回的文档主要是json有很多现成的库类可以解析。 缺点是，数据受API规定，没有关键词检索，对不嗯呢该有访问次数限制，毕竟人家主要是服务微博的第三方应用，这个缺陷可以用更换上面的appkey来解决。

    2.传统html爬虫，即发送http请求返回html源文件，再解析，提取里面的下级URL或者其他我们要的数据。C#.JAVA python都有相关的网页工具，c#主要是WebClient,或者HttpRequest/HttpResponse,也可以使用WebBrowser/page/htmldocument模拟浏览器操作，Java可以使用htmluint包。python对web处理的强大支持，使得网上的很多爬虫都是用python写的。

实现方法

　　由于实验室要采集的量比较大，就先选择第二种试试看。首先分析一下微博的网页。首先是按关键字搜索微博，可以使用高级搜索进行过滤，选着原创和含图片选项，过滤掉转发的重复内容和不含图片的微博。问题是改版后的微博搜索只能显示第一页，后面内容需要登陆才能看的。所以我们的爬虫程序首要通过登陆这一关。微博的验证码可以手动取消，位置如下图：

1.登陆

　　我知道的登陆的方法有3种。

　　1，模拟登陆过程。C#地webBrowser封装了操控浏览器的方法，根据ID获取HTML上的控件填充表单，点击登陆等，非常的人性化操作，但是需要识别验证码的代码。

　　2，模拟登陆POST，要用到抓包工具，比如burpsuite。这可能需要了解JS加密方法，以及验证码，具体网上找找。

　　3。第三种比较简单，模拟登陆后状态。到浏览器找与s.weibo.com连接的heards，提取COOKIE字段加入到代码作为heard一起发送request。具体是打开网站-》F12-》NetWor选项卡-》Documents / Scripts-》点个文件看看-》heards的Hosst是不是s.weibo.com,是的话把里面的cookie复制下来。注意cookie阁段时间会变化。由于只要登陆一次就能取数据，为了节省时间我就用了第三种方法。

2.获得html源文件

　　要获得源文件首先要向服务器发送访问请求。新浪微博搜索的URL是:http://s.weibo.com/wb/xiada&xsort=time 。仔细看会发现是像php命令风格的url：

 

    1.其中s.weibo.com是Host。 /wb/是指搜微博，综合搜索的话是/weibo/，找人的话是/user/，图片是/pic/。注意这里的搜的据我观察好像是用户使用发微博功能现拍的单图内容，所以内容少很多。

　　2.接着xiada就是搜索的关键词了，如果是中文关键词，这个字段就是经URLEncode编码的字符串。

    3.Xsort=time 是搜索结果按时间排序，

　　4.page=2,就是页数了，没有写就是第一页啦。可以通过更换page=多少来实现翻页。

　　5.还有一些其他命令就不列举了，这些命令的可选值 都可以按"高级搜索" 选择你要的筛选条件再看看URL是什么样的就知道啦。

你可以做个界面让用户（也就是自己。。）来设置要搜什么样的微博。用HttpRequest 加上cookie 访问你通过上面命令生成的url，返回的就是网页源代码了。

 

3.解析html获取数据

　　最关键的步骤就是怎么提取你的文档，假如你用c#的WebBrowser 那么恭喜你可以直接用Document类把html装进去，通过getItemById()之类的方法，根据标签头，直接提取标签内容，非常之方便。我是用正则表达式去源代码字符串里匹配我要的数据（图片链接，下层链接）。正则表达式C#参考这个，总结的够清楚。

　　分析完这一样还要找下一页的超链接，在网页源码里搜"next"，会发现只有一个，page next前面的herf="..."就是下一页的链接，可以根据这个来判断是不是最后一页。更快的方法是直接修改上面的命令page=n. 得到next page的url之后重复步骤2,3直到完成。

　　需要注意的是微博的反爬虫机制，如果你短时间内请求30次左右，不管你登陆与否，会被警告然后让你输入验证。解决方法要么推送到软件上手动输入，要么用浏览器手动输入，要么加个验证码识别模块。自动验证码识别这个可以用htmlunit实现，我还在研究中。

 

4.源码

　　 这个程序适合入门学习，很多特性（存储策略，网络优化，性能）都没考虑进去，我这里贴出主要代码。主要部分实现细节可以参考http://www.cnblogs.com/Jiajun/archive/2012/06/16/2552103.html 这篇博客，思路大致一样，注释很详细，就是有点繁杂了，我借鉴了一点，非常之感谢。　　

　　另外有更多需求的同学可以去研究一下这个项目，在gihub有很多watch and fork,有API让你使用，而且有很多在爬到的数据可以下载，值得深入学习一下源码。 

 

namespace IMT.weiboSpider
{
    class Spider
    {
        #region  field
        public List<WB_Feed> feedList { get; set; }
        private readonly object _locker = new object();
        private ThreadManager mThreadManager;//workManager.dowork_handler=
        public delegate void ContentsSavedHandler(string name);
        public delegate void DownloadFinishHandler(int count);
        public event ContentsSavedHandler ContentsSaved = null;
        public event DownloadFinishHandler DownloadFinish = null;
        public string _savePath;
        public string _url;
        public string _cookie;
        public string _next_url;
        public string _html;
        public int _count_current_URL;
        #endregion


        /// <summary>
        /// init
        /// </summary>
         public  Spider()
        {
            feedList = new System.Collections.Generic.List<WB_Feed>();
            mThreadManager = new ThreadManager(4);
            mThreadManager.dowork_handler += new ThreadManager.Do_a_Work_Handler(GetIMGDownload);
        }
        /// <summary>
        /// start working
        /// </summary>
        /// <param name="cookies"></param>
        public void Start(string cookies)
        {
            _cookie = cookies;
            Random rad=new Random();
            _html=GetHtmlDownload(_url, _cookie);
            _count_current_URL = GetHtmlPrased(_html);
            _next_url = GetNextHtmlUrl(_html);
            ContentsSaved.Invoke("url:[" + _url + "]IMG counts:" + _count_current_URL);
            while (!string.IsNullOrEmpty(_next_url))
            {
                Thread.Sleep(rad.Next(1000,3000));
                _html = GetHtmlDownload(_next_url, _cookie);
                _count_current_URL = GetHtmlPrased(_html);
                if (_count_current_URL < 2)
                {
                    MessageBox.Show("需要手动刷新账号输入验证码,刷新后点再击确定");
                    continue;
                }
                ContentsSaved.Invoke("In The url:[" + _next_url + "]IMG counts:" + _count_current_URL);
                _next_url = GetNextHtmlUrl(_html);
                
            }


            DialogResult dlresult = MessageBox.Show("fund image:" + feedList.Count, "ALL search result was prased and saveD in ./URLCollection.txt.
Continue download?", MessageBoxButtons.YesNo);
            switch (dlresult)
            {
                case DialogResult.Yes:
                    {
                        SaveURLBuffer(_savePath + "URLCollection.txt");
                        mThreadManager.DispatchWork();
                        break;
                    }
                case DialogResult.No:
                    {
                        SaveURLBuffer(_savePath + "URLCollection.txt");
                        break;
                    }
            }
            //增加显示状态栏
        }

        /// <summary>
        /// stop work
        /// </summary>
        public void Abort()
        {
            if (mThreadManager != null)
            {
                mThreadManager.StopWorking();
            }
        }

        /// <summary>
        /// save the imgages url to local
        /// </summary>
        /// <param name="filepath"></param>
        public void SaveURLBuffer(string filepath)
        {
            FileStream fs = new FileStream(filepath, FileMode.Create, FileAccess.ReadWrite);
            StreamWriter sw = new StreamWriter(fs);
            foreach (var i in feedList)
                sw.WriteLine(i.imgSrc);
            sw.Flush();
            sw.Close();
            fs.Close();   
        }

        #region   网页请求方法

        /// <summary>
        /// downloaad image in (index) work thread
        /// </summary>
        /// <param name="index"></param>
        private void GetIMGDownload(int index)
        {
            string imgUrl = "";
            try
            {
                lock (_locker)// lock  feedlist  access
                {
                    if (feedList.Count <= 0)
                    {
                        mThreadManager.FinishWoking(index);
                        if (mThreadManager.IsAllFinished())
                            DownloadFinish(index);
                        return;
                    }
                    imgUrl = feedList.First().imgSrc;
                    feedList.RemoveAt(0);
                }
                string fileName = imgUrl.Substring(imgUrl.LastIndexOf("/") + 1);
                WebClient wbc = new WebClient();
                wbc.DownloadFileCompleted += new AsyncCompletedEventHandler(DownloadFileCallback);
                wbc.DownloadFileAsync(new Uri(imgUrl), _savePath + fileName,fileName+"in task:"+index);
            }
            catch (WebException we)
            {
                System.Windows.Forms.MessageBox.Show("RequestImageFAIL" + we.Message + imgUrl + we.Status);
            }
        }

        /// <summary>
        /// call this when the img save finished
        /// </summary>
        /// <param name="sender"></param>
        /// <param name="e"></param>
        private void DownloadFileCallback(object sender, AsyncCompletedEventArgs e)
        {
            if (e.Error != null)
            { //下载成功
               // WebClient wbc=sender as WebClient;
             //   wbc.Dispose();
                if(ContentsSaved!=null)
                    ContentsSaved((string)sender);
                string msg=sender as string;
                mThreadManager.FinishWoking((int)msg[msg.Length-1]);
                mThreadManager.DispatchWork();
            }
            throw new NotImplementedException();//下载完成回调；
        }

        /// <summary>
        /// get response html string
        /// </summary>
        /// <param name="wbUrl"></param>
        /// <param name="heardCookie"></param>
        /// <returns></returns>
        public string GetHtmlDownload(string wbUrl, string heardCookie)
        {
            string url = wbUrl;
            string Cookie = heardCookie;
            string html = null;
            WebClient client = new WebClient();
            client.Encoding = System.Text.ASCIIEncoding.UTF8;
            client.Headers.Add("Cookie", Cookie);

            Stream data = client.OpenRead(url);

            StreamReader reader = new StreamReader(data);
            html = reader.ReadToEnd();
            client.Dispose();
            return html;
        }
       
        /// <summary>
        /// prase html string return the picture url number in this page 
        /// </summary>
        /// <param name="html"></param>
        /// <returns></returns>
        public int GetHtmlPrased(string html)
        {
            string _html = html;
            string result;
            int count=0;
            Regex regex = new Regex(@"(?<=http)[^""]+(?=jpg)");
            MatchCollection theMatches = regex.Matches(_html);
            foreach (Match thematch in theMatches)
            {
                if (thematch.Length != 0)
                {
                    result = "http" + thematch.Value.Replace("\", "") + "jpg";

                    //TO DO : 定义匹配规则查找相同的微博。

                    feedList.Add(new WB_Feed(result));
                    count++;
                }
            }
            return count;
        }
       
        /// <summary>
        /// form the url commond to get next page
        /// </summary>
        /// <param name="url"></param>
        /// <param name="num"></param>
        /// <returns></returns>
        public string GetNextHtmlUrlFromPageNUM(string url,int num)
        {
            string nextPage;
            string preUrl = url;
            int pageIdex = preUrl.IndexOf("page")+5;
            nextPage=preUrl.Remove(pageIdex, 1);
            nextPage = nextPage.Insert(pageIdex, "" + num);
            return nextPage;
        }
        /// <summary>
        /// prase html string to get the next page url
        /// </summary>
        /// <param name="html"></param>
        /// <returns></returns>
        public string GetNextHtmlUrl(string html)
        {
            string nextPage;
            string s_domain;
            string _html = html;

            int nextIndex = _html.LastIndexOf("page next");//find last to be fast
            if (nextIndex < 0)
            {

                MessageBox.Show("there is not nextpage");
                return null;
            }
            //MessageBox.Show("find next in=" + nextIndex);
            int herfIndex = _html.LastIndexOf("href=", nextIndex);
            nextPage = _html.Substring(herfIndex + 5 + 2, nextIndex - herfIndex);
            nextPage= nextPage.Substring(0, nextPage.IndexOf(@"""") - 1);
            nextPage= nextPage.Replace("\", "");
            //$CONFIG['s_domain'] = 'http://s.weibo.com';
            int domainIndex=html.IndexOf("'s_domain'"); 
            domainIndex = html.IndexOf('=', domainIndex)+3;
            int domainLength=html.IndexOf(";",domainIndex)-1-domainIndex;
            s_domain = html.Substring(domainIndex, domainLength);

            nextPage = s_domain + nextPage;
            return nextPage;
        }
        #endregion



        /// <summary>
        /// work group manageer of downloading images  with defult 4 work thread;
        /// </summary>
        private class ThreadManager
        {
            private bool[] _reqBusy = null; //每个元素代表一个工作实例是否正在工作
            private int _reqCount = 4; //工作实例的数量
            private bool _stop = true;
            public delegate void Do_a_Work_Handler(int index);
            public  Do_a_Work_Handler dowork_handler;
            public ThreadManager(int threadCount)
            {
                _reqCount = threadCount;
                _reqBusy = new bool[threadCount];
                for (int i=0;i<threadCount;i++)
                {
                    _reqBusy[i] = false;
                }
                _stop = false;
            }
            public void StartWorking(int index)
            {
                _reqBusy[index] = true;
                dowork_handler.Invoke(index);/////invoke requeset resource
            }
            public void FinishWoking(int index)
            {
                _reqBusy[index] = false; 
            }
            public bool IsAllFinished()
            {
                bool done = true;
                foreach (var i in _reqBusy)
                    done = i & done;
                return done;
            }
            public void WaitALLFinished()
            {
                while (!IsAllFinished())
                    Thread.Sleep(1000);
            }
            public void StopWorking()
            {
                _stop = true;
                for (int i = 0; i < _reqCount; i++)
                    _reqBusy[i] = false;
            }
            public void DispatchWork()
            {
                if (_stop)
                    return;
                for (int i = 0; i < _reqCount; i++)////判断i编号的工作实例是否空闲
                    if (!_reqBusy[i])
                        StartWorking(i);
            }
        }
    }

    /// <summary>
    /// the class of weibo data  you can add more field for get more detail in codes
    /// </summary>
    public class WB_Feed
    {
        public WB_Feed(string img)
        {
            imgSrc = img;
        }
        public string imgSrc { get; set; }

    }
    
}