zoukankan      html  css  js  c++  java
  • 玩世不恭----准备篇

    先介绍下自己,从事Net软件工程师8年有余,前面几年一直在ERP,金融软件等传统领域徘徊,直到一次偶然的机会接触创业,到一事无成,血本无归后,发现自己的思想还是跟不上这般聪明人的套路。然后就走上了移动互联网的不归路。

    废话不多说,接下来讲点重点,为什么叫玩世不恭,因为很多东西我都喜欢自己动手,这样就会发现一些很好玩的东西,今天以及下面讲的这一系列都是我最近完成的这个App的一些问题解决和有意思的趣事。

    我很早之前就接触磁力,磁力搜索等,发现很不方便,需要下载,才能播放,文件很大,下载很费劲,等我下载下来以后,我已经没有兴趣观看了,所以老歪脑筋想着,能不能自己做一款 磁力搜索,在线播放的软件,于是开始了资料收集。我开始找了很多磁力搜索的网站,

    比如:http://www.yunbosou.cc   http://www.btboot.com    https://cn.torrentkitty.tv/

    这中间就走了很多弯路,开始想着怎么把这些数据搞到手,后面想了想,玩互联网的人大部分不能这么搞,用得用共享的心态去做,然后我就用了HtmlAgilityPack 用来抓取,爬虫数据。每次用户搜索,我就从我的接口中去爬虫,不做数据库,完全爬虫这些网站的数据,根据Hash去重,然后接口反馈出来。这样一来,我这个App就完成了我认为比较重要的一步。数据已经有了。

    爬虫部分Demo代码:

      

    HtmlWeb webClient = new HtmlWeb();
    
      HtmlDocument doc = webClient.Load(dthyunbosouurl);
    
      var rootNode = doc.DocumentNode;
    
      HtmlNodeCollection categoryNodeList = rootNode.SelectNodes("//html[1]/body[1]/div[@id='wrapper']/div[@id='container']/div[@class='main']/ul[@class='mlist']/li");
    
          if (categoryNodeList != null)
    
                {
    
                    foreach (var item in categoryNodeList)
    
                    {
    
                        List<string> AHref = GetTagsValue(item.InnerHtml, "href");
    
                        if (AHref.Count > 0)
    
                        {
    
                            if (AHref[0].IndexOf("http:") <= -1)
    
                            {
    
                                AHref[0] = "http://www.yunbosou.cc/" + AHref[0];
    
                            }
    
                            GetChild(AHref[0]);
    
                        }
    
                    }
    
                }

    准备篇就讲那么多,其实,写起来貌似就那么几句话,前期准备的时候,各个网站去找资料,参考一下有没有同类的App,磁力解析怎么玩,怎么搜索,到整出磁力数据的由来,希望能有人支持我,把整款App的经历,全写出来。

    福利App QQ交流群:485247202

  • 相关阅读:
    VMware虚拟机安装详细教程
    NLP知识点汇总(一)
    自动下载网页上的zip文件并自动解压
    django教程
    redis实现缓存可能带来的问题及总结
    使用github--stanfordnlp--glove训练自己的数据词向量
    mount.nfs: Stale file handle的解决方法
    集智学院 “Deep X:Deep Learning with Deep Knowledge”的公开讲座---总结
    字符串匹配算法总结 (一对一匹配,多模式匹配)
    java sql语句 like%?%报错的问题
  • 原文地址:https://www.cnblogs.com/maxiaoming/p/7410530.html
Copyright © 2011-2022 走看看