zoukankan      html  css  js  c++  java
  • 经验总结21--抓取WEB数据,汇率,HtmlAgilityPack

    网上找了非常多资料,PHP的比較多,然后找到有csv文件的。处理起来非常麻烦,国外的站点速度非常慢。

    最后还是去页面上抓取数据,我是从中国银行抓取的,各位可去其它站点抓取。

    1、模拟请求URL。

    string url = "http://srh.bankofchina.com/search/whpj/search.jsp?

    pjname=1316";

    HttpWebRequest request = WebRequest.Create(url) as HttpWebRequest;
                    request.Method = "GET";
                    request.ContentType = "text/html; charset=UTF-8";
                    request.UserAgent = "Mozilla/5.0 (Windows NT 6.1; WOW64; rv:30.0) Gecko/20100101 Firefox/30.0";
                    HttpWebResponse response = request.GetResponse() as HttpWebResponse;
                    Stream myResponseStream = response.GetResponseStream();
                    StreamReader myStreamReader = new StreamReader(myResponseStream, Encoding.UTF8);
                    string result = myStreamReader.ReadToEnd();

    2、对HTML进行处理。

    使用HtmlAgilityPack进行辅助。

    HtmlDocument doc = new HtmlDocument();
                    doc.LoadHtml(result);
                    foreach (HtmlNode node in doc.DocumentNode.SelectNodes("//td"))
                    {
                        if (node.InnerText == "美元")
                        {
                            result = node.NextSibling.NextSibling.InnerText;
                            break;
                        }
                    }

    具体数据位置。自己可先用F12查找到。然后使用工具进行查找,具体文档自己去查,这种方法临时获取到USD-CNY的汇率。


  • 相关阅读:
    Java 21-Spring知识
    Java18-黑马旅游网学习制作
    Java17-Filter&Listener&Json&redis&maven
    python发邮件
    一元模型拟合(OLS和插值np拟合)
    一元模型拟合
    2.13 描述性统计(平均数,中位数,中数,数据的离散度(极差,平均绝对偏差,方差标准差))
    tushare 股票数据获取,收益率计算,直方图绘制
    主板指数数据的爬取(selenium处理JS)
    网页整页截图小工具
  • 原文地址:https://www.cnblogs.com/gavanwanggw/p/6906861.html
Copyright © 2011-2022 走看看