zoukankan      html  css  js  c++  java
  • 我的go练手项目--使用go获取东方财富网站基金净值数据

    代码我放在https://github.com/kingstarer/kingstarer/tree/master/go/getFundValue

    这里简单介绍一下思路和关键代码

    浏览东财网站时,按f12,可以发现东财使用的是前后端分离技术:用户访问网页时,只下载基本的网页数据,通过ajax技术在网页加载完后使用js异步获取基金净值数据

    净值数据是json串,所以我们只需要使用net/http提供的http客户端发起请求并使用encoding/json对json做解析即可

    稍微需要注意的是,东方限制了浏览器类型,并且有防盗链机制,所以记得设置好http请求头的信息。

    (各位如果也想从东财抓数据,请注意程序访问频率,免得给人家服务器造成太大压力,别上演“公地悲剧”)

    //用来存储从东方财富获取的基金数据
    var FundInfoObject JsonFundList
    
    func GetFundValue(fundCode, startDate, endDate string) (err error) {
    	if len(startDate) != 8 || len(endDate) != 8 {
    		return errors.New(fmt.Sprintf("开始结束日期必须是yyyymmdd格式"))
    	}
    
    	//拼装请求网址
    	realStartDate := fmt.Sprintf("%s-%s-%s", startDate[0 : 4], startDate[4 : 6], startDate[6 : 8])
    	realEndDate := fmt.Sprintf("%s-%s-%s", endDate[0 : 4], endDate[4 : 6], endDate[6 : 8])
    	realUrl := fmt.Sprintf(FundConfig.URL, fundCode, realStartDate, realEndDate)
    
    	//准备发送请求
    	client := &http.Client{}
    	reqest, err := http.NewRequest("GET", realUrl, nil)
    	if err != nil {
    		return err
    	}
    
    	//必须设置好http头 不然返回会失败
    	reqest.Header.Add("Referer", "http://fundf10.eastmoney.com/")
    	reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")
    	//获取出返回的报文
    	fmt.Println("开始获取数据:", realUrl)
    	resp, err := client.Do(reqest)
    	defer resp.Body.Close()
    	body, err := ioutil.ReadAll(resp.Body)
    	if err != nil {
    		fmt.Println(err)
    	}
    
    	strBody, bodyLen := string(body), len(body)
    
    	//取出返回报文里面的Json
    	nJsonStartPos := strings.Index(strBody, FundConfig.JsonStartKey) + len(FundConfig.JsonStartKey)
    	nJsonEndPos := strings.LastIndex(strBody, FundConfig.JsonEndKey)
    
    	if nJsonStartPos >= bodyLen || nJsonEndPos <= 0 || nJsonStartPos >= nJsonEndPos {
    		return errors.New(fmt.Sprintf("返回报文中截取Json失败 起始位置%d %d", nJsonStartPos, nJsonEndPos))
    	}
    
    	//解析json
    	err = parseFundJson(body[nJsonStartPos : nJsonEndPos])
    	if err != nil {
    		return err
    	}
    
    	return nil
    }
    
  • 相关阅读:
    快速构建ceph可视化监控系统
    Codeforces Round #277.5 解题报告
    【MapReduce】经常使用计算模型具体解释
    Unity3D教程:静态调用C#的dll
    【Oracle错误集锦】:PLSQL无法直连64位Oracle11g数据库
    关于ios下字体描边的一个细节
    未来社交站点:15秒内让你闻名全球 虚拟现实与社交网络融合
    iOS多语言(国际化)开发(尾随系统 + APP内手动设置)
    Java String对象的经典问题
    jsp+tomcat+ 创建project 配置project
  • 原文地址:https://www.cnblogs.com/kingstarer/p/13379391.html
Copyright © 2011-2022 走看看