zoukankan      html  css  js  c++  java
  • 我的go练手项目--使用go获取东方财富网站基金净值数据

    代码我放在https://github.com/kingstarer/kingstarer/tree/master/go/getFundValue

    这里简单介绍一下思路和关键代码

    浏览东财网站时,按f12,可以发现东财使用的是前后端分离技术:用户访问网页时,只下载基本的网页数据,通过ajax技术在网页加载完后使用js异步获取基金净值数据

    净值数据是json串,所以我们只需要使用net/http提供的http客户端发起请求并使用encoding/json对json做解析即可

    稍微需要注意的是,东方限制了浏览器类型,并且有防盗链机制,所以记得设置好http请求头的信息。

    (各位如果也想从东财抓数据,请注意程序访问频率,免得给人家服务器造成太大压力,别上演“公地悲剧”)

    //用来存储从东方财富获取的基金数据
    var FundInfoObject JsonFundList
    
    func GetFundValue(fundCode, startDate, endDate string) (err error) {
    	if len(startDate) != 8 || len(endDate) != 8 {
    		return errors.New(fmt.Sprintf("开始结束日期必须是yyyymmdd格式"))
    	}
    
    	//拼装请求网址
    	realStartDate := fmt.Sprintf("%s-%s-%s", startDate[0 : 4], startDate[4 : 6], startDate[6 : 8])
    	realEndDate := fmt.Sprintf("%s-%s-%s", endDate[0 : 4], endDate[4 : 6], endDate[6 : 8])
    	realUrl := fmt.Sprintf(FundConfig.URL, fundCode, realStartDate, realEndDate)
    
    	//准备发送请求
    	client := &http.Client{}
    	reqest, err := http.NewRequest("GET", realUrl, nil)
    	if err != nil {
    		return err
    	}
    
    	//必须设置好http头 不然返回会失败
    	reqest.Header.Add("Referer", "http://fundf10.eastmoney.com/")
    	reqest.Header.Add("User-Agent", "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/69.0.3497.100 Safari/537.36")
    	//获取出返回的报文
    	fmt.Println("开始获取数据:", realUrl)
    	resp, err := client.Do(reqest)
    	defer resp.Body.Close()
    	body, err := ioutil.ReadAll(resp.Body)
    	if err != nil {
    		fmt.Println(err)
    	}
    
    	strBody, bodyLen := string(body), len(body)
    
    	//取出返回报文里面的Json
    	nJsonStartPos := strings.Index(strBody, FundConfig.JsonStartKey) + len(FundConfig.JsonStartKey)
    	nJsonEndPos := strings.LastIndex(strBody, FundConfig.JsonEndKey)
    
    	if nJsonStartPos >= bodyLen || nJsonEndPos <= 0 || nJsonStartPos >= nJsonEndPos {
    		return errors.New(fmt.Sprintf("返回报文中截取Json失败 起始位置%d %d", nJsonStartPos, nJsonEndPos))
    	}
    
    	//解析json
    	err = parseFundJson(body[nJsonStartPos : nJsonEndPos])
    	if err != nil {
    		return err
    	}
    
    	return nil
    }
    
  • 相关阅读:
    每周总结8
    每周总结7
    每周总结6
    每周总结5
    每周总结4
    每周总结3
    每周总结2
    每周总结1
    Vue实例: 点击循环列表里的某行,改变该行的样式。默认第一行
    vue进阶面试题
  • 原文地址:https://www.cnblogs.com/kingstarer/p/13379391.html
Copyright © 2011-2022 走看看