zoukankan      html  css  js  c++  java
  • 定时抓取数据并存入数据库

    其实,这部分主要是实现定时抓取数据的程序,数据的抓取以及存储程序已写(从Tushare获取历史行情数据
    抓取交易日(周一到周五)数据,定时为每天的15:30抓取,其中主要使用到了schedule模块用于定时执行任务
    代码如下:

    import schedule
    import time
    from datetime import datetime
    from daily_crawler import DailyCrawler
    
    def crawl_daily():
        """
        每日定时抓取
        """
        #初始化抓取日线数据类
        dc = DailyCrawler()
        #获取当前时间
        now_date = datetime.now()
        #获取今天星期几,周日-周六 0-6
        weekday = int(now_date.strftime("%w"))
        #只有周一到周五执行
        if 0 < weekday<6:
            #当前日期
            now = now_date.strftime('%Y-%m-%d')
            #抓取当日指数
            dc.crawl_index(begin_date=now,end_date=now)
            #抓取当日k线数据
            dc.crawl(begin_date=now,end_date=now)
    
    #定时任务的启动入口
    if __name__ == "__main__":
        #设定每天15:30执行任务
        schedule.every().day.at("15:30").do(crawl_daily)
        #通过无线循环,执行任务检查
        while True:
            #每10s检测一次
            schedule.run_pending()
            time.sleep(10)
    
    
  • 相关阅读:
    ac与ap同步分析
    ipsec原理(转载)
    Sublime Text自定制代码片段(Code Snippets)
    IPsec分析/测试/
    jQuery 学习
    windows pip 安装 转载
    转载 pep8安装
    转载别人的ftp,觉得目录结构不错,学习
    博客园 CSS 代码定制
    AC自动机
  • 原文地址:https://www.cnblogs.com/whiteBear/p/12810841.html
Copyright © 2011-2022 走看看