zoukankan      html  css  js  c++  java
  • 读取大文件数据进入redis作为缓存

    之前在工作中需要用到将一个尾表放入redis中便于查询。但是该文件内容每天都会变化。所以得写定时器定时读取最新文件然后录入redis中。但是分析日志发现,每次执行该任务都要花费好几个小时,太慢了,作为一个程序员这怎么能接受,就想着给优化一下.

    首先想到的是多线程同时读这个文件,但是多线程读同一个文件感觉不好控制,就想着先把文件拆分成大小一样的小文件(分别给文件名后缀添加_1,_2...),然后每个线程读取各自的文件。通过对比之下时间,之前得四五个小时才能执行完的定时任务在一小时之内就完成了。后来一个同事看到我写的,说为什么不试试轮询队列呢。就是一个类读文件然后以统一格式写入queue中,另外一个类读取队列插入redis中。于是我直接在读取小文件线程又加入了队列,结果执行时间又减少了1/4.总体结果还是令人满意的.

    不过需要注意的queue的实现有好几种,区分线程安全的非线程安全的使用场景.

  • 相关阅读:
    实验
    概率与期望
    2020CSP-S模板
    洛谷:P2538 [SCOI2008]城堡
    洛谷P1731 生日蛋糕
    洛谷 P1180 石子合并
    洛谷 P2831 愤怒的小鸟
    浅谈状压DP
    浅谈线段树
    LCA-树链剖分
  • 原文地址:https://www.cnblogs.com/yimapingchuan/p/5235564.html
Copyright © 2011-2022 走看看