今天遇到两个问题,具体如下:
1.接口被刷数据导致上报异常。
2.数据下载时写文件载入内存过多导致系统宕机
对1 上报数据前进行清洗过滤,根本原因在于上报前没有做验证码过滤,需要考虑广告主那边
对2 主要问题是下载的错误数据;简单处理可禁止下载超过一定量的数据,正常专题数据在10w 以内;
复杂处理,允许导出百万数据: https://www.cnblogs.com/wangjianguang/p/7112391.html
考虑问题时候要换个角度