基于上一篇的压缩算法对比分析报告,选择了LZ4算法的普通模式,其测试压缩率为28%,20G压缩时间为256s,估计1T的冷备时间为3.5h。
接下来,将23T的HBase历史数据进行了压缩冷备,压缩后大小为3.5T,冷备耗时311h。实际压缩率为15%,平均1T的冷备时间为13h,这与测试结论有出入,压缩率与文件内容相关,时间可能与存储账号、运行环境有关,具体原因待查。
以下是冷备总结报告。