冷热分离
May 8, 2024About 1 min
冷热分离
随着财经支付业务的快速发展,考虑到未来订单量持续增长,在线存储遇到更大的挑战,需提前做好规划。目前财经支付主要业务都是使用 Mysql(InnoDB)作为数据存储,因历史订单信息访问频率低并占用了大量数据库存储空间,期望将历史数据跟生产最新交易数据进行分离,当前数据库保留最近一段时间的数据作为热库,历史交易存入另一个数据库压缩存储作为冷库(rocksdb),即数据库冷热分离。此举将会极大的节省数据库设备成本,减少因在线存储空间不足扩容导致停服不可用的时长,以下基于财经支付的统一交易系统现状做的相关案例分析仅供大家参考。
https://mp.weixin.qq.com/s/ZKRkZP6rLHuTE1wvnqmAPQ
TiDB 6.0 支持冷热分离,ssd,hsd
建立冷热索引库(可用固态硬盘存放热库数据,普通硬盘存放冷库数据),热库数据可以提前预热加载至内存,提高检索效率。
HBase 冷热分离,ssd hdd
HBase 是当下流行的一款海量数据存储的分布式数据库。往往海量数据存储会涉及到一个成本问题,如何降低成本。常见的方案就是通过冷热分离来治理数据。冷数据可以用更高的压缩比算法(ZSTD),更低副本数算法(Erasure Coding),更便宜存储设备(HDD,高密集型存储机型)。