亿级数据迁移方案和优化点
2024年9月13日小于 1 分钟
亿级数据迁移方案和优化点
异构库的不停机迁移方案
大型电商网站,用户对店铺的关注体系数据
单项数据差不多有 8 亿多条
- 编写双写代码
凡是不停机迁移,一定要做双写
为什么要双写?
在迁移过程中,会有源源不断的新数据产生
并且在整个读写逻辑迁移到新系统情况下,如果不双写的话,一旦某个用户已经迁移完毕了,后期这个用户又读写了,那么在新系统就会丢失数据
在写新系统前,需要判断用户是否已经迁移完毕了
如果迁移完毕了,再进行双写
- 编写路由代码
动态的去控制整个读写流程
到底是读新系统还是老系统
一般是配置在配置中心,阿波罗?Nacos?
- 编写迁移代码
整套系统,有