需求背景

有A&B两个数据库,以A为主,B要同步A上的数据,同步涉及数据的增删改查,且要每天同步一次。条件限制是,只能调用中台提供的接口操作数据库,不能写SQL。

解决思路

由于只能通过中台调用接口操作数据库,所以解决方法被限制在后端代码层面。至于每天执行一次,使用SpringBoot的定时任务注解@Scheduled就可以了。

1、遍历遍历再遍历

对于增加和修改,将A库中所有的数据通过接口拿到一个List里面,遍历这个List,每一趟检查B库中是否存在主键对应的数据,如果存在,则将数据更新,如果不存在,则直接插入。
对于A库中删除的数据,需要反向遍历,即将B库的数据拿出来,将数据进行遍历对比,如果发现B库中有的数据而A库中没有,则删除B库中的数据。

2、B中数据全删了,把A中的数据写上

如题,通过中台拿到A中的数据,然后把B库清空,再写A库的数据。
逻辑十分简单

3、内存中对比变化,只把变化落盘到数据库

大致思路是通过数据中台拿到A库的List和B库的List,比对这两个List的差别,只把差别写到数据库。
将A库中的数据拿到newList中,B库中的数据拿到oldList中,对newList进行遍历,每次遍历都寻找oldList中是否存在与newList对应的数据(通过主键作为对应标识);如果存在,则判断两个对象是否相等(要重写equals()和hashcode()方法),相等则直接从两个队列中剔除这个数据,不相等则调用接口进行数据更新,更新完了之后将更新过的数据从两个List中剔除;这样遍历完了之后,newList中剩下的没被剔除的数据就是B库需要新增的数据,oldList中剩下的没被剔除的数据就是B库需要删除的数据,需要修改的数据在遍历过程中已完成修改。
这个方案的伪码如下:

//A库中的数据同步到B库伪码

//A库中的数据拿到newList中,B库中的数据拿到oldList
List<Data> newDataList;
List<Data> oldDataList;

//从数据库中取数据......

//开始遍历比对
for (Data newData : newDataList) {
	for (Data oldData : oldDataList) {
		//通过主键判断oldData与newData是否为同一条记录(对应)
		if (newData.getId().equals(oldData.getId())) {
			//主键对应上了,下面判断数据是否发生更改
			if (!newData.equals(oldData)) {
				//新旧数据不同,发生了更改,将更改落盘到数据库
				dataService.updateData(newData);
			} else {
				//新旧数据一致,说明没有发生更改,什么也不做
			}
			//新旧数据比对并操作后,将这两个数据从List中“移除”
			newData = null;
			oldData = null;
		}
		//两个数据主键没有对应上,说明不为同一条记录,继续遍历
	}
	//遍历完成之后,如果新数据在旧数据中有主键对应,则肯定会被置null
	//没被置null说明这条新数据是新增的,需要调用接口落盘
	if (newData != null) {
		dataService.insertData(newData);
	}
}

//遍历完新数据后,oldDataList中剩下的没被置null的都是需要删除的
for (Data oldData : oldDataList) {
	if (oldData != null) {
		dataService.deleteDataById(oldData.getId());
	}
}

//此时新旧数据库的内容就同步成一样的了
4、关于同步的建议

还是需要根据项目的需求来进行数据同步,比如有些场景对同步的速度没啥要求,再比如有些场景的数据量非常庞大,如果拿到内存中会oom。对于时间不敏感的同步,比如每天凌晨同步一次,则怎么稳定怎么来,逻辑怎么简单怎么来,哪怕要不停遍历,不要以为自己的逻辑想得太巧妙了,实际经常暗藏bug。

Logo

为开发者提供学习成长、分享交流、生态实践、资源工具等服务,帮助开发者快速成长。

更多推荐