前言
“十四五”国家信息化规划,明确推进智慧水利建设。需要不断完善江流湖泊监测体系,加速水文、水资源等重要水利数据有序共享,以及水情测报和智能调度能力。人大金仓作为数据库领域的国家队,积极参与智慧水利相关信息化项目建设。协助某省水利厅做好信息共享和联合会商工作,将预警信息直达基层、直达一线、直达工程管理单位,第一时间向社会发布,有效提升了水利厅精准支撑防汛指挥调度能力。
01项目需求
本次项目建设,需要将某省全省水文、气象、山洪等不同来源的数据,实时汇聚至金仓数据库KingbaseES,为省防汛抗旱系统提供数据支撑。由于此类信息平台承载的数据直接影响省内防汛、抗旱工作的正常开展,因此保证该平台数据安全性和服务的连续性至关重要。在项目平台建设中,存在的主要需求如下:
需求1:打破数据孤岛,全省水文、气象、山洪等数据物理分散,需要实时汇聚水文、气象、山洪等不同系统数据。
需求2:异构数据兼容同步,项目中使用的数据库包括KingbaseES、SQLServer等异构数据源,对于数据同步工具如何实现异构数据的在线同步、时效性和一致性能力存在较高要求。
需求3:确保平台数据安全性和服务连续性,此类信息平台承载的数据直接影响省内防汛、抗旱工作的正常开展,因此保证该平台数据安全性和服务的连续性至关重要。
02金仓方案
项目实施过程中,人大金仓提供了核心数据库产品KingbaseES,以先进的数据库技术实力确保平台数据安全性和服务连续性,保障系统安全、稳定、高效运行。同时,还提供了金仓异构数据同步软件Kingbase FlySync(简称“KFS”),从打破数据孤岛、异构数据兼容同步、一站式全量数据和增量数据在线同步、数据时效性和一致性、同步容错以及运维保障服务六个方面提供一体化解决方案,实现了异构数据平台间数据实时、增量同步,帮助用户打破数据孤岛,确保了防汛抗旱平台数据的实时性及一致性。
金仓部署架构图
1.确保平台数据安全性和服务连续性
安全性方面,KingbaseES数据库提供多种安全防护手段,如身份鉴别、强制访问控制、用户数据保护、数据隔离等数据安全措施,满足公安部安全数据库四级要求,有力保障用户数据安全。
服务连续性方面,KingbaseES数据库提供基于物理流复制技术的高可用集群方案。通过物理日志流复制技术,主节点与备节点间保证数据实时一致,可以应对本地多种故障场景,例如:断电、断网、存储故障、服务器故障等,可实现RTO秒级,RPO=0。本次项目采用主备集群高可用部署架构,提供数据实时一致性,保障服务连续性的同时,也保证了数据的可靠性灾备。并且通过压力测试,实现对业务系统的健壮性验证,满足了客户高并发应用场景下,系统快速响应时间的需求。
2.打破数据孤岛
KFS能够在异构数据平台间实现实时、增量数据同步,帮助用户解决不同数据平台的数据间任意方向实时移动流转的问题。KFS可以将数据从源端数据库中进行采集,随后依次完成解析、转换、过滤、封装等操作,最终在目的端数据库中应用所有数据,以完成两者的状态同步。本项目中KFS连通了SQLServer与KingbaseES间的数据交互,实时了汇聚水文、气象、山洪等不同系统数据,打破了数据孤岛。
3.异构数据库兼容同步保障
KFS支持多种数据源间的同构或异构数据同步,实现不同结构的数据平台的连接,完成数据互通。
4.一站式全量数据和增量数据在线同步
KFS不需要通过任何数据库的引擎来获取变更数据,在部署、全量数据搬迁、增量数据同步全程无需中断业务,做到一站式全量数据和增量数据在线同步。
5.数据时效性和一致性保证
KFS通过解析SQLServer物理日志获取增量数据,采用流水线式的传输作业机制,以及多线程并行加载能力,实现了高速日志解析能力,在日志分析、数据复制过程中都采用多线程并行操作,保证整个同步的时效性;同时,KFS提供数据一致性比对的能力,能够对已经完成同步的数据进行源端和目的端间的数据比对,对于已经比对出的差异,可以根据规则设置,通过手动或是自动方式,完成对差异数据的修正,从而保证两级数据一致性。
6.同步容错,故障自动恢复
任何故障下,KFS支持断点续传,保证数据不丢。外部环境出现故障并恢复后,KFS可自动重启或重连,不需要人工干预。
7.运维保障,7*24小时原厂本地化服务
项目实施过程中,金仓提供本地化的实施运维服务,在应急保障环节,提供7*24专家级响应、1小时到场服务,确保系统稳定运行。
03实施价值
此次项目中,金仓数据库KingbaseES为用户系统提供了高效数据存储、计算以及数据安全保障。金仓数据同步工具KFS配合用户完成了水文、气象、山洪等6100个传感器数据的异构同步工作,保障了每日100万条数据的实时入库,实现了异构数据平台间数据实时、增量同步,帮助用户打破数据孤岛,确保了防汛抗旱平台数据的实时性及一致性,为某省防汛抗旱工作贡献了一份力量。
04总结展望
今年水利部印发的《“十四五”水利科技创新规划》已明确指出,到“十四五”末科技自立自强将成为水利高质量发展的战略支撑。人大金仓作为国内数据库领域专业厂商,一直围绕提升自主创新、技术服务和生态融合能力,多年以来坚持自主研发,数据库产品具有自主知识产权,可以从底层保证客户系统的安全性。同时,人大金仓聚合众多生态伙伴,共同营造更加健康、可持续发展的产业链生态环境。未来,人大金仓将充分发挥自身科技创新的引领和支撑作用,继续为用户提供优质的数据库产品与服务,助力水利科技创新发展!