為落實推進“數字政府”改革建設工作,廣東省東莞市政務服務數據管理局于2020年5月下發《關于配合開展政務數據匯聚及治理的函》,并指出,東莞市下屬各部門應配合市政務數據大腦數據服務團隊開展數據摸查,數據匯聚和治理等相關工作。組織建立實時業務備庫,同時供市政務數據大腦采集數據,夯實數據匯聚和共享應用基礎是東莞市政務云國產化擴容項目建設目標之一。

　　在本案例涉及項目建設中,人大金倉通過在數據大腦健康云中提供在線業務備庫及實時備份方案的落地支撐,在總體日增量700+GB的負載壓力下,完成了客戶5個獨立單位多種異構數據源的數據實時同步工作。

　　項目背景

　　客戶需要將包括衛生健康局的人力資源系統、醫療機構藥事管理系統,醫療救護120指揮中心的120調度指揮系統,疾病預防控制中心的疫苗冷鏈監測報警系統,市屬公立醫院管理中心的市屬公立醫院資產處置系統、市屬公立醫院經濟監管平臺系統、市屬公立醫院綜合運營管理系統及市中心血站的現代血站管理系統等在內的各單位業務系統數據匯聚到數據大腦健康云。

　　項目涉及的東莞市衛健委5個單位10個業務系統,其中部分系統業務負荷壓力較大,并發高,數據量大,對數據同步的連續性、穩定性及時效性要求較高。

　　客戶痛點

　　網絡不通,系統分散:衛健委5個單位信息化建設各自獨立,網絡隔離,系統分散,無法為衛健中心的整體數據分析提供數據基礎。

　　異構數據源眾多:本項目計劃對接同步10大業務系統,將各系統數據在運行在健康云中的KES數據庫進行實時同步,各系統底層采用包括Oracle、SQLServer、MySQL等各類異構數據庫。同步軟件及方案也需具備完善的異構數據解析轉換能力,目標端KES數據庫也需要提供各異構數據庫的數據兼容性支撐。

　　數據規模、性能及穩定性考驗:需同步的各業務系統已積累了大量數據,總體存量數據超5TB,增量數據每天700+GB規模;在保證7*24小時穩定運行的同時,同步數據延遲要求不超1秒。

　　金倉方案

　　人大金倉采用異構數據同步軟件KFS,針對上述需求痛點,提供兼容多源異構數據庫平臺、面向海量數據(603138,股吧)可7*24小時穩定高效支撐的解決方案。

　　已上線系統拓撲示意圖

　　異構數據平臺兼容及準確性保障

　　KFS可以實現不同結構的數據平臺的連接,實現數據的互通。項目涉及Oracle、SQLServer及MySQL等異構數據庫的數據同步。KFS采用基于日志解析的邏輯同步技術,在同步作業中提供異構數據庫與KES之間從數據類型到SQL語句的兼容性配置,保障異構庫間數據同步的正確性。

　　性能及穩定性保障

　　為最大程度保證源端業務的性能及穩定性,KFS所有源端同步節點均采用分離部署架構。針對小機+Windows+Oracle RAC的源端數據庫系統架構組合,KFS提供基于離線Redo日志解析技術的性能優化方案,最大程度滿足客戶性能需求。

　　對于多系統多庫表同步場景需求,采用KFS的多路并行執行方式以提高初始遷移及實時同步的吞吐量,保證高并發業務情況下數據同步延遲保持在亞秒級水平。

　　實施成果

　　本期項目完成了東莞市5個單位10個系統(已正式上線9個)的健康云上實時業務備庫數據同步建設,KFS累計部署達20節點;

　　完成了Oracle(單機及RAC)、SQLServer及MySQL等多種異構數據源的對接;

　　累計完成10000+表對象及近5TB數據遷移;

　　在單系統最大日均同步增量數據200+ GB,總體日均增量700+ GB情況下,通過架構、系統及產品的多層優化,保證源端高負載情況下,數據同步延遲在1秒以內。

　　結語

　　面對高負載、海量數據、多源異構的多業務系統實時同步場景,人大金倉憑借KFS靈活的架構方式、多類型異構數據庫日志解析技術支持及深度的性能優化手段,以及目標端KES數據庫優秀的各異構數據庫兼容能力,成功為東莞衛健委多系統提供了數據高可靠性保障,同時為衛健中心的整體數據分析提供了互聯互通的數據基礎,也為本項目后續系統同步建設及其他類似項目建設需求提供了標準的落地方案和良好的示范。