职场文秘网

首页 > 心得体会 > 学习材料 / 正文

面向分布式数据的跨系统数据同步中台构建方法

2023-03-12 08:00:14

甘 杉,余 芸,萧展辉

(南方电网数字电网研究院有限公司,广东广州 510000)

中台是指为应对数据快速变化而搭建的互联网架构,既能实现前端主机所提出的处理需求,也能避免重复建设行为的出现,从而达到提高系统工作效率的目的。前台也叫系统的前端平台,是与终端用户进行信息直接交互的应用层结构;
后台则是指系统的后端平台,一般情况下,前端用户感知不到该结构的存在的;
中台是以“前台+后台”架构为基础搭建的应用结构,可根据用户需求的变化情况,更改与后端迭代用户相关的信息响应速率,一方面为用户主体提供稳定的连接服务,另一方面也可实现对后端存储数据的高效管理[1-2]。

在跨区域传输环境中,由于信息节点散乱分布等原因,极易导致信息“碎片化问题”的出现。为解决此问题,传统方法借助IT 平台实现MyCAT 分表配置,统计数据信息的现有传输能力,再通过多级表单对信息参量进行按需存储,从而最大程度上将碎片信息整合成完整的块状传输结构。然而该方法在单位时间内所能承载的跨区域传输文件量相对有限,并不能实现对信息碎片化行为的有效抑制。基于此,提出面向分布式数据的跨系统数据同步中台构建方法,在分布式数据库的基础上,建立完整的同步服务架构,再通过分离输入信息的方式,总结中台运作机制的实际应用能力。

1.1 分布式数据库

分布式数据库作为跨系统数据同步中台体系的基础应用框架,由服务层、计算层、存储层三部分结构共同组成。其中,服务层以SQL多模引擎作为核心搭建结构,可同时负载数据信息量的调度、查询与管理需求,并可以原数据的形式,将待传输的跨区域信息参量分配至相关主机元件之中。计算层结构负责生成与分布式数据相关的计算实例文件,并可按照跨区域传输需求,对已存储的数据信息参量进行整合,从而实现对同步中台体系稳定性水平的大幅提升[3-4]。存储层结构存在于分布式数据库最底层,可在中台体系的作用下,维持跨系统转存主机的应用能力,从而建立能够满足执行需求的、稳定的分布式框架体系结构。分布式数据库结构示意图如图1 所示。

图1 分布式数据库结构示意图

1.2 数据分片

数据分片是一种新型的分表类数据库结构体,也是跨系统数据同步中台的关键执行结构。对于分布式数据信息而言,随着信息传输规模的不断扩大,网络环境中生成的分片结构体数量也会逐渐增多。一般情况下,数据分片的设置必须同时满足信息分布均衡、分布规模跨度小、信息传输延展性强三个要求,且由于跨系统数据同步性等级的不断提升,分片结构体之间的联系紧密程度也会逐渐增强[5-6]。设Eˉ代表分布式数据信息的传输延展系数均值,代表跨系统数据的分布规模特征值,p代表信息分布的均衡特性条件,联立上述物理量,可将跨系统数据同步中台的数据分片结果表示为:

式中,χ代表跨系统数据的分布式传输系数,代表跨系统数据的同步调度权限量。

1.3 输入信息分离

输入信息分离是跨系统数据同步中台构建过程中的关键处理环节,可在已知分布式数据传输目的地的基础上,对数据信息参量所处的实时环境进行准确记录,从而将数据信息节点最大化聚合起来,避免信息碎片化行为的出现。从宏观角度来看,输入信息分离处理的执行步骤相对较为复杂,需要同时考虑跨系统数据传输量、数据信息同步传输时间两项物理量[7-8]。跨系统数据传输量可表示为I,若以分布式传输作为参考条件,则可认为该项物理量的数值水平越高,输入信息的实际分离结果越明显。数据信息同步传输时间可表示为T,一般来说,该项物理量的取值结果应尽可能地小,也只有这样才能实现对数据文件跨区域传输速率的不断促进。在上述物理量的支持下,联立式(1),可将输入信息分离结果表示为:

式中,α代表跨系统数据的分离系数指标,w1、w2代表两个不同的分布式数据同步传输系数值。

在分布式数据的跨系统传输环境中,按照同步服务架构搭建、传输用例关系研究、中台运作机制完善的处理流程,完成跨系统数据同步中台的应用需求分析。

2.1 同步服务架构

跨系统数据的同步服务架构分为下载服务、解析服务两个执行体系。其中,下载服务体系可接收APK结构中暂存的分布式数据信息,并可在符合数据校验需求的前提下,借助FileUtils 模块,将数据信息参量排列成全新的传输格式,在该过程中存在一定的处理失败率,因此服务体系具备自发失败并重试的能力。解析服务体系以ApkUtil 结构作为建设主体,可借助aapt 传输平台,对跨系统数据进行同步整合,再将最终获得的分布式数据包存储于ApkInfo 结构之中,以供其他中台应用主机的直接调取与应用[9-10]。跨系统数据同步服务架构示意图如图2 所示。

图2 跨系统数据同步服务架构示意图

2.2 传输用例关系

跨系统数据同步中台的传输用例关系涉及APK解析、遍历测试、数据监控、报告生成四方面内容。

APK 解析行为生成于跨系统数据传输的起始阶段,可在同步服务架构的作用下,打散分布式数据间的存储与连接关系,从而使得ApkInfo 结构的存储压力得到有效缓解,实现对跨系统数据的按需整合[11-12]。

遍历测试行为直接作用于待传输的分布式数据信息参量,可按照跨系统同步中台的应用需求对相关信息文件进行二次整合,进而拉近跨系统节点之间的实时传输关系。

数据监控行为对于分布式数据信息起到较强的约束作用,可根据相邻系统之间的跨平台传输距离确定中台主机所处的实时位置,从而实现对数据传输同步性的有效保障[13-14]。

报告生成行为决定了跨系统数据同步中台的信息传输广度条件,一般来说,待处理的分布式数据越多,传输报告的生产速度也就越快,与之相关的同步中台应用稳定性也就越强。

2.3 中台运作机制

中台运作机制是确保跨系统数据同步中台构建的基础应用条件,可在初期传输阶段,将数据信息参量划分成多个模块结构,其中,一部分直接反馈至分布式信息处理主机中,另一部分则用于抵消由传输用例关系带来的抑制性干扰的影响[15-16]。规定同步中台主机在单位时间内所能承载的最大跨系统数据量只能达到ΔC,在平台体系构建权重保持为ξ的情况下,联立公式(2),可将中台运作机制的基础应用条件表示为:

式中,k为数据信息参量的分布式划分系数,f为跨系统数据的用例传输系数值。在实际应用过程中,中台运作机制的稳定性越强,分布式数据在跨区域环境中的传输速率也就越快,因此在确保数据信息间传输用例关系不发生改变的情况下,应尽可能增大中台运作机制基础应用条件的实际计算数值。至此,完成各级指标系数的计算与处理,在分布式传输环境下,实现跨系统数据同步中台构建方法的顺利应用。

利用Linux 虚拟主机截取实验所需的数据信息资源,分别从时间与传输能力两个方向对数据信息的应用能力进行考量,一般情况下,数据信息资源的传输最大值只能达到12 G。数据信息获取示意图如图3 所示。

图3 数据信息获取示意图

为保证数据文件的跨区域稳定传输,将顶层主机IP 设置为175.149.41.100、中层主机IP 设置为172.31.255.255、底层主机IP 设置为127.255.255.254,且在实验过程中,所有应用主机的IP 地址参量都不能被改变。

该实验分两部分进行,首先在Linux 虚拟主机中输入面向分布式数据的跨系统数据同步中台构建方法的软件执行程序,将所获得的数据信息作为实验组数据资源;
其次在Linux 虚拟主机中输入MyCAT分表方法的软件执行程序,将所获得的数据信息作为对照组数据资源;
最后将实验组、对照组指标参量进行对比。

单位时间内跨区域传输的数据文件数量能够反映碎片信息的出现几率,且前者始终对后者起到反向影响作用,即单位时间内跨区域传输的数据文件数量越多,碎片信息的出现几率也就越低,反之则越高。

具体实验结果如图4-5 所示。

图4 数据文件传输量(单流量)

分析图4 可知,在单流量情况下,实验组、对照组数据文件的传输量水平始终相对较低,但在整个实验过程中,该数值始终保持连续上升的数值变化趋势,且实验组上升幅度明显高于对照组。

分析图5 可知,在多流量情况下,实验组、对照组的数据文件传输量水平与单流量情况保持一致。在第3 与第4 组别之间,实验组的数值上升幅度最小,但对照组的数值上升幅度在整个实验过程中并未发生明显变化。

图5 数据文件传输量(多流量)

综上可知,面向分布式数据的跨系统数据同步中台构建方法主要具备以下两项应用优势:

1)在单流量、多流量传输情况下,随着该方法的应用,数据文件传输量水平均出现明显上升的变化趋势;

2)单位时间内跨区域传输数据文件数量值的增大,能够较好地抑制碎片信息的出现,符合跨区域稳定传输数据文件的实际应用需求。

针对分布式数据来讲,跨系统数据同步中台构建方法从分布式数据库的角度着手,通过数据分片处理的方式,对已输出信息进行有效地分离,再根据同步服务架构的连接形式,确定具体的传输用例关系,从而较好地完善中台运作机制。实验结果显示,应用跨系统数据同步中台构建方法后,无论是单流量还是多流量环境,数据文件的传输量水平均出现了一定程度的提升,不但防止了信息“碎片化问题”的出现,也实现了对数据文件的稳定跨区域传输,在实际应用过程中,具备较强的促进性作用。

猜你喜欢 中台用例参量 UML用例间包含关系与泛化关系的比较与分析科学与信息化(2021年15期)2021-12-30UML用例模型中依赖关系的比较与分析科学与信息化(2021年12期)2021-12-27——媒体中台建设的特点和误区">中台是媒体转型必经之路吗?
——媒体中台建设的特点和误区视听界(2021年2期)2021-11-27关于零售企业“中台”建设的研究全国流通经济(2020年20期)2020-09-17太阳黑子自动识别与特征参量自动提取空间科学学报(2020年3期)2020-07-24汽车制造企业质量中台研究科技创新与应用(2020年3期)2020-02-04含参量瑕积分的相关性质现代职业教育·高职高专(2020年10期)2020-01-05基于含时分步积分算法反演单体MgO:APLN多光参量振荡能量场*物理学报(2019年24期)2019-12-24以技术开发中心为中台,数字化转型之见解科技创新与应用(2019年36期)2019-12-23基于双偏振雷达参量的层状云零度层亮带识别研究成都信息工程大学学报(2019年4期)2019-11-04

Tags: 分布式   构建   面向  

搜索
网站分类
标签列表