[发明专利]用于多源试验数据引接处理方法

说明书

本发明提出了一种用于多源试验数据引接处理方法，包括如下步骤：进行数据引接、识别数据类型、调用对应类型数据的引接模、启动引接处理流程。本发明为源数据提供通过统一的接口，由适配器自动识别数据类型并调用相应的引接模型，建立了结构化、半结构化、非结构化、API接口以及实时报文数据的引接模型，满足试验数据采集、集成、存储需求。

技术领域

本发明属于试验数据管理技术领域，具体涉及一种用于多源试验数据引接处理方法。

背景技术

目前试验数据是及时、准确、真实记录装备试验、训练、研练、科研等重大活动的“第一手资料”，是装备鉴定定型方、论证研制方、使用改进方共同关注的高价值数据，是支撑装备建设发展的重要基础性战略资源，存在着巨大的待挖掘价值。

试验数据一部分来源于研制试验、验证试验、性能试验及仿真试验，还有一部分数据来源于方案设计阶段的《立项论证报告》、《研制总要求》及日常训练、演习演练和同类型装备数据。随着装备试验信息化水平的提高和各类测试技术的进步，试验过程中所采集的试验数据量不断增加，具有数据量大、多源异构、类型多样、实时处理要求高等数据特征。

由于观念、技术、体制等因素的制约，这些试验数据分散在研制工业部门、试验基地、海军部队等单位，长期处于分头管理、分散存储状态，这就需要建立一种试验数据采集引接方法，打通各装备试验相关单位间的数据渠道，提高试验数据建设效率，为各类试验数据资源的高效管理和分析应用提供支撑。

目前的数据引接技术，大都是针对结构化数据的引接，首先采集数据信息，然后传输至数据保存单元，经过规范化处理后进行入库归档，形成数据资源池。而试验数据不仅包括结构化数据，还包括非结构化数据、半结构化数据，非结构化数据、半结构化数据主要包括试验过程中产生的图像、数字、文字、视频、音频等类型数据，另外还包括接口数据、报文数据等特殊类型数据，其规模和复杂度都超越现有常规技术能够处理分析的范围。

发明内容

为了解决上述问题，本发明提供了一种用于多源试验数据引接处理方法，包括如下步骤：

进行数据引接；

识别数据类型；

调用对应类型数据的引接模型；

启动引接处理流程。

进一步的，所述引接处理流程包括：半结构化数据引接流程、结构化数据引接流程、非结构化数据引接流程、API接口数据引接流程和实时报文数据引接流程。

进一步的，所述半结构化数据引接流程包括如下步骤：

利用第一搜索引擎连接第一数据源库；

根据具体业务需求，从第一数据源库中获取集合清单；

将集合清单接引至第一本地数据库；

其中，所述第一搜索引擎以Python技术为基础集成MongoDB数据库操作组件后构建，所述第一数据库的半结构化数据以MongoDB数据库存储为主，所述第一本地数据库为MongoDB数据库。

进一步的，所述结构化数据引接流程包括如下步骤：

利用第二搜索引擎连接第二数据源库；

根据具体业务需求，从第二数据源库中获取数据表清单；

将数据表清单利用字段转换引擎接引至第二本地数据库；

其中，所述第二搜索引擎以Python技术为基础集成各类常规数据库操作组件后构建，所述第二数据库的结构化数据包括Oracle、Mysql、sqlserver、postgresql、国产数据库(达梦)等常规数据库，所述第二本地数据库为Mysql数据库。

进一步的，所述非结构化数据引接流程包括如下步骤：