[发明专利]一种基于历史分析的无人智能驱动的数据文件生成方法

说明书

本发明涉及一种基于历史分析的无人智能驱动的数据文件生成方法，步骤如下：1）使用同构数据生成模拟器生成模拟数据；2）使用XML文件生成器抽取模拟数据，生成XML文件；3）在知识分析数据库中记录抽取模拟数据、生成每个XML文件的生成效率参数；4）将各个数量级数据生成XML文件执行时间最短的生成效率参数作为执行标准，基于执行标准进行实际环境数据抽取并生成XML文件。通过使用同构数据生成模拟器生成模拟数据，使用XML文件生成器进行真实环境数据抽取模拟，然后记录整个过程的执行结果，初步建立知识库，以效率最高的模型为参考标准，初步实现数据抽取的高效率；并使用数据分析挖掘技术，不断完善知识库，逐步提高数据抽取的效率。

技术领域

本发明涉及一种数据抽取方法，更具体地说，涉及一种基于历史分析的无人智能驱动的数据文件生成方法。

背景技术

一般的数据抽取的方式主要分为两种：一种是将需要的数据从数据库中提取然后通过二进制数据流进行传输然后存储到其他数据库中。另一种是从数据库中提取需要的数据存储以文本文件的形式存储到硬盘上。

对于从数据库中提取需要的数据存储以文本文件的形式存储到硬盘上这种方法，其在技术上存在一个缺点：当数据库中有一张数据表A该表每天都海量的新数据写入，并且数量级不等。如果要将增量的数据同时写入到同一个文本文件对象中，那么这个文本文件对象的所占用的存储空间就会变得很庞大，对文件的存储效率和文件传输效率都存在一个制约性，对数据抽取的效率产生了瓶颈。

发明内容

本发明的目的在于克服现有技术的不足，提供一种在海量新数据写入数据库的情况下，能够提升海量数据抽取并存储为XML格式文件的效率的基于历史分析的无人智能驱动的数据文件生成方法。

本发明的技术方案如下：

一种基于历史分析的无人智能驱动的数据文件生成方法，步骤如下：

1）使用同构数据生成模拟器生成模拟数据；

2）使用XML文件生成器抽取模拟数据，生成XML文件；

3）在知识分析数据库中记录抽取模拟数据、生成每个XML文件的生成效率参数；

4）将各个数量级数据生成XML文件执行时间最短的生成效率参数作为执行标准，基于执行标准进行实际环境数据抽取并生成XML文件。

作为优选，步骤4）进一步地，将实际环境数据抽取、生成XML文件的生成效率参数进行存储积累，等待下一次判断各个数量级数据生成XML文件执行时间最短的生成效率参数，确定新的执行标准。

作为优选，步骤1）的步骤如下：

1.1）新增数据源：在模拟数据库中模拟业务数据库生成数据源；

1.2）新增同构数据表：在步骤1.1）中新增的数据源下选择要同构的数据表，并进行同构操作，同构数据表下为新增的数据项信息；

1.3）生成模拟数据：选择同构数据表下要生成的数据记录数，生成模拟数据操作。

作为优选，步骤2）的步骤如下：

2.1）连接同构数据生成模拟器新增的数据源；

2.2）选择需要生成的数据源、数据表，输入抽取的数据总条数、数据文件分页数，生成XML文件。

作为优选，数据总条数和/或数据分页数配置成为循环递增模式，其中，数据分页数的递增循环包含在数据总条数的递增循环内。

作为优选，步骤3）所述的生成效率参数包括：

生成时耗，即从模拟数据库中抽取的模拟数据开始到XML文件生成消耗的时间；

生成总开始时间，即当前次当前数据表抽取数据开始时间；