[发明专利]一种xml文件批量自动统计数据的方法

说明书

本发明公开了一种xml文件批量自动统计数据的方法,包括以下步骤：步骤S101：规范xml文件的命名和目录的放置；步骤S102：将所述xml文件批量导入数据库，根据所述XML的文件名称分类，创建对应的数据表；步骤S103：执行python导入程序，批量自动把所述xml文件导入数据库对应的表。本发明提供的xml文件批量自动统计数据的方法，每个步骤都按不同时间通过程序脚本自动化操作，减少了人为操作和统计时间，大大提高工作效率。

技术领域

本发明涉及一种统计数据的方法，尤其涉及一种xml文件批量自动统计数据的方法。

背景技术

xml是一种标记数据、定义数据类型，允许用户对自己的标记语言进行定义的源语言,适合互联网的传输。在大数据传输与保存处理，传输的xml文件个数都是成千上万，数据量可达到单个文件上GB级别。管理员时常会对xml文件进行读取与稽查统计，再写出报告结果来得出业务运营问题。通常会用以下两个办法:

(1)人工方式来读取和分析，把单个xml文件转成电子表格，再通过电子表格的函数来时行分析。

(2)通过传统程序来解决，先把XML数据导到内存中，然后再统计、导出统计结果，再继续读取下一个xml分析，直到处理完所有的xml文件。

现有的大规模的xml数据文件传统处理方式会存在以下缺点：

(1)效率低下：首先是人工通过转换xml格式，遇到数据量多的，转换过成时间久且会出错。如果遇到成百上千个xml文件，那将会消耗大量的时间来统计，浪费人力成本。

(2)通过传统程序来处理方式，适用于少量的xml文件，随着数据增多，处理需要花费大量的时间。

(3)需要人为操作：从xml文件的传输到整理到执行程序到结束导入电子表格，都需要人工操作，对操作人员技术要求高。

(4)消耗计算机性能：由于程序读取xml需要保存在内存，而且读取过程需要消耗大量的IO，当数据量一多，计算机的性能将到瓶颈。

(5)长时间读取失败导致回退：如果在读取xml文件时，读取失败导致程序中断，会导致之前保存到内存的数据失效，重启读取也将花费大量时间。

(6)扩容性不足：如果需要统计的规模变大，新增多个xml文件，就需要改动源代码，扩容方案也会更加困难。

因此，有必要提供一种xml文件批量自动统计数据的方法，可以提升大量xml文件处理数据的效率。

发明内容

本发明所要解决的技术问题是提供一种xml文件批量自动统计数据的方法，每个步骤都按不同时间通过程序脚本自动化操作，减少了人为操作和统计时间，大大提高工作效率。

本发明为解决上述技术问题而采用的技术方案是提供一种xml文件批量自动统计数据的方法，包括以下步骤：

步骤S101：规范xml文件的命名和目录的放置；

步骤S102：将所述xml文件批量导入数据库，根据所述XML的文件名称分类，创建对应的数据表；

步骤S103：执行python导入程序，批量自动把所述xml文件导入数据库对应的表。

优选地，在所述步骤S103之后还包括步骤S104：按要求统计所述导入数据库的xml文件，生成统计结果后导出电子表格，进行归档保存。

优选地，在所述步骤S101之前还包括建立负责统计的服务器和xml生成文件服务器之间的信任关系，将所述负责统计的服务器和所述xml生成文件服务器的帐号和密码写到脚本中的变量。