[发明专利]一种基于XBRL文件的数据挖掘方法

摘要

本发明公开了一种基于XBRL实例文件的数据挖掘方法，包括如下步骤：获取XBRL实例文件，将所述XBRL实例文件利用Hadoop平台HDFS文件系统进行存储；将所述Hadoop平台存储的所述XBRL实例文件进行分片处理，通过MapReduce技术将每个分片上是所述XBRL实例文件进行解析并生成相应的布尔矩阵；将所述布尔矩阵进行分块处理，通过迭代算法统计所有分块对应的布尔矩阵中不同元素的数量，根据数量获取所述XBRL实例文件的频繁项，获取所述频繁项对应的XBRL实例文件的数据。本发明通过Hadoop平台实现海量XBRL实例文件的存储，同时利用Hadoop平台中Map/Reduce函数的使用实现对XBRL实例文件的解析并生成相应的布尔矩阵后，再次利用Map/Reduce数据将布尔矩阵进行分块处理降低数据挖掘过程中的计算量，同时提高了计算速度。

主权项

1.一种基于XBRL实例文件的数据挖掘方法，其特征在于，包括如下步骤：获取XBRL实例文件，将所述XBRL实例文件利用Hadoop平台HDFS文件系统进行存储；将所述Hadoop平台存储的所述XBRL实例文件进行分片处理，通过MapReduce技术将每个分片上是所述XBRL实例文件进行解析并生成相应的布尔矩阵，解析后的所述XBRL实例文件包括财务数据；其中，所述布尔矩阵是对所述XBRL实例文件解析的财务数据进行离散算法处理生成的；所述离散算法方法包括：获取所述XBRL实例文件解析的财务数据的范围[a,b]，其中a、b分别为同一财务数据的最小值、最大值；利用最小熵分裂算法获取分裂点，根据所述分裂点将所述财务数据范围进行区间划分，通过递归算法将划分区间后的财务数据范围再次进行区间划分，直至划分为如下区间：πA＝{[a0,a1],[a1,a2],...,[ak‑1,ak]},其中，a0＝a，ak＝b；将所述布尔矩阵进行分块处理，通过迭代算法统计所有分块对应的布尔矩阵中不同元素的数量，根据不同元素的数量获取解析后的所述XBRL实例文件中的频繁项集。