[发明专利]一种基于CIM的海量数据分析方法及系统

权利要求书

1.一种基于CIM的海量数据分析方法，其特征在于，包括：

构建对应CIM的数据筛选库，基于所述数据筛选库对海量数据进行筛选，获取待处理数据；

对所述待处理数据进行归类分组，获得多个分组数据；

将各个分组数据输入至对应的预设的识别分析模型中进行识别分析，确定CIM中的参数；

所述构建对应CIM的数据筛选库，包括：

获取CIM的历史的输入数据；

对所述输入数据进行归类，获取多个数据筛选组；

对所述数据筛选组中的所述输入数据进行特征提取，获得多个特征值；

基于提取的所述特征值确定所述数据筛选组的筛选关键特征；

所述基于提取的所述特征值确定所述数据筛选组的筛选关键特征，包括：

提取所述数据筛选组中所述输入数据的所述特征值的值都相同的所述特征值，作为所述筛选关键特征中的第一类筛选项，并赋予第一权重；

提取所述数据筛选组中所述输入数据的所述特征值的值不相同但是差值在预设的阈值范围内的所述特征值，作为所述筛选关键特征中的第二类筛选项，并赋予第二权重；

提取所述数据筛选组中所述输入数据的所述特征值的值不相同且差值超出预设的阈值范围内的所述特征值，作为所述筛选关键特征中的第三类筛选项，并赋予第三权重；

其中，所述第一权重大于所述第二权重和所述第三权重；所述第二权重大于所述第三权重。

2.如权利要求1所述的基于CIM的海量数据分析方法，其特征在于，所述基于所述数据筛选库对海量数据进行筛选，获取待处理数据；包括：

对所述海量数据中的待筛选数据进行特征提取 ，获取特征矩阵；

基于所述特征矩阵分别与所述筛选关键特征中的第一类筛选项、所述第二类筛选项和所述第三类筛选项进行匹配，确定多个第一匹配度、多个第二匹配度、多个第三匹配度；

基于第一匹配数目、第二匹配数目、第三匹配数目、所述第一权重、所述第二权重和所述第三权重，确定匹配值，计算公式如下：

其中，P为所述匹配值；M_1i为所述特征矩阵与所述第一类筛选项中第i个筛选数据的所述第一匹配度；M_2j为所述特征矩阵与所述第二类筛选项中第j个筛选数据的所述第二匹配度；M_3k为所述特征矩阵与所述第三类筛选项中第k个筛选数据的所述第三匹配度；α₁、α₂、α₃分别为所述第一权重、所述第二权重、所述第三权重；n为所述第一类筛选项中的数据总数；m为所述第二类筛选项中的数据总数；N为所述第三类筛选项中的数据总数；

当所述匹配值大于预设的匹配阈值时，将所述待筛选数据作为所述待处理数据。