[发明专利]一种基于CIM的海量数据分析方法及系统

说明书

本发明提供一种基于CIM的海量数据分析方法及系统，其中方法包括：构建对应CIM的数据筛选库，基于数据筛选库对海量数据进行筛选，获取待处理数据；对待处理数据进行归类分组，获得多个分组数据；将各个分组数据输入至对应的预设的识别分析模型中进行识别分析，确定CIM中的参数。本发明的基于CIM的海量数据分析方法，以实现从海量数据中提取CIM所需的数据，并基于该数据确定CIM中的参数，实现CIM的实时更新。

技术领域

本发明涉及数据分析技术领域，特别涉及一种基于CIM的海量数据分析方法及系统。

背景技术

目前，CIM(城市信息模型)是以建筑信息模型(BIM)、地理信息系统(GIS)、物联网(IoT)等技术为基础，整合城市地上地下、室内室外、历史现状未来多维多尺度信息模型数据和城市感知数据，构建起三维数字空间的城市信息有机综合体。每时每刻城市中产生的数据都是海量的，如何对海量数据进行分析获得CIM所需要的数据是亟需解决的技术问题。

发明内容

本发明目的之一在于提供了一种基于CIM的海量数据分析方法，以实现从海量数据中提取CIM所需的数据，并基于该数据确定CIM中的参数，实现CIM的实时更新。

本发明实施例提供的一种基于CIM的海量数据分析方法，包括：

构建对应CIM的数据筛选库，基于数据筛选库对海量数据进行筛选，获取待处理数据；

对待处理数据进行归类分组，获得多个分组数据；

将各个分组数据输入至对应的预设的识别分析模型中进行识别分析，确定CIM中的参数。

优选的，构建对应CIM的数据筛选库，包括：

获取CIM的历史的输入数据；

对输入数据进行归类，获取多个数据筛选组；

对数据筛选组中的输入数据进行特征提取，获得多个特征值；

基于提取的特征值确定数据筛选组的筛选关键特征。

优选的，基于提取的特征值确定数据筛选组的筛选关键特征，包括：

提取数据筛选组中输入数据的特征值的值都相同的特征值，作为筛选关键特征中的第一类筛选项，并赋予第一权重；

提取数据筛选组中输入数据的特征值的值不相同但是差值在预设的阈值范围内的特征值，作为筛选关键特征中的第二类筛选项，并赋予第二权重；

提取数据筛选组中输入数据的特征值的值不相同且差值超出预设的阈值范围内的特征值，作为筛选关键特征中的第三类筛选项，并赋予第三权重；

其中，第一权重大于第二权重和第三权重；第二权重大于第三权重。

优选的，基于数据筛选库对海量数据进行筛选，获取待处理数据；包括：

对海量数据中的待筛选数据进行特征，获取特征矩阵；

基于特征矩阵分别与筛选关键特征中的第一类筛选项、第二类筛选项和第三类筛选项进行匹配，确定多个第一匹配度、多个第二匹配度、多个第三匹配度；

基于第一匹配数目、第二匹配数目、第三匹配数目、第一权重、第二权重和第三权重，确定匹配值，计算公式如下：