[发明专利]一种基于配置的大数据监控方法及装置

权利要求书

1.一种基于配置的大数据监控方法，其特征在于，所述方法包括：

101，获取离散的非结构化的原生态的原始数据；

102，对所述原始数据进行预处理；

103，确定预处理后数据中的结构项；

104，根据配置文件对所述结构项进行结构拼接，形成统一数据结构的最终数据；

105，发布所述最终数据；

步骤103具体包括：

103-1，确定预处理后数据的数据项总数量L；

103-2，根据如下公式确定预处理后数据中的各数据项的结构概率P；

其中，W_n为第n个数据项的权重值，i为第i个数据项，f_n为预处理后数据中第n个数据项的有效数据量，L为预处理后数据的数据项总数量；

103-3，将结构概率大于预设阈值的数据项确定为结构项。

2.根据权利要求1所述的方法，其特征在于，步骤102具体包括：

对所述原始数据进行去噪处理。

3.根据权利要求1所述的方法，其特征在于，步骤104具体包括：

104-1，根据配置文件确定各结构项之间的结构关系；

104-2，根据结构关系对各结构项进行拼接，形成统一数据结构的最终数据；

所述结构关系包括隶属关系、相邻关系、交叉关系、同级关系、关联关系、主键关系、引用关系。

4.一种基于配置的大数据监控装置，其特征在于，所述装置包括：

获取单元，用于获取离散的非结构化的原生态的原始数据；

预处理单元，用于对所述原始数据进行预处理；

确定单元，用于确定预处理后数据中的结构项；

拼接单元，用于根据配置文件对所述结构项进行结构拼接，形成统一数据结构的最终数据；

发布单元，用于发布所述最终数据；

所述确定单元，包括：

第一确定子单元，用于确定预处理后数据的数据项总数量L；

第二确定子单元，用于根据如下公式确定预处理后数据中的各数据项的结构概率P；

其中，W_n为第n个数据项的权重值，i为第i个数据项，f_n为预处理后数据中第n个数据项的有效数据量，L为预处理后数据的数据项总数量；

第三确定子单元，用于将结构概率大于预设阈值的数据项确定为结构项。

5.根据权利要求4所述的装置，其特征在于，所述预处理单元，用于对所述原始数据进行去噪处理。

6.根据权利要求4所述的装置，其特征在于，所述拼接单元，包括：

确定子单元，用于根据配置文件确定各结构项之间的结构关系；

拼接子单元，用于根据结构关系对各结构项进行拼接，形成统一数据结构的最终数据；

所述结构关系包括隶属关系、相邻关系、交叉关系、同级关系、关联关系、主键关系、引用关系。