[发明专利]一种基于复杂网络社区发现的工业数据样本筛选方法

摘要

一种基于复杂网络社区发现的工业数据样本筛选方法，首先将待筛选的目标数据构造初始样本作为复杂网络节点，计算节点间的距离，与截断阈值进行比较得到表示节点连接关系的邻接矩阵，然后通过以模块度最大化为优化目标，在邻接矩阵表示的复杂网络中进行社区发现，获得对应问题不同情况下的样本社区划分，最后提出网络节点“结合度”的评价指标，对社区内节点按照结合度值降序排序，从每个社区中按照结合度大小平均选取样本重新构造样本集，从而实现在保留原有样本集中有用信息的情况下，实现对数据样本集的约减。采用筛选后的数据样本进行软测量、预测、案例推理可进一步提高所建模型的精度，为实施工业过程基于数据的优化调度提供保障。

主权项

一种基于复杂网络社区发现的工业数据样本筛选方法，其特征在于步骤如下：(1)从工业现场的实时数据库读取样本数据集，以每一个样本作为一个节点，构建复杂网络；(2)计算样本数据集数据间的欧式距离矩阵根据欧式距离公式计算各数据样本节点间的欧式距离矩阵：其中，由于两数据样本节点间的连线无方向性，m_ij＝m_ji，对角元m_ii＝0；(3)计算样本数据集的邻接矩阵计算得到每两样本间的欧式距离之后，利用距离截断阈值R，与每两样本间的欧式距离进行比较，若样本间的距离小于R则样本间有边相连，否则无边相连；原始距离矩阵根据阈值R处理后，得到表示样本节点连接的矩阵：其中，由此得到的样本节点与表示节点间连接状态的邻接矩阵；(4)计算复杂网络模块度，对其进行社区发现对所建复杂网络计算模块度，其计算公式为其中，e_ii表示社区i内所连边数占整个网络边数的比例，a_i＝Σ_je_ij表示与社区i中节点相连边数所占比例；利用凝聚分层聚类，初始将每个节点看作一个社区，循环进行社区融合，每次融合成对进行；每次进行循环社区融合时，选择使Q值增长最大的社区融合进行；两社区融合后对Q值的影响可表示为：ΔQ＝e_ij+e_ji‑2a_ia_j＝2(e_ij‑a_ia_j)；随着融合的深入，当ΔQ值开始变成小于0时，则Q值不再增加而达到了最大值，此时的社区划分对应最优的社区结构；(5)舍弃小社区在社区发现得到的社区中，通常节点数据较少的社区代表了异常点数据样本，设定阈值T作为判断条件，将社区节点数目小于T的社区认为是异常种类进行剔除；(6)样本筛选计算各社区内节点间的结合度值，其计算公式为其中k_i‑in为节点i所连边在社区内的个数，k_i为节点i的度；将社区内节点结合度按照由大到小降序排列，从各社区中优先选择结合度大的样本节点重新构造数据样本集，实现样本筛选。