[发明专利]技术监督数据的处理方法和装置、存储介质、处理器

说明书

本发明公开了一种技术监督数据的处理方法和装置、存储介质、处理器。其中，该方法包括：获取技术监督数据，其中，技术监督数据包括：多个问题的描述文本，多个问题包含多个维度；从技术监督数据中提取关键词，得到关键词矩阵；对关键词矩阵进行层次聚类，得到分类后的关键词矩阵；根据分类后的关键词矩阵，得到技术监督数据的关联关系。本发明解决了现有技术中对技术监督数据的处理方法效率低的技术问题。

技术领域

本发明涉及自然语言处理、本文分类、文本处理领域，具体而言，涉及一种技术监督数据的处理方法和装置、存储介质、处理器。

背景技术

随着技术监督精益化管理的不断深化，每年各单位通过技术监督发现并解决数以万计的问题，为公司提升电网本质安全做出了巨大贡献。由于各阶段管理信息系统未贯通，缺乏有效的信息管理手段，这些宝贵的数据和经验不能在公司系统得到广泛的交流和借鉴，技术监督大数据分析应用还需进一步拓展。

针对现有技术中对技术监督数据的处理方法效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种技术监督数据的处理方法和装置、存储介质、处理器，以至少解决现有技术中对技术监督数据的处理方法效率低的技术问题。

根据本发明实施例的一个方面，提供了一种技术监督数据的处理方法，包括：获取技术监督数据，其中，技术监督数据包括：多个问题的描述文本，多个问题包含多个维度；从技术监督数据中提取关键词，得到关键词矩阵；对关键词矩阵进行层次聚类，得到分类后的关键词矩阵；根据分类后的关键词矩阵，得到技术监督数据的关联关系。

进一步地，从技术监督数据中提取关键词，得到关键词矩阵包括：利用隐马尔科夫算法对多个维度对应的问题进行分词，得到分词结果；利用向量空间模型对分词结果进行向量化处理，得到技术监督数据对应的特征向量；利用词频和逆向文档频率模型对技术监督数据对应的特征向量进行处理，得到关键词矩阵。

进一步地，在利用词频和逆向文档频率模型对技术监督数据对应的特征向量进行处理，得到关键词矩阵之后，上述方法还包括：利用主成分分析算法对关键词矩阵进行降维处理，得到处理后的关键词矩阵。

进一步地，对关键词矩阵进行层次聚类，得到分类后的关键词矩阵包括：计算关键词矩阵中每个特征向量与技术监督数据中每个问题的相关系数，得到判断矩阵；根据判断矩阵和技术监督数据，得到分类后的关键词矩阵。

进一步地，在根据判断矩阵和技术监督数据，得到分类后的关键词矩阵之后，上述方法还包括：计算每个问题对应的类别特征信息的查全率和查准率；根据查全率和查准率得到综合分类率；判断综合分类率是否满足预设阈值；如果综合分类率不满足预设阈值，则重新根据判断矩阵和技术监督数据，得到新的分类后的关键词矩阵，直至综合分类率满足预设阈值；如果综合分类率满足预设阈值，则根据分类后的关键词矩阵，得到技术监督数据的关联关系。

进一步地，根据分类后的关键词矩阵，得到技术监督数据的关联关系包括：对分类后的关键词矩阵中的每个关键词进行词性标注，得到标注后的关键词矩阵；对标注后的关键词矩阵进行组合，得到多个组合问题；根据多个组合问题，得到技术监督数据的关联关系。

进一步地，在根据多个组合问题，得到技术监督数据的关联关系之后，上述方法还包括：根据技术监督数据的关联关系，得到多个维度对应的知识图谱。

进一步地，根据分类后的关键词矩阵，得到技术监督数据的关联关系包括：利用逐层搜索算法对分类后的关键词矩阵进行处理，得到频繁谓词集；根据频繁谓词集，得到技术监督数据的关联关系。

进一步地，在根据频繁谓词集，得到技术监督数据的关联关系之后，上述方法还包括：根据技术监督数据的关联关系，得到关键词矩阵与多个维度的对应关系的关联图。