[发明专利]大样本研报信息提取方法、装置、设备及存储介质

权利要求书

1.一种大样本研报信息提取方法，其特征在于，所述方法包括：

对研报信息进行文本转换得到表格数据，所述表格数据以纯文本形式存储；

对所述表格数据进行统计，输出所述表格数据中各单词的词频；

对所述研报信息进行统计，得出每一研报信息与其余研报信息之间的相近程度指标并排序；

以所述研报信息的数字编号为节点，以得出的所述相近程度指标为枝绘制所述研报信息的关系网。

2.根据权利要求1所述的方法，其特征在于，所述对所述表格数据进行统计，包括：

对输入的文本形式的表格数据进行分词处理，得到分词结果；

输出所述表格数据中各单词的词频，包括：

文本的分词结果列表为{X₁,X₂,…,X_N}，对应的词频列表为{Y₁,Y₂,…,Y_N}，Y_i为单词X_i在文本里出现的次数；记分词对应的词频百分比列表为{Z₁,Z₂,…,Z_N}，其中，(单位：0.1％)，Z_i为单词X_i在文本里出现的频率的占比。

3.根据权利要求2所述的方法，其特征在于，所述文本至少包括文本1和文本2，所述得出每一研报信息与其余研报信息之间的相近程度指标并排序，包括统计步骤：

文本1的分词结果列表为文本2的分词结果列表为分别对A₁和A₂按各自对应的词频百分比从大到小排列，排列后的结果分为A′₁和A′₂，对应的词频百分比列表分别为和

引入筛选机制：

记0.8其中，i₁<N₁，且满足

计算文本1和文本2的文意相近程度：，Z_i＝Y_i/Y_all(单位：0.1％)

记M＝(0.8A′₁)∩(0.8A′₂)，集合M的元素数量为m，这m个单词在文本1和文本2中对应的词频百分比列表分别为和将和视作两个向量，记由于和各自的分量满足正则性，所以的取值范围是ω的取值范围亦是而且ω越大，两个文本越接近；

记U＝(0.8A′₁)∪(0.8A′₂)，集合U的元素数量记做u，定义ρ＝a^ω，指标ρ即是两篇文本的文意相近程度的表征值。

4.根据权利要求2所述的方法，其特征在于，所述得出每一研报信息与其余研报信息之间的相近程度指标并排序，包括排序步骤：

排序时包括：

统计每一研报信息与其余研报信息的文意相近程序的指标和，对所述指标和进行排序。

5.根据权利要求1所述的方法，其特征在于，所述以所述研报信息的数字编号为节点，以得出的所述相近程度指标为枝绘制所述研报信息的关系网，包括：

获取所述研报信息的数字编号作为关系网的节点，两个节点之间的枝为文意相近程度指标，所述枝的长短表征文意相近程序指标的大小。

6.一种大样本研报信息提取装置，其特征在于，所述装置包括：

转换模块，用于对研报信息进行文本转换得到表格数据，所述表格数据以纯文本形式存储；

分词模块，用于对所述表格数据进行统计，输出所述表格数据中各单词的词频；

统计模块，用于对所述研报信息进行统计，得出每一研报信息与其余研报信息之间的相近程度指标并排序；

绘制模块，用于以所述研报信息的数字编号为节点，以得出的所述相近程度指标为枝绘制所述研报信息的关系网。