[发明专利]一种基于数据挖掘的文本数据网络构建系统

权利要求书

1.一种基于数据挖掘的文本数据网络构建系统，其特征在于包括：数据采集模块、数据挖掘模块、人际网络构建模块、可视化展示模块和数据库：

数据采集模块，接收系统外部发送的新增文本数据，记录数据发送者信息，并对文本数据依次进行分词，将分词后的数据存储于数据库；

数据挖掘模块，提取数据库中经过分词处理的新增文本数据的特征值，并与数据库中已经存储的、已提取特征值的文本数据进行比对，取与新增文本数据特征值最相近的数据进行关联映射；

人际网络构建模块，根据数据之间的关联映射关系，以数据采集模块接收到的文本数据发送者为文件名称，以新增文本数据名称、进行关联映射的数据名称以及关联映射数据对应的数据发送者为文件属性，构建文件，形成人际网络本体库；

可视化展示模块，接收人际网络构建模块发送的人际网络本体库，解析文件对应的数据，并使用线段、节点方式展现。

2.根据权利要求1所述的一种基于数据挖掘的文本数据网络构建系统，其特征在于：数据采集模块，读取发送的新增文本数据后，为每一条数据进行命名和生成唯一ID，所述的新增文本数据命名采用新增文本数据ID+新增文本数据上传人ID+新增文本数据名称的格式；

数据采集模块，采用隐马尔科夫模型对新增数据进行分词，识别并去除分词结果约定的人名、地名和机构名，以空格作为分词结果的分隔符，将分词结果以.txt文件格式保存；

数据采集模块，对分词.txt文件进行格式转换，生成.xml文件，存入分词结果数据库，.xml文件包含分词结果、新增文本数据ID、新增文本数据上传人ID、新增文本数据名称。

3.根据权利要求1所述的一种基于数据挖掘的文本数据网络构建系统，其特征在于：数据挖掘模块提取数据库中的新增文本数据的特征值的具体方式如下：

数据挖掘模块，将新生成的分词结果与数据库已经存储的历史分词数据进行逐一比对，统计出各分词出现的次数D，将满足Dmin<D<Dmax的分词，作为特征词t_p，其中Dmax表示预设的分词出现的最高阈值，Dmin表示预设的分词出现的最低阈值；

数据挖掘模块，计算出每个新增文本分词结果中每项特征词t_p在当前分词结果中出现的频率tf_p以及每个新增数据文本分词结果中出现特征词t_p的数目n_p，利用特征权重计算公式得到每个特征词t_p在当前分词结果中的权重进一步计算每个新增文本数据的特征向量T_q：

T_q＝Z(t₁,w₁；t₂,w₂；……t_n,w_n)

其中，M表示新增文本数据的总数，n表示每个新增文本数据中特征词的总数，n小于等于每个新增数据文本分词后的分词结果数。