[发明专利]一种文本信息的预处理方法及装置

说明书

本申请提供一种文本信息的预处理方法及装置，利用替换文件路径调取替换文件，通过替换文件内的多个替换表达式对待处理文本信息进行匹配和信息替换，可实现将文本信息通过一次预处理过程，就完成文本信息多处不同文本内容的替换，并且一个替换表达式即可完成一次替换，不仅避免操作重复，而且降低运算量，提高替换效率；同样，利用筛选文件路径调取筛选文件，调取筛选文件中的多个筛选表达式，可实现将文本信息通过一次预处理过程，完成文本信息多处不同文本内容的筛选，并且一个筛选表达式即可完成一次筛选，既避免操作重复，又降低运算量，提高筛选效率；并且工作人员仅需录入替换或筛选文件路径调取替换或筛选文件即可，提高预处理的灵活性。

技术领域

本申请涉及数据挖掘领域，尤其涉及一种文本信息的预处理方法及装置。

背景技术

数据挖掘是从大量的、不完全的、有噪声的、模糊的以及随机的实际应用数据中提取隐含在其中的人们预先未知但又是有潜在价值的信息和知识的过程。数据挖掘流程通常包括：文本信息加载、文本信息预处理、数据挖掘算法实现和结果展示等主要步骤，其中，文本信息预处理包含特定文本信息替换和特定文本信息筛选，特定文本信息替换为将文本信息中特定的语义相同，却表达方式不同的文本内容，用相同的特定文本内容进行替换，以增加数据挖掘算法的准确性；特定文本信息筛选为对文本信息中特定的语义相同的近似文本内容进行去除或保留，以提高数据挖掘算法的运算速率。

随着互联网技术的快速发展，网络信息呈爆炸式增长，这给基于海量信息的数据挖掘提供良好的数据基础。但是，随着博客、微博等各种形式的社交网络媒体或平台的兴起，文本内容包括的文字逐渐趋于口语化、浓缩化，这无疑提高了文本信息预处理的难度。例如，工作人员想做关于网民对可乐歌词瓶在互联网的口碑的数据挖掘，以了解可乐歌词瓶的市场占有率，为市场营销人员制定营销策略提供数据支持。然而工作人员所搜集的文本信息中，不仅只有“可口可乐歌词瓶”代表可口可乐歌词瓶，类似的“cola歌词瓶”“cocacola歌词瓶”等词语同样代表着可口可乐；并且网民对其的评价词语也不尽相同。如文本内容为“我今天买可乐，发现一个歌词与瓶子组合的活动，还挺不错的”，在文本信息预处理的过程中，根据实际数据挖掘的需求，有时需要将“我今天买可乐，发现一个歌词与瓶子组合的活动”替换为标准词语“可口可乐歌词瓶”，以及将“还挺不错的”替换为“好评”。同样，根据实际的挖掘需求，有时需要将上述文本信息中“可乐”、“歌词”、“瓶子”和“挺不错”进行筛选。

但是，现有的文本数据预处理方法，在当需要将文本信息中需进行多个不同文本内容的替换，或对多个不同文本内容进行筛选时，则要针对多个文本内容进行多次替换/筛选的步骤，由于需要进行多次替换/筛选操作，因此，无法实现将多个不同文本内容同时替换/筛选，从而增加文本信息预处理的繁琐程度,并且增加运算量，降低文本信息预处理的效率。

发明内容

本申请提供了一种文本信息的预处理方法及装置，以解决现有的文本数据预处理方法无法实现将多个不同文本内容同时替换/筛选，从而增加文本信息预处理的繁琐程度,并且增加运算量，降低文本信息预处理的效率的问题。

第一方面，本申请提供了一种文本信息的预处理方法包括：

获取待处理文本信息和所述待处理文本信息对应的替换文件路径；

根据所述替换文件路径，调取所述替换文件路径对应的替换文件，其中，所述替换文件包括多个替换表达式，所述替换表达式为用户预先录入的替换表达式或通过业务词典获得的替换表达式，每个所述替换表达式均包括匹配表达式、替换信息和匹配粒度，所述匹配粒度为全信息匹配或拆句匹配；

根据第一替换表达式的匹配粒度和有效文本信息，利用所述第一替换表达式的匹配表达式与所述待处理文本信息进行匹配；

如果匹配成功，则根据匹配文本信息和对应的位置，将所述匹配文本信息替换为所述替换信息；