[发明专利]计算搜索服务器文本匹配程度的方法、装置以及存储介质

权利要求书

1.一种计算搜索服务器文本匹配程度的方法，其特征在于，包括以下步骤：

S1：数据收集的步骤；

对存储在分布式文件存储系统中的数据或是存储在HIVE数据仓中的数据进行收集；

S2：数据预处理的步骤；

对收集到的数据进行预处理，对数据的缺失、重复以及异常进行处理；并获取数据的缺失值、重复值以及异常值；

S3：因子分析的步骤；

通过因子对数据进行简化，获取数据之间的依赖关系；

S4：数据离散化的步骤；

对于连续特征数据，采用特征离散的方法对数据进行处理；

S5：获取文本匹配程度的步骤；

调用朴素贝叶斯分类算法，统一以下模型计算概率：

其中，b为类别，a为特征。

2.根据权利要求1所述的一种计算搜索服务器文本匹配程度的方法，其特征在于，该计算搜索服务器文本匹配程度的方法还包括以下步骤：

S6：将步骤S1-S5集成于应用程序编程接口。

3.根据权利要求2所述的一种计算搜索服务器文本匹配程度的方法，其特征在于，所述步骤S4中，

离散方法采用无监督方法或者有监督方法。

4.一种计算搜索服务器文本匹配程度的装置，其特征在于，包括：

数据收集模块，对存储在分布式文件存储系统中的数据或是存储在HIVE数据仓中的数据进行收集；

数据预处理模块，对收集到的数据进行预处理，对数据的缺失、重复以及异常进行处理；并获取数据的缺失值、重复值以及异常值；

因子分析模块，通过因子对数据进行简化，获取数据之间的依赖关系；

数据离散化模块，对于连续特征数据，采用特征离散的方法对数据进行处理；

文本匹配程度计算模块，调用朴素贝叶斯分类算法，统一以下模型计算概率：

其中，b为类别，a为特征。

5.根据权利要求4所述的一种计算搜索服务器文本匹配程度的装置，其特征在于，该装置还包括编程接口集成模块，将数据收集模块，数据预处理模块，因子分析模块，数据离散化模块，文本匹配程度计算模块封装成API并集成于搜索服务中。

6.根据权利要求5所述的一种计算搜索服务器文本匹配程度的装置，其特征在于，所述数据离散化模块中，离散方法采用无监督方法或者有监督方法。

7.一种计算机存储介质，其特征在于，所述计算机存储介质中存储有指令，当其在计算机上运行时，使得计算机执行权利要求1-3中任一权利要求所述的方法。