[发明专利]基于特征融合及筛选的虚假评论检测方法、系统及介质

权利要求书

1.基于特征融合及筛选的虚假评论检测方法，其特征在于，包括下述步骤：

获取文本评论，使用分词工具对文本评论进行操作后，捕捉前后词对信息，进行词向量训练得到评论文本特征；

获取文本评论对应的评论者信息，提取评论者及其行为信息确定评论者行为特征；

根据评论文本特征和评论者行为特征，应用多种异常检测算法提取虚假评论样本的异常信息，计算异常得分即虚假得分作为虚假分数特征；

所述虚假分数特征获得步骤具体为：

将评论文本特征和评论者行为特征进行归一化处理，得到归一化特征集；

分别应用6种异常检测方法计算归一化特征集中每一样本的异常分数，获得样本的6维异常分数作为样本的虚假得分；

将所有样本虚假得分进行拼接，获得虚假分数特征；

所述6种异常检测方法包括IForest算法、PCA算法、LOF算法、KNN算法、HBOS算法和AutoEncoder算法；

所述IForest算法利用叶子节点到根节点的路径长度计算异常分数，具体为：

对于单棵树，存在n个样本，其中样本x在孤立树上的高度计算公式如下：

其中，c(n)表示树的平均路径长度，h(x)表示调和数，为欧拉常数；

对于孤立森林，样本x在每棵树上的高度均值为E(h(x，n))，则IForest异常分数IForest_S(x，n)表示为：

所述PCA算法通过将向量矩阵特征分解为特征向量计算异常分数，具体为：

定义一个点x的PCA异常分数为PCA_S(x)，设样本矩阵X有n个特征向量，则PCA异常分数计算公式为：

其中，z_i为样本矩阵X中第i个特征向量，v_i为沿该特征向量方向上的方差，即为该特征向量对应的特征值，X^T为样本矩阵X的转置；

所述LOF算法利用密度计算异常分数，具体为：

设样本x的LOF异常分数为LOF_S(x)，d(x，y)表示样本x到样本y的距离，d_k(x，y)表示样本y是样本x第k远的距离，C_k(x)表示样本x第k类距离的邻域，则局部可达密度LRD的表达式为：

RD(x，y)＝max{d_k(x，y)，d(x，y)}

通过LRD计算异常分数LOF_S(x)的表达式：

其中，LRD_k(y)表示样本y的第k邻域内的样本到y的平均可达距离的倒数，LRD_k(x)表示样本x的第k邻域内的样本到x的平均可达距离的倒数

所述KNN算法利用距离计算异常分数，具体为：

设样本集x的KNN异常分数为KNN_S(x)，样本集中的某一样本点(x₁，y₁)到其他某点(x₂，y₂)的欧式距离表示为：

计算样本集x中所有点到样本点的距离，取出前n个样本点，设其中正样本数为i，则异常分数KNN_S(x)表示为：

所述HBOS算法将每个维度划分为多个区间，利用区间密度来计算异常分数，具体为：

设某个维度有N个数据，按梯度排序后，将连续的个数划分为一个区间；

每个区间的面积相同，区间宽度由每个区间第一个数和最后一个数决定，计算出每个区间的高度；设x为第x个样本，H_n(x)为第n个维度下x的高度，则HBOS异常分数HBOS_S(x)表示为：

所述AutoEncoder算法利用神经网络将一个高维输入用低维形式表示，当样本特征都是数值变量时，用MSE和MAE来计算异常分数，具体为：

设输入样本为X＝(X₁，X₂，....，X_n)，其中n代表n个维度；

样本X经过AutoEncoder算法重建后为X^R＝(X₁^R，X₂^R，....，X_n^R)，AutoEncoder异常分数AutoEncoder_S(x)由MSE和MAE之和的负数来表示，公式为：

将评论文本特征、评论者行为特征及虚假分数特征进行拼接，获得虚假评论特征；

对虚假评论特征使用多种特征选择方法筛选出重要特征集并求交集获得评论特征集；

所述多种特征选择方法包括卡方检验法、信息增益筛选法和树模型特征重要度筛选法；

所述卡方检验法通过计算每个特征与标签的卡方值大小来进行筛选，具体为：

设理论值为E，观测到的真实值为X，其中有k个样本，则卡方检验偏差计算公式为：

n表示总的频数，p表示理论频率，根据卡方值大小筛选出与标签相关性高的特征子集FeatureSet₁；

所述信息增益筛选法利用特征前后信息熵差值计算信息增益值来进行筛选，具体为：

设样本集为S，样本集中类别个数为C，p_i表示第i类的概率，则信息熵计算公式为：

对于某特征X＝{x₁，x₂，...，x_i}，计算该特征每个值的条件熵后取平均：

最后计算该特征的信息增益值：

进而根据信息增益值大小筛选出相对重要的特征子集FeatureSet₂；

所述树模型特征重要度筛选法通过记录特征的分裂总次数以及平均信息增益对特征重要度进行筛选，具体为：

所述平均信息增益对特征重要度是在树节点分裂时，基于信息增益筛选法，将特征作为划分属性时计算的所有信息增益值取平均值得到；

依据各特征的平均信息增益对特征重要度，筛选出相对重要的特征子集FeatureSet₃；

基于集成学习中投票决策思想，对FeatureSet₁、FeatureSet₂、FeatureSet₃三个重要特征子集取交集，得到评论特征集FeatureSet_new；

将评论特征集输入XGBoost模型中进行训练，使用网格搜索法和贝叶斯法结合调参，获得参数最优下的识别结果。