[发明专利]一种SGF格式的围棋AI棋谱文件的异常检测方法

权利要求书

1.一种SGF格式的围棋AI棋谱文件的异常检测方法，其特征在于，包括：

步骤S1：导入SGF文件的文本数据；

步骤S2：基于词袋模型处理文本数据得到一系列词的集合，并基于得到的集合计算每个词的权重；

步骤S3：将每个词的权重集中组合得到文本数据的语言模型向量；

步骤S4：利用异常检测算法进行异常检测，并输出检测结果。

2.根据权利要求1所述的一种SGF格式的围棋AI棋谱文件的异常检测方法，其特征在于，所述步骤S2具体包括：

步骤S21：基于词袋模型处理文本数据得到一系列词的集合；

步骤S22：计算每个词的词频：

其中：tf_i,j为词i在文本j中的词频，n_i,j为词i在文本j中的出现次数，n_k,j为在文本j中各个词的出现次数，k为文本j中含有的词的个数；

步骤S23：计算每个词的逆向文件频率：

其中：idf_i为词i在语料库文本集合中的逆向文件频率，|D|为语料库中的文本总数，D为语料库文本集合，|{j:t_i∈d_j}|为满足包含词i条件的文本j的数目，t_i表示词i，d_j表示文本j；

步骤S24：计算每个词的权重：

tf-idf_i，j＝tf_i,j×idf_i

其中：tf-idf_i，j为词i的权重，tf_i,j为词i在文本j中的词频，idf_i为词i在语料库文本集合中的逆向文件频率。

3.根据权利要求1所述的一种SGF格式的围棋AI棋谱文件的异常检测方法，其特征在于，所述异常检测算法为One-Class SVM算法或孤立森林算法。

4.根据权利要求3所述的一种SGF格式的围棋AI棋谱文件的异常检测方法，其特征在于，所述异常检测算法为One-Class SVM算法时，所述步骤S4具体包括：

步骤S411：基于正常情况下文本数据的语言模型向量训练高维超球面；

步骤S412：输入待检测文本的语言模型向量，并判断是否在高维超球面的外部，若为是，则判定该待检测文本发生异常，反之，则判定为正常。

5.根据权利要求3所述的一种SGF格式的围棋AI棋谱文件的异常检测方法，其特征在于，所述异常检测算法为孤立森林算法时，所述步骤S4具体包括：

步骤S421：从训练数据中随机选择若干个样本点，生成森林中若干棵树的根节点集合；

步骤S422：随机选择一个特征对当前特征数据进行切割生成两个子空间，作为节点的左右子树，其中，将指定维度里小于选择的特征的当前特征数据放在当前节点的左子树，把大于等于选择的特征的当前特征数据放在当前节点的右子树；

步骤S423：在子节点中递归步骤S422和S422，不断构造新的子节点，直到子节点无法再继续切割或子节点已到达树的限定高度。

步骤S424：获得设定数目个孤立树木之后，孤立森林算法训练结束，然后用生成的孤立森林来评估诊断。

6.根据权利要求5所述的一种SGF格式的围棋AI棋谱文件的异常检测方法，其特征在于，所述步骤S424中的诊断过程具体包括：

步骤S4241：对于一个数据，令其遍历森林中每一棵孤立的树，然后计算该数据在孤立森林的平均高度；

步骤S4242：判断平均高度是否低于设定阈值，若为是，则判定为异常，反之则判定为正常。