[发明专利]一种基于BERT下卷积神经网络的服务发现方法

说明书

本发明提出了一种基于BERT下卷积神经网络的服务发现方法，首先，通过bert‑as‑service服务调用预训练BERT模型，生成服务与查询请求的关键词向量；其次，基于BERT词向量，构建服务与查询请求在单词粒度上的相似度矩阵，并应用卷积神经网络得到最终的相似度匹配得分；然后，对于给定的用户查询请求，逐一与候选服务进行相似度匹配；最后，根据服务的相似度匹配得分进行排序，从而找到合适的目标服务；结合BERT词向量和卷积神经网络的优势特点，基于BERT模型的结构特征以及应用范围，并结合本发明所处理的数据形式，生成包含丰富上下文语义信息的词向量，有效地支持服务相似度计算，以找到最准确的目标服务，实现了对目标服务的精准检索。

技术领域

本发明属于计算机科学与技术领域，具体涉及一种基于BERT下卷积神经网络的服务发现方法。

背景技术

服务发现的主要任务是匹配查询请求与候选服务之间的功能描述信息。这些信息通常以自然文本的形式表示，在相似度计算过程中，首先需要对其进行向量化处理。传统的词嵌入方法，如Word2Vec模型，其生成的词向量是静态的，每个单词都有一个固定的表示，而与单词出现的上下文无关。随着互联网的快速发展，服务资源的类型功能也日趋多样化，这种静态词嵌入方法在挖掘文本语义信息方面存在一定缺陷，生成的词向量不能充分反映单词在特定语境下的语义。此外，常用的基于空间向量的相似度计算方法虽简单易行，但缺乏从多角度全面的对比匹配，从而影响对目标服务的精准检索。由此，需要针对存在的不同的问题设计出对应的解决方案。

发明内容

为了克服现有服务发现技术中所存在的不足，本发明提供一种基于BERT下卷积神经网络的服务发现方法，结合BERT词向量与卷积神经网络功能特性，在文本相似度计算的基础上能够为用户提供最优目标服务的发现方法。

本发明实现上述目的所采用的技术方案为：一种基于BERT下卷积神经网络的服务发现方法，包括以下步骤：

步骤1，从客户端获取OWLS-TC4数据集查询请求及服务，并基于预训练BERT模型生成词向量表示；

步骤2，基于步骤1所得的词向量，通过计算查询请求与服务关键词向量之间的余弦相似度来构建查询请求与服务的关键词相似度矩阵；并以此作为卷积神经网络的输入矩阵；

步骤3，对步骤2所得的相似度矩阵进行卷积池化操作，得到查询请求与服务的相似度匹配得分；

步骤4，对于每一条查询请求，逐一与服务集中的候选服务进行步骤2和3操作，并根据步骤3所得相似度匹配得分对候选服务进行排序，从而找到合适的目标服务，即最高相似度匹配得分所对应的服务即为所要检索的目标结果。

步骤1中，采用bert-as-service的客户端与服务端，将预训练BERT模型作为一个服务独立运行，在客户端以调用服务的方式使用BERT模型。

步骤1通过以下具体步骤实现：

步骤11，从查询请求与服务的owls文件中提取对应的自然语言功能描述信息；

步骤12，对查询请求与服务的功能描述信息进行预处理，包括去除停用词、词干提取及分词，获取相应的关键词，完成对文本的特征提取；

步骤13，从客户端调用BERT模型，生成每条查询请求与服务的词向量表示。

步骤2中所述相似度矩阵中，其组成元素是查询请求与服务在词粒度上基于词向量的余弦相似度。

步骤3中所使用的卷积神经网络由输入层、卷积层、池化层及输出层四部分构成，输入矩阵为步骤2所得查询请求与服务的相似度矩阵。

步骤3中，在卷积层采用一个大小为2*2的卷积核单步长对输入矩阵进行卷积扫描，通过将卷积核与输入矩阵感受野中对应位置的元素相乘求和实现特征的初步提取，并生成相应的特征矩阵。