[发明专利]基于代表词对的RESTful API文档主题分布提取方法

说明书

一种基于代表词对的RESTful API文档主题分布提取方法，所述方法包括以下步骤：第一步：对文档进行分词处理，并进行停止词去除与时态归一化；第二步：将分词结果转换为词对集合；第三步：在主题模型的迭代过程中计算代表词对，并利用代表词对实现概率采样算法，完成主题模型训练，输出RESTful API的文档主题分布。本发明提出一种基于代表词对的RESTful API文档主题分布提取方法，该方法设计了一种以BTM主题模型为基础的词对模型，通过一种基于主题分布信息的概率采样策略，来寻找训练过程中对当前采样主题关联度高的代表词对，并通过调节词对在采样过程中的权重信息，降低噪声问题带来的干扰。

技术领域

本发明涉及一种基于代表词对的RESTful API文档主题分布提取方法。

背景技术

REST全称为表示性状态转移(Representation State Transfer)，是一种软件架构风格，其思想可概括为利用URI对资源进行表示，并使用HTTP方法表示对这些资源的操作。而RESTful API即为REST风格的API，只要前端发送包含对应资源URI的请求，并利用HTTP方法(POST，GET，PUT，DELETE)实现对资源不同操作的跳转，服务端就只需要定义一个统一的响应接口，不必对请求进行各式的解析。RESTful API往往返回JSON或XML形式的数据，并带有由自然语言构成的描述文档。因其轻量，结构简单并直接面向资源的特点，逐渐成为目前互联网上主流的API服务形式。研究者往往以其描述文档为基础进行对应API特征的计算。

主题模型能通过迭代采样，自动地获取语料集的隐式主题分布，充分利用文档的隐含语义信息，将主题模型训练得到的文档主题分布作为REST API特征信息是一种常用的手段。然而，API描述文档具备短文本特征。短文本为较短的、包含少许单词的文本，只能获取少量的词共现信息，有着语义上的稀疏性。在短文本的处理上，由于稀疏性的问题，寻常的主题模型不能发挥良好的效果。另一方面，描述文档面临着噪声干扰问题，即文本中包含一些与功能主题不相关联的单词，这些单词在主题的判定上可能会起到负作用，被称为噪声词。解决以上两种问题，才能从描述文档中提取有效且合理的文档主题分布。

BTM(Biterm Topic Model)词对主题模型在2013年被提出，该模型将语料分词后单词集合两两结合转换为词对集合，并利用词对集合进行采样，训练得到对应的主题分布。该模型将原始语料转换为词对模型，增加了语义共现信息，缓解了短文本的稀疏性问题。

发明内容

为解决现有RESTful API文档稀疏性与噪声问题带来的文档主题分布提取的困难与不足，本发明提出一种基于代表词对的RESTful API文档主题分布提取方法，该方法设计了一种以BTM主题模型为基础的词对模型，通过一种基于主题分布信息的概率采样策略，来寻找训练过程中对当前采样主题关联度高的代表词对，并通过调节词对在采样过程中的权重信息，降低噪声问题带来的干扰。

本发明采用如下的技术方案：

一种基于代表词对的RESTful API文档主题分布提取方法，所述方法包括以下步骤：

第一步：对文档进行分词处理，并进行停止词去除与时态归一化；

第二步：将分词结果转换为词对集合；

第三步：在主题模型的迭代过程中计算代表词对，并利用代表词对实现概率采样算法，完成主题模型训练，输出RESTful API的文档主题分布。

进一步，所述第一步的过程如下：

1.1读取RESTful API文档信息，以API名称为键，文档内容为值，转换为值键对D；

1.2遍历D中文档内容，将当前文档内容设置为d，设置空集合word_list。对d进行分句处理并剔除标点符号，之后对每句进行分词；