[发明专利]一种数据收集方法及装置

说明书

本发明公开了一种数据收集方法及装置，其方法为：S01、建立初始对话框树；S02、对对话框树中的一个节点进行采样，并使采样获得的数据样本内容多样化；S03、遍历步骤S02中所选择的节点的每一个父节点，制作一个完整的对话历史记录；S04、注释步骤S02所选节点的答案，使得对话框树得到扩展，并得到新的对话列表，对话列表包括步骤S03中制作的对话历史记录以及本步骤中注释的答案；S05、重复步骤S02‑S04，直至对话列表的数量达到预设值。采样时基于当前收集的数据点数量采用不同的方式。本方案适用于人机交互类AI模型训练数据的收集。

技术领域

本发明涉及数据采集领域，尤其是涉及一种用于人机交互类AI模型训练的数据收集方法及装置。

背景技术

现在学术界和业界已经推出了许多公开可用的问答数据集。但是这些数据都针对单轮的问答体验，在实际使用中，多轮检索可以提供更精确的答案和更加友好的用户体验。人机交互允许用户通过输入自然语言（例如通过打字，说话，手势或执行其他类型的表达）与机器进行通信。为了达到这个目的，多轮检索系统需要对于问答搜索的上下文进行理解，从而可以更加精确的推理出用户的意图并且给出更加相关的检索答案。多轮检索系统本质上也可以被理解为多轮对话机器人，这里的对话是一种广泛意义上的人机交互。

然而，由于数据收集的高昂成本，市面上还没有任何基于多轮的会话搜索数据集，因此关于多轮检索的成熟系统非常稀少。通常，许多企业系统在构建多轮检索系统时遇到的一些困难可能包括以下方面。例如，可用于训练的对话数据可能太稀疏。构建人机交互系统的挑战之一是在特定域中收集足够的对话数据。有些领域域，包括天气，股票，体育，餐馆等可能存在存留数据，但是企业可能从事特定行业，因此可能有兴趣采用针对一个或多个特定域的人机交互系统。但是，可能很难为特定企业的目标操作收集高质量的对话数据，这可能需要针对一个或多个特定域中的每个域唯一的大量数据。必须提供足够大量的数据来训练对话机器人。

此外，企业可能要求高精度。人机交互系统可能需要在特定业务中以高精度响应客户。如果人机交互系统提供了错误的信息，则可能会带来严重的影响。因此，许多将由企业使用的人机交互系统都是通过基于规则或基于对话流的方法构建的，其中仅允许用户遵循预定义的方案。否则，人机交互系统可能无法生成正确的响应。在需要复杂对话或专业领域知识（例如法律，医学或销售）的业务中应用人机交互系统也非常困难。

发明内容

本发明主要是解决现有技术所存在的缺乏基于多轮对话的数据集的技术问题，提供一种高效、高精度的人机交互类数据收集方法和装置。

本发明针对上述技术问题主要是通过下述技术方案得以解决的：一种数据收集方法，包括以下步骤：

S01、建立初始对话框树；

S02、对对话框树中的一个节点进行采样，并使采样获得的数据样本内容多样化；

S03、遍历步骤S02中所选择的节点的每一个父节点，制作一个完整的对话历史记录；

S04、注释步骤S02所选节点的答案，使得对话框树得到扩展，并得到新的对话列表，对话列表包括步骤S03中制作的对话历史记录以及本步骤中注释的答案；

S05、重复步骤S02-S04，直至对话列表的数量达到预设值；

所述步骤S02具体为：

S201、对用户配置文件进行采样：根据现有对话数据，计算当前用户的概率分布p(U_i|D_i)，U_i是当前轮次用户档案的分布，D_i是当前轮次对话数据，i是当前轮的轮次，i1，计算公式如下：

p(U_i|D_i)=p(U_i-1|D_i-1)p(U_i-1|α₀)