[发明专利]一种基于神经网络架构搜索技术的对话文本情景划分方法

说明书

本发明公开了一种基于神经网络架构搜索技术的对话文本情景划分方法，方法包括：对话文本句向量转换，构建句向量模型将对话文本语句转换为同一维度的句向量特征；将对话文本按照语义特征划分为若干段落，构建分段模型，将对话文本分段作为序列标注任务，使用三个分段符号标识一个文本段落；在模型中使用CRF约束最后输出分段符号之间的先后顺序，并基于神经网络架构搜索技术搜索循环神经网络RNN结构；将离散的文本段落按照对话情景划分和对话文本聚类，并调整最后的聚类效果形成聚类簇。本发明解决了训练样本短缺的问题，对于对话文本领域一些下游任务能提供更好的支持，有着更强的对话语义捕获能力，可以更好地将对话文本按照情景进行划分。

技术领域

本发明涉及自然语言处理技术领域，尤其涉及一种基于神经网络架构搜索技术的对话文本情景划分方法。

背景技术

随着计算机网络的发展，一类以对话为主体的文本数据逐渐增多，如社交聊天、客服对话、医患诊断、AI问答等。通过对对话文本进行建模并其按照情景进行划分，能够更好地理解对话文本中的语义信息，对许多下游任务都能提供良好的支持。对话文本情景划分有着十分广阔的应用前景，并已经成为自然语言处理领域的研究热点。

作为自动机器学习的子领域之一，神经网络架构搜索是一种针对特定任务来设计的用于自动搜索网络模型架构的技术。神经网络架构搜索技术具有十分广阔的应用价值与研究意义，近年来得到了研究人员的广泛关注，并取得了一定的研究进展。搜索空间、搜索策略、评估是评估神经网络架构搜索技术最重要的三个方向，其中，搜索空间定义了网络架构的基本单元或者操作方式，而搜索策略则定义了从搜索空间中搜索一个完整的子架构的具体实现方法，最后评价策略负责对搜索到的子架构的最终表现进行打分，并将得分结果返回给搜索策略，指导其进行下一步的搜索过程。

强化学习是神经网络架构搜索技术中常用的一种搜索策略。基于强化学习的神经网络架构搜索方法中，通常是用循环神经网络(RNN)来采样一个子网络结构，之后在任务训练集上训练该子网络结构至收敛，根据该子网络结构最终表现算出其得分，将该得分作为强化学习中的奖励来更新RNN模型。其中搜索子网络架构的RNN模型又被称为控制器(Controller)，它会按照设定在不同时间步搜索指定的网络架构参数。控制器和搜出的网络架构的权重交替更新，其中搜出的网络架构权重更新时，控制器权重参数保持不变；而在控制器更新期间，会对以往搜出的网络架构采样进行评估。

在目前对话文本情景划分方法中，对话语义捕获能力较差，不能通过构建正负样本对来提取语义信息的中句向量，且在对话语义的捕获过程中，存在训练样本短缺的问题，不能为对话文本领域相关下游任务提供更好的支持。

发明内容

本发明的目的在于克服现有技术的不足，提供一种基于神经网络架构搜索的对话文本情景划分方法，使用神经网络架构搜索技术完成了对话文本中关键模型的搜索，解决了训练样本短缺的问题，有着更强的对话语义捕获能力，并结合情景段落聚类算法，可以更好地将对话文本按照情景进行划分。

本发明的目的是通过以下技术方案来实现的：

一种基于神经网络架构搜索技术的对话文本情景划分方法，包括以下步骤：

步骤一：对话文本句向量转换，训练一个用于捕获对话语义信息的句向量模型，在句向量模型构建完成后，利用模型将对话文本语句转换为同一维度的句向量特征；

步骤二：将对话文本按照语义特征划分为若干段落，构建分段模型，将对话文本分段作为序列标注任务，使用三个分段符号标识一个文本段落；在分段模型中使用条件随机场CRF约束最后输出分段符号之间的先后顺序，并基于神经网络架构搜索技术搜索一种用于捕获对话语义信息的循环神经网络RNN结构；

步骤三：将离散的文本段落按照对话情景划分，基于DBSCAN算法提出一种对话段落情景聚类算法进行对话文本聚类，并通过调控密度半径和样本阈值调整最后的聚类效果，最后形成的聚类簇即可视为划分好的对话情景。