[发明专利]用于改述语料的数据处理方法及装置

说明书

本申请公开了一种用于改述语料的数据处理方法及装置。该方法包括生成含有任务对话的种子模板；根据所述种子模板批量发布众包任务并获得改述语料；测评所述改述语料是否符合预设语料入库条件；以及如果测评所述改述语料符合预设语料入库条件，则将所述改述语料入库。本申请解决了无法高效地收集到高质量的语料数据的技术问题。通过本申请中的数据处理方法能够高效、准确地收集处理同一个意思不同自然语言表达的改述语料数据。此外，通过本申请得到的语料数据可以用于自然语言生成或理解。

技术领域

本申请涉及自然语言生成领域，具体而言，涉及一种用于改述语料的数据处理方法及装置。

背景技术

自然语言生成(英文全称：Natural Language Generation，简称：NLG)是任务导向型对话系统的重要组成模块之一。

发明人发现，常用的构造自然语言生成模块的方法，无法高效地收集到高质量的语料数据。

针对相关技术中无法高效地收集到高质量的语料数据的问题，目前尚未提出有效的解决方案。

发明内容

本申请的主要目的在于提供一种用于改述语料的数据处理方法及装置，以解决无法高效地收集到高质量的语料数据的问题。

为了实现上述目的，根据本申请的一个方面，提供了一种用于改述语料的数据处理方法，用于处理同一个意思不同自然语言表达的改述语料数据。

根据本申请的用于改述语料的数据处理方法包括：生成含有任务对话的种子模板；根据所述种子模板批量发布众包任务并获得改述语料；测评所述改述语料是否符合预设语料入库条件；以及如果测评所述改述语料符合预设语料入库条件，则将所述改述语料入库。

进一步地，生成含有任务对话的种子模板包括：对目标领域建模得到用于任务对话的语义框架；根据语义框架建立对话剧本；以及根据所述对话剧本生成用于语料泛化的种子模板。

进一步地，测评所述改述语料是否符合预设语料入库条件包括：测评所述改述语料在生成或上传时是否符合第一预设语料入库条件；如果测评所述改述语料符合预设语料入库条件，则将所述改述语料入库包括：如果测评所述改述语料在生成或上传时符合第一预设语料入库条件，则将生成的所述改述语料入库。

进一步地，测评所述改述语料是否符合预设语料入库条件包括：如果测评所述改述语料在生成或上传时不符合第一预设语料入库条件，则发布校验所述改述语料的众包任务是否符合第二预设语料入库条件；如果测评所述改述语料符合预设语料入库条件，则将所述改述语料入库包括：如果发布校验所述改述语料的众包任务符合第二预设语料入库条件，则将满足第二预设语料入库条件的所述改述语料入库。

进一步地，根据所述种子模板批量发布众包任务并获得改述语料包括：选择需要被改述的所述种子模板并确定任务发布条件；将所述种子模板通过社交网络服务器数据接口批量发布所述众包任务；以及接收完成所述众包任务获得的改述语料。

为了实现上述目的，根据本申请的另一方面，提供了一种用于改述语料的数据处理装置，用于处理同一个意思不同自然语言表达的改述语料数据。

根据本申请的用于改述语料的数据处理装置包括：生成模块，用于生成含有任务对话的种子模板；发布模块，用于根据所述种子模板批量发布众包任务并获得改述语料；测评模块，用于测评所述改述语料是否符合预设语料入库条件；以及入库模块，用于在测评所述改述语料符合预设语料入库条件时，将所述改述语料入库。

进一步地，所述生成模块包括：领域建模单元，用于对目标领域建模得到用于任务对话的语义框架；对话剧本单元，用于根据语义框架建立对话剧本；以及种子模板单元，用于根据所述对话剧本生成用于语料泛化的种子模板。