[发明专利]语料处理方法、装置、电子设备及存储介质

说明书

本申请提出一种语料处理方法、装置、电子设备及存储介质，其中方法包括：获取语料处理请求，其中，语料处理请求包括：语料表格文件、语料表格文件对应的模型的属性信息、以及处理类型；根据模型的属性信息对语料表格文件进行解析，获取语料表格文件中的语料内容；根据处理类型对语料内容进行处理，确定模型的语料记录，从而能够利用表格文件的筛选、编辑、批量处理功能，方便用户对语料表格文件进行调整等处理，提高语料处理效率。

技术领域

本申请涉及数据处理技术领域，尤其涉及一种语料处理方法、装置、电子设备及存储介质。

背景技术

目前，自然语言处理技术涉及大量模型的训练与使用。训练模型时，采用txt格式的文件作为语料的处理媒介。训练模型时，读取txt格式的文件，对该文件进行解析获取语料，将语料作为模型的输入，对模型进行训练。

上述方案中，用户在对txt格式的文件中的语料进行调整，例如删除、修改、新增时，由于txt格式的文件的功能限制，难以有效的对txt格式的文件中的语料进行调整，进而降低了语料处理效率。

发明内容

本申请旨在至少在一定程度上解决相关技术中的技术问题之一。

本申请提出一种语料处理方法、装置、电子设备及存储介质。

本申请第一方面实施例提出了一种语料处理方法，包括：获取语料处理请求，其中，所述语料处理请求包括：语料表格文件、所述语料表格文件对应的模型的属性信息、以及处理类型；根据所述模型的属性信息对所述语料表格文件进行解析，获取所述语料表格文件中的语料内容；根据所述处理类型对所述语料内容进行处理，确定所述模型的语料记录。

本申请实施例的语料处理方法，通过获取语料处理请求，其中，语料处理请求包括：语料表格文件、语料表格文件对应的模型的属性信息、以及处理类型；根据模型的属性信息对语料表格文件进行解析，获取语料表格文件中的语料内容；根据处理类型对语料内容进行处理，确定模型的语料记录，从而能够利用表格文件的筛选、编辑、批量处理功能，方便用户对语料表格文件进行调整等处理，提高语料处理效率。

可选地，所述属性信息中包括：所述模型的类型；所述根据所述模型的属性信息对所述语料表格文件进行解析，获取所述语料表格文件中的语料内容，包括：根据所述属性信息中的所述类型，确定对所述语料表格文件的解析策略；按照所述解析策略对所述语料表格文件进行解析，获取所述语料内容。

可选地，所述处理类型包括以下类型中的至少一种：新建类型、新增类型以及替换类型。

可选地，所述属性信息中包括：所述模型的标识；所述根据所述处理类型对所述语料内容进行处理，确定所述模型的语料记录，包括：在所述处理类型为新建类型时，生成包括有所述模型的标识的语料记录信息；根据所述语料记录信息以及所述语料内容，生成所述模型的所述语料记录。

可选地，所述根据所述处理类型对所述语料内容进行处理，确定所述模型的语料记录，包括：在所述处理类型为新增类型时，查询与所述属性信息匹配的已有语料记录信息；将所述语料内容添加到与所述已有语料记录信息对应的已有语料内容中，得到处理后语料内容；将所述已有语料记录信息以及所述处理后语料内容，确定为所述模型的所述语料记录。

可选地，所述根据所述处理类型对所述语料内容进行处理，确定所述模型的语料记录，包括：在所述处理类型为替换类型时，查询与所述属性信息匹配的已有语料记录信息；将与所述已有语料记录信息对应的已有语料内容替换为所述语料内容；将所述已有语料记录信息以及所述语料内容，确定为所述模型的所述语料记录。

可选地，所述方法还包括：获取语料下载请求，其中，所述语料下载请求中包括：待下载的语料记录信息；根据所述语料记录信息查询已有的语料记录，获取与所述语料记录信息对应的待下载语料内容；对所述待下载语料内容进行格式转换，得到待下载语料表格文件并提供给所述语料下载请求的请求方。