[发明专利]一种文本处理方法、系统、设备及介质

说明书

本发明提供一种文本处理方法、系统、设备及介质，涉及人工智能技术领域，通过对获取的音频数据进行识别，生成原始识别文本；将原始识别文本进行合并，并对合并文本进行序号标记，记录原始识别文本在合并文本中的开始序号和结束序号，得到序号区间；关联所有序号区间，形成目标字典；对截取文本进行目标文本识别，并确定截取文本的开始序号和结束序号在目标字典中的区间位置，以及确定截取文本横跨原始识别文本的文本段落数量；将文本段落数量与预设阈值进行比较，根据比较结果对截取文本进行段落切分，获取段落切分结果。本发明不会让得到的段落切分结果与原始识别文本存在差异，而且本发明也仅完成一次切分，并不需要对切分结果进行再次确认。

技术领域

本发明涉及人工智能技术领域，特别是涉及一种文本处理方法、系统、设备及介质。

背景技术

在一些咨询类的项目对话中，目前一般会通过算法模型或是正则引擎来判断客服（例如人工客服、智能客服）和客户的对话是否存在违规语句。由于客服和客户之间一般是通过语音对话或文本对话来完成对应的对话咨询，所以对于语音对话而言，常规的识别方式是将客服与客户之间对话形成的语音转换为语音文本，然后再对语音文本进行识别，确定客服和客户之间的对话是否存在违规语句。但是，在将客服与客户之间对话形成的语音转换为语音文本时，由于客户或客服说话的间断性，可能会导致对应的语音文本被不规则地分为多个原始识别文本。如果对这多个原始识别文本进行文本识别，可能并不能真实地反应出客服和客户之间的对话是否存在违规语句。因此，在实际应用中，一般会将多个原始识别文本进行合并，形成一整段话，然后再将这一整段话作为输入来实现违规文本的识别。同时，在输出违规语句文本识别结果时，再将多个原始识别文本之间的段落信息添加至识别结果中，从而得到真实的违规语句识别结果。

但是，现有技术在对违规语句识别结果进行段落切分时，可能会出现错误切分或低效率切分的情况，例如可能会存在以下几种错误切分或低效率切分的情况：（1）当多个存在部分重合的原始识别文本均在违规语句识别结果中出现时，若直接按照部分重合的原始识别文本来对违规语句识别结果进行切分，可能会导致切分后的段落与原始识别文本存在差异。（2）在对违规语句识别结果进行段落切分时，如果存在子串关系的，按照只保留最长的原始识别文本来对违规语句识别结果进行切分，则切分后的段落可能也会与原始识别文本存在差异。（3）通过记录多个原始识别文本的段落序号，然后根据最多连续序号的所有段落来对违规语句识别结果进行切分，这种段落切分方式虽然能够得到正确的原始识别文本，但是在存在重复的段落或文本时，会再次从多个原始识别文本中进行具体序号的确认，从而会在记录序号时多一层循环操作，让后面判断最多连续序号时多了额外的计算量，导致整体运行效率并不高。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种文本处理方法、系统、设备及介质，用于解决现有技术对违规语句识别结果进行错误分段的问题。

为实现上述目的及其他相关目的，本发明提供一种文本处理方法，所述方法包括以下步骤：

获取第一目标对象与第二目标对象形成的音频数据，并对所述音频数据进行识别，生成多个原始识别文本；

将所述多个原始识别文本进行合并，形成合并文本，以及对所述合并文本中的每个文本字符进行序号标记，并以区间形式记录每个原始识别文本在所述合并文本中的开始序号和结束序号，得到每个原始识别文本的序号区间；

关联所有原始识别文本的序号区间，形成目标字典；

从所述合并文本中随机截取部分文本或全部文本进行目标文本识别，并在完成目标文本识别后，分别确定截取文本的开始序号和结束序号在所述目标字典中的区间位置，以及根据所述截取文本的区间位置确定所述截取文本横跨原始识别文本的文本段落数量；

将所述文本段落数量与预设阈值进行比较，并根据比较结果对所述截取文本进行段落切分，获取对应的段落切分结果。

可选地，根据比较结果对所述截取文本进行段落切分，获取对应的段落切分结果的过程包括：