[发明专利]中文文本的提取方法及装置、电子设备和存储介质

说明书

本公开公开了中文文本的提取方法及装置、电子设备和存储介质，具体涉及数据处理技术领域，对待处理文本数据按照预设分割方法进行处理，得到至少两个文本单元；分别检测每个文本单元中的总字符长度，以及分别检测每个文本单元中的中文字符长度；计算同一文本单元内的所述中文字符长度与所述总字符长度之间的比值；若所述比值超过目标中文占比阈值，则保留当前文本单元内的所有字符。通过以文本数据的行为单位，并根据行中的总字符长度与中文字符长度的比值以及根据行中总字符长度确定的中文占比阈值进行确定是否保留当前行中的全部字符，既有效地提取了中文文本信息，也有效地保留了中文句子中原本包含的其他语言的信息。

技术领域

本公开涉及数据处理技术领域，尤其涉及一种中文文本的提取方法及装置、电子设备和存储介质。

背景技术

目前，针对多语言文本中的中文文本的提取，通常采用下述方法：在提取中文文本时，仅提取中文字符。

上述方法虽然能够进行提取中文文本，但是，该种方法提取出的文本中只保留中文文本，这样会损失中文文本中原本包含的其他语言的信息。

发明内容

本公开提供了一种中文文本的提取方法、装置、电子设备和存储介质。其主要目的在于解决现有技术中，提取出的中文本会损失中文句子中原本包含的其他语言信息的问题。

根据本公开的第一方面，提供了一种中文文本的提取方法，其中，包括：

对待处理文本数据按照预设分割方法进行处理，得到至少两个文本单元；

分别检测每个文本单元中的总字符长度，以及分别检测每个文本单元中的中文字符长度；

计算同一文本单元内的所述中文字符长度与所述总字符长度之间的比值；

若所述比值超过目标中文占比阈值，则保留当前文本单元内的所有字符。

可选的，所述方法还包括：

若所述比值未超过目标中文占比阈值，则删除所述当前文本单元中的所有字符。

可选的，所述对待处理文本数据按照预设分割方法进行处理，得到至少两个文本单元包括：

对所述待处理文本数据进行解析，获取所述待处理文本数据中的每一行；

以行为单位对所述待处理文本数据进行分割处理，得到至少两个文本单元。

可选的，在保留当前文本单元内的中文字符之前，所述方法还包括：

从预设长度比值映射表中，查找与所述文本单元中的总字符长度对应的目标中文占比阈值。

可选的，所述分别检测每个文本单元中的中文字符长度包括：

去除每个文本单元中的预设字符；

检测去除预设字符后的文本单元中的中文字符长度。

可选的，所述保留当前文本单元内的所有字符包括：

采用fastText算法提取所述当前文本单元内的中文字符。

根据本公开的第二方面，提供了一种中文文本的提取装置，包括：

处理单元，用于对待处理文本数据按照预设分割方法进行处理，得到至少两个文本单元；

检测单元，用于分别检测每个文本单元中的总字符长度，以及分别检测每个文本单元中的中文字符长度；

计算单元，用于计算同一文本单元内的所述中文字符长度与所述总字符长度之间的比值；

保留单元，用于当所述比值超过目标中文占比阈值时，保留当前文本单元内的所有字符。