[发明专利]中文文本的提取方法及装置、电子设备和存储介质

权利要求书

1.一种中文文本的提取方法，其特征在于，包括：

对待处理文本数据按照预设分割方法进行处理，得到至少两个文本单元；

分别检测每个文本单元中的总字符长度，以及分别检测每个文本单元中的中文字符长度；

计算同一文本单元内的所述中文字符长度与所述总字符长度之间的比值；

若所述比值超过目标中文占比阈值，则保留当前文本单元内的所有字符。

2.根据权利要求1所述的方法，其特征在于，所述方法还包括：

若所述比值未超过目标中文占比阈值，则删除所述当前文本单元中的所有字符。

3.根据权利要求1所述的方法，其特征在于，所述对待处理文本数据按照预设分割方法进行处理，得到至少两个文本单元包括：

对所述待处理文本数据进行解析，获取所述待处理文本数据中的每一行；

以行为单位对所述待处理文本数据进行分割处理，得到至少两个文本单元。

4.根据权利要求1所述的方法，其特征在于，在保留当前文本单元内的中文字符之前，所述方法还包括：

从预设长度比值映射表中，查找与所述文本单元中的总字符长度对应的目标中文占比阈值。

5.根据权利要求1所述的方法，其特征在于，所述分别检测每个文本单元中的中文字符长度包括：

去除每个文本单元中的预设字符；

检测去除预设字符后的文本单元中的中文字符长度。

6.根据权利要求1-5中任一项所述的方法，其特征在于，所述保留当前文本单元内的所有字符：

采用fastText算法提取所述当前文本单元内的中文字符。

7.一种中文文本的提取装置，其特征在于，包括：

处理单元，用于对待处理文本数据按照预设分割方法进行处理，得到至少两个文本单元；

检测单元，用于分别检测每个文本单元中的总字符长度，以及分别检测每个文本单元中的中文字符长度；

计算单元，用于计算同一文本单元内的所述中文字符长度与所述总字符长度之间的比值；

保留单元，用于当所述比值超过目标中文占比阈值时，保留当前文本单元内的所有字符。

8.根据权利要求7所述的装置，其特征在于，所述装置还包括：

删除单元，用于当所述比值未超过目标中文占比阈值时，删除所述当前文本单元中的所有字符。

9.一种电子设备，其特征在于，包括：

至少一个处理器；以及

与所述至少一个处理器通信连接的存储器；其中，

所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-6中任一项所述的方法。

10.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行根据权利要求1-6中任一项所述的方法。

11.一种计算机程序产品，其特征在于，包括计算机程序，所述计算机程序在被处理器执行时实现根据权利要求1-6中任一项所述的方法。