[发明专利]物品描述文本的处理方法、装置和计算机可读存储介质

说明书

本公开涉及一种物品描述文本的处理方法、装置和计算机可读存储介质，涉及人工智能技术领域。该方法包括：从物品的属性数据库中，提取属性词；根据属性词，建立属性词库；根据属性词库配置分词器的分词词库；利用分词器，对目标物品的描述文本进行分词，以得到分词结果。本公开的技术方案能够提高分词结果的准确性。

技术领域

本公开涉及人工智能技术领域，特别涉及一种物品描述文本的处理方法、物品描述文本的处理装置和计算机可读存储介质。

背景技术

随着人工智能技术的发展，计算机能够对人类语句组成的文本进行处理、分析，从而自动识别人类语句的含义，达到人机交流等技术目的。

中文文本和英文文本最大区别就是中文文本的词和词之间没有空格隔开，因此，计算机想要对中文文本进行处理和分析必须首先要对中文文本进行分词。分词结果的好坏直接计算机处理的准确性和效率。例如，目前电商平台中具有海量的物品描述，即物品标题。计算机为了对这些标题进行信息分析和数据挖掘，首要任务就是对这些标题进行分词。

在相关技术中，可以通过爬虫技术扩充分词器的词库，再利用分词器对物品描述进行分词处理。

发明内容

本公开的发明人发现上述相关技术中存在如下问题：词库缺乏对于物品描述中特定名词组合的针对性，导致分词结果准确性差。

鉴于此，本公开提出了一种物品描述文本的处理技术方案，能够提高分词结果的准确性。

根据本公开的一些实施例，提供了一种物品描述文本的处理方法，包括：从物品的属性数据库中，提取属性词；根据所述属性词，建立属性词库；根据所述属性词库配置分词器的分词词库；利用所述分词器，对目标物品的描述文本进行分词，以得到分词结果。

在一些实施例中，按照物品的类型，对所述属性词进行分类；根据分类结果，建立多个不同类型的属性词库；所述对目标物品的描述文本进行分词包括：根据所述目标物品的类型，选取相应类型的属性词库；根据所述分词器中相应类型的属性词库，对目标物品的描述文本进行分词。

在一些实施例中，所述的处理方法，还包括：从所述属性词库中，提取物品的品牌词；根据所述品牌词，建立所述分词器的停用词库；其中，所述分词结果不包含所述停用词库中的词。

在一些实施例中，所述的处理方法，还包括：判断所述分词结果中，是否包含单个文字；在包含单个文字的情况下，判断所述单个文字在所述描述文本中是否具有相邻的单个文字；在具有相邻的单个文字的情况下，将所述单个文字和所述相邻的单个文字组合成一个词，以替换所述分词结果中的所述单个文字和所述相邻的单个文字。

在一些实施例中，所述的处理方法，还包括：判断所述分词结果中是否包含单个文字；在包含单个文字的情况下，判断所述单个文字在所述描述文本中是否具有相邻的字母或数字；在具有相邻的字母或数字的情况下，将所述单个文字和所述字母或数字组合成一个词，以替换所述分词结果中的所述单个文字和所述相邻的字母或数字。

在一些实施例中，所述属性词包括属性名称和相应的属性值，所述属性值用于描述物品是否具有所述属性名称代表的属性；根据属性值判断物品是否具有相应的属性；在具有相应的属性的情况下，删除所述属性词库中的该属性值，保留该属性值相应的属性名称；在不具有相应的属性的情况下，删除所述属性词库中的该属性值和该属性值相应的属性名称。

在一些实施例中，所述的处理方法，还包括：根据所述目标物品的ID(Identification，标识)，从物品的描述数据库中提取所述目标物品的描述文本。

在一些实施例中，所述的处理方法，还包括：每隔预设的周期，重新提取属性词；根据重新提取的属性词，更新所述属性词库。