[发明专利]处理短语数据的方法以及装置

说明书

技术领域

本发明涉及数据领域，特别是指一种处理短语数据的方法以及装置。

背景技术

短语间的相似度计算技术是规范数据格式、去除冗余数据的一个重要技术手段之一，相似度计算技术还有许多其它的重要应用，如文本聚类、自动问答等。

以电子地图中POI(Point Of Interest，兴趣点)为例，POI是指可查找、可定位的包含衣食住行等附属社会信息的地理位置。POI数据具有文本简短和内容丰富的特点，由于POI数据生产厂商获取的POI源数据途径多、来源广，而且由于自然语言表达方式的丰富多样，造成实质上同一个POI有多种不同的表达形式。因此，规范数据格式、去除冗余数据显得尤为重要，这样，既能节约存储空间，提高运行效率，又能改善用户体验。

短语间的相似度是指两个短语的相似程度，即在某一领域背景下可以相互替换使用，而不改变文本的句法、语义以及结构的程度。通常，相似度用0到1之间的实数表示，越相似，相似度值就越大，0表示完全不同，1表示完全相同。

现有技术中，计算短语间的相似度通常为：先计算短语间的距离，再转化为相似度值，距离越小，相似度越高；距离越大，相似度越低。目前计算短语间距离的方法有很多，例如欧氏距离、夹角余弦距离、最长公共子串以及编辑距离方法等，然后通过转换函数，将短语距离转化为短语间相似度。基于通用的计算方法，这种短语间相似度计算方法比较笼统，容易造成相似度值聚集，使得短语间区分不明显，为后期的数据处理带来不利影响。

发明内容

本发明要解决的技术问题是提供一种处理短语数据的方法和装置，能够提高短语间的区分度。

为解决上述技术问题，本发明的实施例提供技术方案如下：

一方面，提供一种处理短语数据的方法，包括：

步骤1，获取第一短语和第二短语，以及所述第一短语和所述第二短语的语义类型，所述第一短语的语义类型和所述第二短语的语义类型相同；

步骤2，根据所述语义类型，查找所述语义类型对应的拆分模板，所述拆分模板包含：至少两个字段类型以及所述字段类型的顺序关系；

步骤3，根据所述拆分模板，分别将所述第一短语和第二短语拆分成字段，并根据所述顺序关系，标识拆分后的所述字段对应的字段类型；

步骤4，分别获取所述第一短语的字段与所述第二短语的字段之间的字段间相似度，所述第一短语的字段的字段类型与所述第二短语的字段的字段类型相同；

步骤5，根据所述字段间相似度，计算所述第一短语和所述第二短语之间的语义相似度；

步骤6，根据所述语义相似度，对所述第一短语和所述第二短语进行处理。

所述步骤5之前，还包括：分别获取所述字段类型的权重；

所述步骤5具体为：根据所述字段间相似度以及所述字段类型的权重，计算所述第一短语和所述第二短语之间的语义相似度。

所述根据所述字段间相似度以及所述字段类型的权重，计算所述第一短语和所述第二短语之间的语义相似度的步骤具体为：

其中，S₁为所述第一短语，S₂为所述第二短语，S_1i为所述第一短语的第i个字段，S_2i为所述第二短语的第i个字段，Sim(S₁，S₂)为所述第一短语和所述第二短语之间的语义相似度，W_i是第i个字段类型的权重，Sim(S_1i，S_2i)是所述第一短语的第i个字段与第二短语的第i个字段之间的字段间相似度，m为所述拆分模板的字段类型的数量，1≤i≤m。

所述分别获取所述字段类型的权重的步骤之前，还包括：

通过训练算法，生成所述字段类型的权重。

所述步骤4具体为：

判断预先设置的语义关系数据库中，是否保存有所述第一短语的字段与所述第二短语的字段对应的语义关系；

如果有，则获取所述语义关系；并根据所述语义关系，获取所述第一短语的字段与所述第二短语的字段之间的字段间相似度；

如果没有，则计算所述第一短语的字段和所述第二短语的字段之间的字段间相似度。

所述根据所述语义关系获取第一短语的字段与第二短语的字段之间的字段间相似度的步骤具体为：

当所述第一短语的字段与所述第二短语的字段对应的语义关系为省略语关系时，字段间相似度为1；