[发明专利]一种建立索引的方法和装置

说明书

本发明公开了一种建立索引的方法和装置，涉及计算机技术领域。该方法的一具体实施方式包括：将输入的文本序列分为多个词，根据所述多个词和所述多个词的子串得到多个词与所述词对应语义项的映射关系；根据所述多个词与所述词对应语义项的映射关系建立第一索引；根据用户的历史搜索数据确定候选词与所述候选词对应语义项的映射关系，并判断所述候选词与所述候选词对应语义项的映射关系是否正确；根据所述判断的结果修正所述第一索引，以得到第二索引。该实施方式能够在商品索引召回阶段，既能够保证召回率以尽可能多地召回与用户搜索词相关的商品，又能提高准确率以尽可能地过滤掉不相关的商品。

技术领域

本发明涉及计算机技术领域，尤其涉及一种建立索引的方法和装置。

背景技术

随着网络技术和物流技术的发展，近年来电商迅速崛起，电商平台的商品数量及种类数量正在成指数级的增长，大型平台都有数十亿的商品，如何更加高效和智能地满足用户的搜索需求是非常大的挑战。用户的搜索词多种多样，同一个事物存在口语化、简称、缩写等多种不同名称，而商品名称通常比较规范且偏书面语，两者之间直接进行文本匹配往往会出现问题。

在电商搜索的初期，商品数比较少，索引可以直接按字切分，最大可能的保证能够召回用户所需的商品，随着商品数量及种类数量逐渐丰富，这种不考虑词序的方法会带来很多问题，比如用户搜“红酒”，喝的红酒和酒红色的衣服，同样可以被召回。因此就有了先分词再建索引的方法，这样固定搭配如“火龙果”，建索引的时候就是整个词一个索引链，不必为“火”“龙”“果”都建索引，大大提高了搜索召回的准确率。但是因为分词精度以及用户搜索词和商品名称不能直接匹配，例如商品中“女士连衣裙”被正常分词为“女士|连衣裙”，但是用户常搜“女裙”、“夏裙女”，文本匹配没有办法召回该商品。因此索引端在正常的分词结果中，又增加了更多细粒度的词，比如上例中在索引字段又增加了“女，裙”，方便用户在搜索“女裙”、“夏裙女”等的时候也能召回名称为“女士连衣裙”的商品。这些增加的更细粒度的词被称为“语义项”，语义项是按字索引到按词索引之间的桥梁。

尽管现有的建立索引的方案中为索引端的分词结果中添加了一些细粒度的词(语义项)，但在实际的搜索应用中仍存在一些缺陷，例如，用户在搜索乐高时，可能得到了高乐高这样的搜索结果，而用户搜索乐高时召回与高乐高相关的商品显然是不符合用户预期的。

在实现本发明过程中，发明人发现现有技术中至少存在如下问题：

现有方案存在召回的商品不准确的问题。

发明内容

有鉴于此，本发明实施例提供一种建立索引的方法和装置，能够在商品索引召回阶段，既能够保证召回率以尽可能多地召回与用户搜索词相关的商品，又能提高准确率以尽可能地过滤掉不相关的商品。

为实现上述目的，根据本发明实施例的一个方面，提供了一种建立索引的方法。

一种建立索引的方法，包括：将输入的文本序列分为多个词，根据所述多个词和所述多个词的子串得到多个词与所述词对应语义项的映射关系；根据所述多个词与所述词对应语义项的映射关系建立第一索引；通过历史搜索数据确定候选词与所述候选词对应语义项的映射关系，以根据所述候选词与所述候选词对应语义项的映射关系修正所述第一索引，获得第二索引。

可选地，所述历史搜索数据包括搜索词和对应的用户点击的文本序列，通过历史搜索数据确定候选词与所述候选词对应语义项的映射关系的步骤，包括：对所述搜索词和所述用户点击的文本序列进行分词，以得到搜索词分词和对应的文本序列分词；根据所述搜索词分词和所述对应的文本序列分词中存在包含关系的搜索词分词和文本序列分词确定所述候选词与所述候选词对应语义项的映射关系。