[发明专利]词典文件同步方法、装置、服务器及存储介质

说明书

本发明实施例公开了一种词典文件同步方法、装置、服务器及存储介质。该方法包括：当检测到预设位置存储的目标词典文件更新时，则对所述目标词典文件加锁处理，得到待读取目标词典文件；其中，所述目标词典文件是基于预先设置的分发服务中的文件同步子服务发送的；将所述待读取目标词典文件加载至各搜索引擎节点的分词器中，以在接收到分词指令时，基于所述分词器中的待读取词典文件进行分词处理。本发明实施例的技术方案，解决了目标词典生成的技术问题，实现了基于词典数据库中的数据变化，生成目标词典文件，并将目标词典文件同步至搜索引擎节点的技术，从而达到了目标词典文件的及时更新与同步的技术效果。

技术领域

本发明实施例涉及计算机技术领域，尤其涉及一种词典文件同步方法、装置、服务器及存储介质。

背景技术

在搜索引擎中主要设置有词典，基于词典可以提取出文本中的关键词或者将文本划分为多个关键词。随着业务的更新，通常需要扩展词库，因此更新搜索引擎分词词库也称为一个基本需求。

现有技术中更新词库主要依托于词典文件，词典文件生成后一般放置在搜索引擎服务节点本地，需要用户手动触发加载或者重新启动后才能生效，参见图1。进一步的，目前多采用的为分布式搜索引擎，词典文件的生成以及更新单独分布在每台服务器上(参见图2)，当服务器的网络连接出现异常时，或者是当服务器中的词典文件在生成过程中存在异常时，出现各个服务器生成的词典文件存在不一致的情形，导致分词结果也不一致，从而存在用户体验较差的问题。

发明内容

本发明实施例提供了一种词典文件同步方法、装置、服务器及存储介质，将词典文件同步更新至各个分布式搜索引擎节点，从而实现词典文件同步以及分词结果相一致的技术效果。

第一方面，本发明实施例提供了一种词典文件同步方法，应用于分布式搜索引擎中，该方法包括：当检测到预设位置存储的目标词典文件更新时，则对所述目标词典文件加锁处理，得到待读取目标词典文件；其中，所述目标词典文件是基于预先设置的分发服务中的文件同步子服务发送的；

将所述待读取目标词典文件加载至各搜索引擎节点的分词器中，以在接收到分词指令时，基于所述分词器中的待读取词典文件进行分词处理。

第二方面，本发明实施例还提供了一种词典文件同步装置，该装置包括：

待读取目标词典文件得到模块，用于当检测到预设位置存储的目标词典文件更新时，则对所述目标词典文件加锁处理，得到待读取目标词典文件；其中，所述目标词典文件是基于预先设置的分发服务中的文件同步子服务发送的；

分词处理模块，用于将所述待读取目标词典文件加载至各搜索引擎节点的分词器中，以在接收到分词指令时，基于所述分词器中的待读取词典文件进行分词处理。

第三方面，本发明实施例还提供了一种服务器，该服务器包括：

一个或多个处理器；

存储装置，用于存储一个或多个程序；

当所述程序被所述处理器执行，使得所述处理器实现如本发明任意实施例所提供的词典文件同步方法。

第四方面，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如本发明任意实施例所提供的词典文件同步方法。

本发明实施例的技术方案，通过在检测预设位置存储的目标词典文件发生了更新时，对目标词典文进行加锁处理，这样处理的好处在于避免多个线程对目标词典文件的其他操作，保证了目标词典文件的数据一致性。通过将待读取目标词典文件加载至各搜索引擎节点的分词器中，以在接收到分词指令时，基于分词器中的待读取词典文件进行分词处理，解决了现有技术中词典文件同步方法中需要手动加载词典文件，以及各服务器生成的词典文件不一致的技术问题，达到了各服务器生成的词典文件同步以及分词结果一致的技术效果。

附图说明