[发明专利]数据处理方法及装置、系统、计算机设备及可读介质

说明书

本发明提供一种数据处理方法及装置、系统、计算机设备及可读介质。其方法包括：根据接收到的检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；根据内存服务模块中存储的实时数据，验证检索结果是否发生更新；若发生，根据内存服务模块中存储的实时数据对检索结果进行更新。本实施例的技术方案，可以采用倒排索索引的方式在互联网的内容库中进行检索，且可以支持中文检索，能够有效地缩短互联网的内容库中的检索时长，提高检索效率，从而能够大大地提高检索性能。

技术领域

本发明涉及计算机应用技术领域，尤其涉及一种数据处理方法及装置、系统、计算机设备及可读介质。

背景技术

随着互联网业务的发展，互联网中的内容库的数据量越来越大，用于日常运营检索的数据量已经飙升至千万条。

现有技术中，内容库多采用MySQL数据库来存储数据。该MySQL数据库瑞典MySQLAB公司开发的一种关系型数据库管理系统。实际使用中，内容库中的数据存储在MySQL数据库中。检索数据时，直接使用检索词在MySQL数据库中进行查询，以获取查询结果。

但是，现有的MySQL数据库在大规模数据量下的检索，例如尤其是中文检索耗时较长，导致检索效率较低。

发明内容

本发明提供一种数据处理方法及装置、系统、计算机设备及可读介质，用于缩短中文检索耗时较长，提高互联网的内容库中的检索效率。

本发明提供的一种数据处理方法，所述方法包括：

根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果；

根据内存服务模块中存储的实时数据，验证所述检索结果是否发生更新；

若发生，根据所述内存服务模块中存储的实时数据对所述检索结果进行更新。

进一步可选地，在如上所述的方法中，根据内存服务模块中存储的实时数据，验证所述检索结果是否发生更新，具体包括：

获取所述检索结果中的数据标识；

判断所述内存服务模块中存储的实时数据中是否包括所述数据标识对应的实时数据；

若包括，确定所述检索结果发生更新；

对应地，根据所述内存服务模块中存储的实时数据对所述检索结果进行更新，具体包括：

根据所述内存服务模块中存储的所述数据标识对应的实时数据，对所述检索结果进行更新。

进一步可选地，在如上所述的方法中，根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果，具体包括：

根据所述检索请求和所述中间件服务模块中的倒排索引表，从所述中间件服务模块中获取对应的检索结果。

进一步可选地，在如上所述的方法中，根据检索请求，基于倒排索引的方式从中间件服务模块中获取检索结果之前，所述方法还包括：

若发生数据变化时，将变化的数据更新至持久化存储模块中；

将所述变化的数据更新至所述中间件服务模块中；

将所述变化的数据存储至所述内存服务模块中，同时为所述变化的数据设置预设时间长度的生命周期。

进一步可选地，在如上所述的方法中，将所述变化的数据更新至所述中间件服务模块中，具体包括：

将所述变化的数据加入消息队列中；

根据所述消息队列中的所述变化的数据，更新所述中间件服务模块中的存储的数据和倒排索引表。