[发明专利]视频数据的分布式索引方法及分布式索引系统

说明书

技术领域

本发明涉及信息检索技术，尤其涉及一种视频数据的分布式索引方法及分布式索引系统。

背景技术

索引技术是搜索引擎的核心技术之一，索引技术的好坏直接影响到搜索引擎的查准率以及对用户的响应速度。

但在实际应用时存在一个值得关注的问题：随着被索引文件的增多，索引时间成线性增长，导致建索引的过程会影响搜索体验；在搜索引擎应用中，当索引文件量达到一定等级时，搜索引擎就遇到性能瓶颈。

目前，视频数据大致可以包括专辑（或称为长视频）和用户上传视频（UGC）。对于UGC视频来说，具有数据信息非常多的特点。因此，大量的UGC视频数据必然导致索引文件大量增多，由此导致增加索引时间，最终使得搜索引擎遇到性能瓶颈。

综上所述，现有技术中存在UGC视频数据量非常大、数据信息多，导致搜索引擎遇到性能瓶颈的问题，因此有必要提出改进的技术手段解决上述问题。

发明内容

本发明的主要目的在于提供一种视频数据的分布式索引方法及分布式索引系统，以解决现有技术存在的UGC视频数据量非常大、数据信息多，导致搜索引擎遇到性能瓶颈的问题。

为了解决上述问题，根据本发明的一方面提供了一种视频数据的分布式索引方法，其包括：设置一个控制节点和多个数据节点，其中，所述控制节点分别记录每个数据节点的性能信息；所述控制节点接收到用户端上传的视频数据；所述控制节点根据每个数据节点的性能信息选定一个数据节点，并控制该被选定的数据节点建立所述视频数据的倒排索引文件。

其中，所述控制节点定期采集每个数据节点的性能信息，所述性能信息包括以下至少之一：数据处理能力、数据存储量、负载信息。

其中，所述方法还包括：所述控制节点控制该被选定的数据节点存储所述倒排索引文件，并控制另一数据节点备份所述倒排索引文件。

其中，所述方法还包括：所述控制节点接收来自用户端的视频数据的查询信息；所述控制节点在所述多个数据节点中广播所述查询信息；所述控制节点接收存储有与该查询信息相对应的倒排索引文件的数据节点返回的查询结果；所述控制节点将所述查询结果返回至所述用户端。

其中，如果所述控制节点接收到多个数据节点返回的查询结果，则所述方法还包括：所述控制节点合并多个查询结果形成结果集返回至所述客户端。

根据本发明的另一方面，还提供了一种分布式索引系统，其包括：一个控制节点和多个数据节点，其中，所述控制节点包括：记录模块，用于分别记录每个数据节点的性能信息；第一接收模块，用于接收用户端上传的视频数据；第一控制模块，用于根据每个数据节点的性能信息选定一个数据节点，并控制该被选定的数据节点建立所述视频数据的倒排索引文件。

其中，所述控制节点还包括：采集模块，用于定期采集每个数据节点的性能信息，所述性能信息包括以下至少之一：数据处理能力、数据存储量、负载信息。

其中，所述控制节点还包括：第二控制模块，用于控制该被选定的数据节点存储所述倒排索引文件，并控制另一数据节点备份所述倒排索引文件。

其中，所述控制节点还包括：第二接收模块，用于接收来自用户端的查询视频数据的查询信息；交互模块，用于在所述多个数据节点中广播所述查询信息，并接收存储有与该查询信息相对应的倒排索引文件的数据节点返回查询结果；发送模块，用于将所述查询结果返回至所述用户端。

其中，所述控制节点还包括：合并模块，用于如果所述交互模块接收到多个数据节点返回的查询结果，则合并多个查询结果形成结果集；所述发送模块还用于将所述结果集返回至所述客户端。

根据本发明的技术方案，控制节点接收到用户端上传的视频数据后，根据每个数据节点的性能信息选定建立倒排索引文件的数据节点，多数据节点在控制节点的控制下实现了视频数据的分布式索引，从而提高了查询的准确率并提高了索引效率。

附图说明

此处所说明的附图用来提供对本发明的进一步理解，构成本申请的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：

图1是根据本发明一个实施例的视频数据的分布式索引方法的流程图；

图2是根据本发明另一实施例的视频数据的分布式索引方法的流程图；

图3是根据本发明一个实施例的分布式索引系统的结构框图；

图4是根据本发明另一实施例的分布式索引系统的结构框图；

图5是根据本发明再一实施例的分布式索引系统的结构框图。

具体实施方式