[发明专利]一种分布式系统中内容资源的处理方法及系统

权利要求书

1.一种分布式系统中内容资源的处理方法，其特征在于，所述方法包括：

将抓取的内容资源存储至分布式系统中的资源池，并在所述资源池中将所述内容资源按既定的任务类型进行划分；

提取写入任务对应的任务类型，分别从所述资源池中提取所述任务类型对应的目标资源；

将所述目标资源按所述任务类型对应的优先级分别写入任务资源表中，并在所述任务资源表中分别对所述目标资源按各自对应的优先级进行排序；所述任务资源表用于缓存从所述资源池中提取的目标资源，各目标资源按对应任务类型的优先级分别进行索引后存储，所述任务资源表以mongodb的形式设置于所述分布式系统的既定节点中；

前端服务器向所述任务资源表发起提取请求，按优先级在任务资源表中进行检索，形成目标记录集后提取至所述前端服务器，供所述前端服务器对所述记录集中的内容资源进行标注。

2.根据权利要求1所述的方法，其特征在于，所述将抓取的内容资源存储至分布式系统中的资源池时，

各数据源分别向所述资源池发送对应的内容资源；

提取所述内容资源自身对应的文本标记，并将所述文本标记进行整合，形成既定标签；

将所述既定标签按所述任务类型进行关联，并将所述内容资源统一按既定的任务类型进行划分。

3.根据权利要求1所述的方法，其特征在于，所述从所述资源池中提取所述任务类型对应的目标资源时，

分别提取所述任务类型各自对应的优先级；

按所述优先级将对应的写入任务进行排序，按优先级顺序分别在所述资源池对所述任务类型的内容资源进行匹配，得到所述任务类型对应的目标资源；

将所述目标资源分别从所述资源池中进行提取。

4.根据权利要求1所述的方法，其特征在于，所述任务资源表分别记录不同优先级对应的目标资源；所述目标资源写入所述任务资源表后，

提取所述目标资源所属的任务类型对应的优先级；

以所述优先级在所述任务资源表中建立索引，根据所述索引将对所述任务资源表中各任务类型对应的目标资源进行排序；

提取所述写入任务对应任务类型的优先级，将所述目标资源按所述写入任务对应任务类型的优先级插入所述任务资源表中，使所述任务资源表中各任务类型的目标资源统一按对应优先级的顺序进行排序。

5.根据权利要求1或4所述的方法，其特征在于，所述方法还包括：

所述任务资源表接收到所述提取请求时，对所述任务资源表中所述任务类型的优先级对应最高的所述目标资源进行检索，形成目标记录集；

将所述目标记录集从所述任务资源表中进行提取，并在所述任务资源表中删除所述目标记录集对应的目标资源；

所述前端服务器将所述目标记录集中的内容资源进行标注。

6.根据权利要求5所述的方法，其特征在于：所述对所述任务资源表中所述任务类型的优先级对应最高的所述目标资源进行检索时，

提取所述提取请求中的分布式锁，根据所述分布式锁对所述任务资源表中进行锁定；

在所述任务资源表中删除所述目标记录集对应的目标资源后，解除所述分布式锁。

7.一种分布式系统中内容资源的处理系统，其特征在于，所述系统包括：

存储模块，用于将抓取的内容资源存储至分布式系统中的资源池，并在所述资源池中将所述内容资源按既定的任务类型进行划分；

写入模块，用于提取写入任务对应的任务类型，分别从所述资源池中提取所述任务类型对应的目标资源；

排序模块，用于将所述目标资源按所述任务类型对应的优先级分别写入任务资源表中，并在所述任务资源表中分别对所述目标资源按各自对应的优先级进行排序；所述任务资源表用于缓存从所述资源池中提取的目标资源，各目标资源按对应任务类型的优先级分别进行索引后存储，所述任务资源表以mongodb的形式设置于所述分布式系统的既定节点中；

提取模块，用于前端服务器向所述任务资源表发起提取请求，按优先级在任务资源表中进行检索，形成目标记录集后提取至所述前端服务器，供所述前端服务器对所述记录集中的内容资源进行标注。