[发明专利]一种索引文件生成方法、装置及系统有效
申请号: | 201710207991.4 | 申请日: | 2017-03-31 |
公开(公告)号: | CN107179953B | 公开(公告)日: | 2020-04-03 |
发明(设计)人: | 何晓娟 | 申请(专利权)人: | 北京奇艺世纪科技有限公司 |
主分类号: | G06F9/54 | 分类号: | G06F9/54;G06F16/901 |
代理公司: | 北京柏杉松知识产权代理事务所(普通合伙) 11413 | 代理人: | 赵元;马敬 |
地址: | 100080 北京市海淀*** | 国省代码: | 北京;11 |
权利要求书: | 查看更多 | 说明书: | 查看更多 |
摘要: | |||
搜索关键词: | 一种 索引 文件 生成 方法 装置 系统 | ||
1.一种索引文件生成方法,其特征在于,所述方法应用于索引文件生成系统中的主设备,所述索引文件生成系统还包括至少两台服务设备,所述方法包括:
获得本地所有用于存储消息的日志文件;
将所述日志文件按预设规则进行分组后发送给各服务设备,以使各服务设备同步地将所接收到的日志文件中的消息发送回所述主设备;
接收并存储各服务设备发送的消息,同时生成各服务设备所发送消息的索引文件;所述消息包括:同一台设备上的应用程序间相互通信的内容或不同设备上的应用程序间相互通信的内容。
2.根据权利要求1所述的方法,其特征在于,所述将所述日志文件按预设规则进行分组后发送给各服务设备的步骤,包括:
根据服务设备的数量,将所述日志文件平均划分为对应数量的日志分组;
将各组日志文件分别发送给各服务设备。
3.根据权利要求1所述的方法,其特征在于,所述将所述日志文件按预设规则进行分组后发送给各服务设备的步骤,包括:
获取各服务设备的当前负载量,并根据所获取的各服务设备的当前负载量,以及日志文件的总数量,确定待发送至各服务设备的日志文件数量;
根据所确定的待发送至各服务设备的日志文件数量,将所述日志文件进行分组;
将包含相应数量日志文件的日志分组发送给对应的服务设备。
4.根据权利要求1-3任一项所述的方法,其特征在于,所述接收并存储各服务设备发送的消息,同时生成各服务设备所发送消息的索引文件的步骤,包括:
接收并存储各服务设备发送的消息;
并行获取各消息的偏移地址,并根据所获取的偏移地址建立B树;
将所述B树存储至新建文件中,并将所述新建文件确定为索引文件。
5.一种索引文件生成方法,其特征在于,所述方法应用于索引文件生成系统中的任一服务设备,所述索引文件生成系统还包括主设备,所述方法包括:
接收所述主设备发送的日志文件,其中,所述日志文件是所述主设备将其本地所有用于存储消息的日志文件按预设规则进行分组后发送给所述服务设备的;
接收消息迁移指令,将所接收到的日志文件中所述消息迁移指令所针对的待迁移消息发送至所述主设备,以使得所述主设备存储所述待迁移消息;所述消息包括:同一台设备上的应用程序间相互通信的内容或不同设备上的应用程序间相互通信的内容。
6.根据权利要求5所述的方法,其特征在于,所述接收消息迁移指令,将所接收到的日志文件中所述消息迁移指令所针对的待迁移消息发送至所述主设备,以使得所述主设备存储所述待迁移消息的步骤,包括:
接收消息迁移指令,获得所述待迁移消息的生产者与消费者,其中,所述待迁移消息为所接收的所述日志文件中的消息,所述消费者为获取消息并将所获取消息发送给所述生产者的应用程序,所述生产者为接收所述消费者所发送消息并生产该消息,并将所生产消息发送至所述主设备的应用程序;
运行各生产者和消费者,使各消费者将其所针对的消息发送至该消息的生产者,以使得所述生产者生产消息并将所生产消息发送给所述主设备。
7.根据权利要求6所述的方法,其特征在于,所述生产者数量、所述消费者数量与所述待迁移消息的目的地对象数量相同,其中,所述目的地对象为所述待迁移消息针对的对象,多个待迁移消息针对一个目的地对象。
8.一种索引文件生成装置,其特征在于,所述装置应用于索引文件生成系统中的主设备,所述索引文件生成系统还包括至少两台服务设备,所述装置包括:
获得模块,用于获得本地所有用于存储消息的日志文件;
发送模块,用于将所述日志文件按预设规则进行分组后发送给各服务设备,以使各服务设备同步地将所接收到的日志文件中的消息发送回所述主设备;
接收模块,用于接收并存储各服务设备发送的消息,同时生成各服务设备所发送消息的索引文件。
该专利技术资料仅供研究查看技术是否侵权等信息,商用须获得专利权人授权。该专利全部权利属于北京奇艺世纪科技有限公司,未经北京奇艺世纪科技有限公司许可,擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作,请联系【客服】
本文链接:http://www.vipzhuanli.com/pat/books/201710207991.4/1.html,转载请声明来源钻瓜专利网。