[发明专利]用于语音对话平台的语言模型同步方法及系统

说明书

本发明实施例提供一种用于语音对话平台的语言模型同步方法。该方法包括：从各机房中选取节点作为中间节点，中间节点作为各机房中的剩余代理节点与服务器端之间的交互中介，并向服务器端隐藏剩余代理节点的端口；为各机房中的所有节点配置相同的同步执行策略，同步执行策略包括：收到同步任务指令的第一部分节点向服务器端上下载待同步文件；在上下载结束后，若同步成功，则第一部分节点判断自身角色，根据所述角色进行相应的操作。本发明实施例还提供一种用于语音对话平台的语言模型同步系统。本发明实施例通过划分同步角色减轻了各节点的压力，满足高实时性和并发性的场景，便于后期的维护，隐藏了代理节点的端口，减轻各服务之间的耦合。

技术领域

本发明涉及文件同步领域，尤其涉及一种用于语音对话平台的语言模型同步方法及系统。

背景技术

语音对话平台在接收用户的上传的数据后，为了防止数据由于意外或者其他原因丢失，或者便于用户的调用，需要对用户传输的数据进行同步存储，用户在使用语音对话平台时，会根据开发需求调整语言模型，就需要语音对话平台实时对所述语言模型进行同步存储。

在文件同步中，可以使用基于NFS(Network File System，网络文件系统)的共享存储方案，linux下还有通过一些工具rsync+inotify做的文件同步工具。

基于NFS的共享文件方案通过挂载一个网络存储到制定的机器，机器可以像访问本地磁盘一样访问NFS上的文件，唯一的区别是文件传输依赖于网络。

rsync+inotify通常用作两个主机之间的文件同步，通过inotify监控文件夹下文件的变动，用rsync做增量同步，可以非常高效的完成同步工作。

在实现本发明过程中，发明人发现相关技术中至少存在如下问题：

基于NFS的共享存储在使用到对应为文件时需要经过网络传输，在一些实时性要求比较高和高并发访问的业务场景中不能很好地很好的满足业务需求。

在有多个机房的情况下，要保证相对较低的延迟时每个机房都需要这样一套共享存储系统，同时需要对磁盘做raid独立冗余磁盘阵列，成本比较高。

rsync+inotify通常是一个单机方案，在需要检测一个大文件夹时，文件同步的实时性会比较差，在从单个文件源向多层机房节点同步文件时，同步时间会比较长，无法满足业务需要。

发明内容

为了至少解决现有技术中的同步需要依赖网络，无法满足一些实时性要求比较高和并发性高的场景，在多个机房的时候需要配置相应的共享存储系统，成本较高，在检测较大的文件时，文件同步的实时性较差的问题。

第一方面，本发明实施例提供一种用于语音对话平台的语言模型同步方法，所述语音对话平台包括下发语言模型同步任务的服务器端以及执行所述同步任务的各机房，包括：

从各机房中选取节点作为中间节点，所述中间节点作为各机房中的剩余代理节点与所述服务器端之间的交互中介，并向所述服务器端隐藏所述剩余代理节点的端口；

为各机房中的所有节点配置相同的同步执行策略，所述同步执行策略包括：

收到所述同步任务指令的第一部分节点向所述服务器端上下载待同步文件；

在上下载结束后，所述第一部分节点判断文件是否同步成功；

若同步成功，则所述第一部分节点判断自身角色，

-如果所述角色为代理节点，则由所述代理节点向所述服务器端反馈同步成功；

-如果所述角色为中间节点，将所述同步任务下发至本机房内的剩余代理节点。