[发明专利]基于分布式模型的语义处理方法、设备及可读存储介质

权利要求书

1.一种基于分布式模型的语义处理方法，应用于电子设备，其特征在于，所述方法包括：

根据预设的分组规则将待处理语义单元分成不同的组，并为每组待处理语义单元设置一个键值；

在映射阶段，根据所述键值，将每组待处理语义单元分配到相应的映射器，通过所述映射器对每组待处理语义单元进行相似度的处理，获取每组待处理语义单元的相似度语义处理结果；

在规约阶段，通过规约器对获取的相似度语义计算结果进行规约处理，从而获取所述待处理语义单元的语义处理结果。

2.如权利要求1所述的基于分布式模型的语义处理方法，其特征在于，所述根据预设的分组规则将待处理语义单元分成不同的组，并为每组待处理语义单元设置一个键值，包括如下步骤：

根据所述映射器的数量及计算能力、待处理语义单元的规模，将所述待处理语义单元分成不同的组；

并根据所述键值分配每组待处理语义单元的处理任务。

3.如权利要求2所述的基于分布式模型的语义处理方法，其特征在于，所述每组待处理语义单元的相似度语义处理结果存储于区块链中，所述通过映射器对每组待处理语义单元进行相似度的处理，获取每组待处理语义单元的相似度语义处理结果，包括如下步骤：

根据所述键值，将所述待处理语义单元的处理任务分配给所对应的映射器；

根据分配的处理任务，所述对应的映射器读取分布式文件系统的相对应的待处理语义单元，并进行相似度语义处理；以及，

将每组待处理语义单元的相似度语义处理结果以映射数据结构进行存储。

4.如权利要求3所述的基于分布式模型的语义处理方法，其特征在于，所述相似度语义处理包括欧氏距离相似度处理、余弦距离相似度处理或者明氏距离相似度处理。

5.如权利要求4所述的基于分布式模型的语义处理方法，其特征在于，所述欧氏距离相似度处理的计算公式为：

其中，A表示(a₁，a₂，...，a_n)，B表示(b₁，b₂，...，b_n)，

dist(A,B)表示A与B之间的距离。

6.如权利要求4所述的基于分布式模型的语义处理方法，其特征在于，所述余弦距离相似度处理的计算公式为：

其中，A＝(a₁，a₂，...，a_n)，B＝(b₁，b₂，...，b_n)，

θ表示A与B之间的夹角。

7.如权利要求2所述的基于分布式模型的语义处理方法，其特征在于，所述通过规约器对获取的相似度语义计算结果进行规约处理，从而获取所述待处理语义单元的语义处理结果，包括如下步骤：

将每个映射器计算的相似度语义处理结果传输至归约器；

通过所述归约器对各个相似度语义处理结果进行规约汇总；以及，

将汇总的数据存在至所述分布式文件系统。

8.一种基于分布式模型的语义处理装置，其特征在于，所述装置包括：

分组模块，用于根据预设的分组规则将待处理语义单元分成不同的组，并为每组待处理语义单元设置一个键值；

映射器处理模块，用于在映射阶段，根据所述键值，将每组待处理语义单元分配到相应的映射器，通过所述映射器对每组待处理语义单元进行相似度的处理，获取每组待处理语义单元的相似度语义处理结果；

规约器处理模块，用于在规约阶段，通过规约器对获取的相似度语义计算结果进行规约处理，从而获取所述待处理语义单元的语义处理结果。