[发明专利]一种基于大数据技术与相似度算法的流向数据处理系统

权利要求书

1.一种基于大数据技术与相似度算法的流向数据处理系统，其特征在于，包括：

数据样本更新模块(1)，该数据样本更新模块(1)用于持续更新行业标准数据样本；

商业数据收集模块(2)，用于收集流向数据；

数据处理模块(3)，针对相似的医疗信息，进行大批量数据的关联处理、清洗、合并动作；

AI智能模型训练模块(4)，用于将文本之间的相似组成提取出来并进行相应的训练；以及

相似度算法模块(5)，计算相近的向量数据的量化近似值进行对比，得到匹配文本；

其中，所述数据样本更新模块(1)和商业数据收集模块(2)均包括ETL工具(6)，所述ETL工具(6)提供了数据收集、数据装换的能力，能够针对csv流向数据进行数据处理以及格式处理。

2.根据权利要求1所述的一种基于大数据技术与相似度算法的流向数据处理系统，其特征在于：所述数据样本更新模块(1)和商业数据收集模块(2)还都包括有数据存储模块(7)，所述数据存储模块(7)用于提供csv流向数据的暂存和备份的功能。

3.根据权利要求1所述的一种基于大数据技术与相似度算法的流向数据处理系统，其特征在于：所述数据处理模块(3)包括大数据引擎SPARK(8)，该大数据引擎SPARK(8)用于读取数据存储模块(7)中存储的csv流向数据，并执行AI智能模型训练模块(4)和相似度算法模块(5)。

4.根据权利要求1所述的一种基于大数据技术与相似度算法的流向数据处理系统，其特征在于：所述AI智能模型训练模块(4)包括智能分词模块(9)和向量训练模块(10)，其中，智能分词模块(9)用于提取文本之间的相似组成，所述向量训练模块(10)用于体现相似组成的相近向量数据。

5.根据权利要求1所述的一种基于大数据技术与相似度算法的流向数据处理系统，其特征在于：所述相似度算法模块(5)具体为余弦相似度算法模块(10)。