[发明专利]一种基于大数据技术与相似度算法的流向数据处理系统

说明书

本发明公开了一种基于大数据技术与相似度算法的流向数据处理系统，涉及流向数据处理技术领域，包括数据样本更新模块、商业数据收集模块、数据处理模块、AI智能模型训练模块和相似度算法模块；所述数据样本更新模块和商业数据收集模块均包括ETL工具，所述ETL工具提供了数据收集、数据装换的能力，能够针对csv流向数据进行数据处理以及格式处理。本发明的有益效果为：通过设置具有提供数据收集、数据装换能力的ETL工具，能够针对csv流向数据进行数据处理以及格式处理，从而就解决了人工录入存在的数据错误、格式错误的问题，收集上来后的数据也不需要工作人员进行格式处理与校验，减少了实际的工作量，提高了工作效率。

技术领域

本发明涉及流向数据处理技术领域，具体为一种基于大数据技术与相似度算法的流向数据处理系统。

背景技术

在医药行业内，一盒药品从药厂生产到商业到终端，是物流流出，资金流回流，以及商务团队把有关商业、连锁、终端信息流收集到一起用于内部管理的全过程，包含代表考核管理，经销商返利管理等，一切都是基于流向数据进行计算。

流向数据的处理是医药企业商务运营的核心，只有基于流向数据才能对销售业绩进行精细化管理。但目前许多招商企业仍然没有重视流向管理。只考核每个代理商的回款数据、发货数据等，更有企业简单粗暴的将ERP数据当作流向数据用，至于销量数据有没有错，代理商将货卖到哪，怎么卖的，终端覆盖率是多少等，企业无法掌握。这种粗放式管理就搞得企业内部流向数据怎么也匹配不对，导致企业外部市场窜货。

医药企业通常会通过csv文件的方式收集代理商的回款数据、发货数据，或者通过数据库拉取ERP系统中的销售数据来获得基础流向数据。将数据同步到流向数据管理平台中。基于这些数据，汇总合计出对应的销售代表的销售业绩以及经销商的销售情况。但这种方式存在的问题在于：通过csv文件的方式收集的内容为人工录入，无法避免会存在数据错误、格式错误的情况，收集上来后需要进行格式处理与校验，处理过程需要人工参与，工作量大。

发明内容

针对现有技术的不足，本发明提供了一种基于大数据技术与相似度算法的流向数据处理系统，解决了上述背景技术中提出的问题。

为实现以上目的，本发明通过以下技术方案予以实现：一种基于大数据技术与相似度算法的流向数据处理系统，包括：

数据样本更新模块，该数据样本更新模块用于持续更新行业标准数据样本；

商业数据收集模块，用于收集流向数据；

数据处理模块，针对相似的医疗信息，进行大批量数据的关联处理、清洗、合并动作；

AI智能模型训练模块，用于将文本之间的相似组成提取出来并进行相应的训练；以及

相似度算法模块，计算相近的向量数据的量化近似值进行对比，得到匹配文本；

其中，所述数据样本更新模块和商业数据收集模块均包括ETL工具，所述ETL工具提供了数据收集、数据装换的能力，能够针对csv流向数据进行数据处理以及格式处理。

上述方案中，通过设置具有提供数据收集、数据装换能力的ETL工具，能够针对csv流向数据进行数据处理以及格式处理，从而就解决了人工录入存在的数据错误、格式错误的问题，收集上来后的数据也不需要工作人员进行格式处理与校验，减少了实际的工作量，提高了工作效率。

优选的，所述数据样本更新模块和商业数据收集模块还都包括有数据存储模块，所述数据存储模块用于提供csv流向数据的暂存和备份的功能。

优选的，所述数据处理模块包括大数据引擎SPARK，该大数据引擎SPARK用于读取数据存储模块中存储的csv流向数据，并执行AI智能模型训练模块和相似度算法模块。