[发明专利]数据流通系统及方法、存储介质、终端

说明书

一种数据流通系统及方法、存储介质、终端，数据流通系统包括：需方数据文件服务模块，适于接收需求方提供的数据文件，数据文件包括多个查询ID；需方数据按需流通服务模块，适于将多个查询ID携带于查询请求中在线发送出去；多个供方数据碰撞服务模块，适于接收查询请求，并比对查询请求中的查询ID与供应方所提供的数据ID，形成碰撞结果，并反馈碰撞结果，碰撞结果包括指示信息，以指示查询ID与数据ID是否一致；多个供方碰撞数据存储服务模块，适于根据碰撞结果记录与查询ID相一致的最终数据ID，以供供应方准备最终数据ID对应的数据并将准备好的数据发送出去。通过本发明技术方案可以提高数据流通的及时性，满足低延迟需求。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种数据流通系统及方法、存储介质、终端。

背景技术

在超大规模多源数据按需异步流通的应用场景下，方法要求更多的数据配送量。超大规模多源数据按需异步流的特点具体体现在如下几个方面：配送数据量比较庞大，数量级经常在亿级别；要求按需流通，按需流通就是实际需求方提出本次配送需求，供应方去尽最大努力准备数据，然后再尽最大努力交付给需求方；单一供应方基本不能满足需求方高覆盖率的要求，需要多供应方协同尽最大努力交付需求方要求的配送量。

现有技术中，数据流通系统通常采用实时在线的方式配送数据。需求方在请求数据之后，供应方在其能够提供需求方所请求的数据时，需要实时将该数据发送给需求方。

但是，现有数据流通方法在大规模多源数据异步流通场景下，无法达到预设的时间要求。

发明内容

本发明解决的技术问题是如何提高数据流通的及时性，满足低延迟需求。

为解决上述技术问题，本发明实施例提供一种数据流通系统，数据流通系统包括：一种数据流通系统，其特征在于，包括：需方数据文件服务模块，适于接收需求方提供的数据文件，所述数据文件包括多个查询ID；需方数据按需流通服务模块，适于将所述多个查询ID携带于查询请求中在线发送出去；多个供方数据碰撞服务模块，适于接收所述查询请求，并比对所述查询请求中的查询ID与供应方所提供的数据ID，形成碰撞结果，并反馈所述碰撞结果，所述碰撞结果包括指示信息，以指示所述查询ID与所述数据ID是否一致；多个供方碰撞数据存储服务模块，适于根据所述碰撞结果记录与所述查询ID相一致的最终数据ID，以供所述供应方准备所述最终数据ID对应的数据并将准备好的数据发送出去。

可选的，所述供应方采用异步方式发送所述准备好的数据。

可选的，所述需方数据按需流通服务模块将单个查询ID携带于所述查询请求，并采用轮询的方式发送至所述多个供方数据碰撞服务模块；或者，所述需方数据按需流通服务模块将所述数据文件分割为设定数量的子文件，并将所述子文件携带于所述查询请求分别发送给不同的供方数据碰撞服务模块，所述设定数量与供应方的数量一致。

可选的，所述数据流通系统还包括缓存；所述缓存存储数据ID以及标识信息，所述标识信息用以指示所述供应方能够提供所述数据ID对应的数据。

可选的，所述数据流通系统还包括：数据装载服务模块，适于将所述供应方所提供的数据ID以多协程并发的方式导入所述缓存。

可选的，所述需方数据文件服务模块将多个供应方发送的所述准备好的数据进行合并后，转发至所述需求方。

可选的，所述需方数据文件服务模块在所述查询请求的发送时刻之后的设定时间段后接收到供应方提供的所述准备好的数据时，则丢弃所述准备好的数据。

可选的，所述数据流通系统还包括供方数据文件服务模块，所述供方数据文件服务模块发送所述准备好的数据。

可选的，所述需方数据文件服务模块对所述数据文件进行安全性校验，并在校验通过后，经由所述需求方数据按需流通服务模块发送出去。