[发明专利]数据格式转换方法、装置、系统、电子设备及存储介质

说明书

本公开提供了一种数据格式转换方法、装置、系统、电子设备及存储介质，应用于金融科技领域，包括：获取第一数据；获取所述第一数据的第一数据格式和所述第一数据将要转换的第二数据格式；定制所述第一数据格式与所述第二数据格式之间的格式转换算法；根据所述格式转换算法，将所述第一数据转换为具有第二数据格式的第二数据。该方法可通过自定义格式转换规则，将任意格式的数据转换为指定的格式，避免了反复为不同数据格式之间的转换进行编码，从而提升开发效率。

技术领域

本公开涉及金融领域，更具体地，涉及一种数据格式转换方法、装置、系统、电子设备及存储介质。

背景技术

一个企业内部涉及到很多系统，系统间常常需要做数据转发。由于不同系统间数据传输接口不尽相同，系统间进行数据传输常常会遇到这样一种场景：采集上报系统A实时采集其他业务系统B、C、D的数据，然后采集上报系统A将采集的数据转发给各个数据接收系统E、F、G。由于不同的采集上报系统A的采集接口和采集数据格式千差万别，且业务系统B、C、D及数据接收系统E、F、G的接口格式也不都一样，因此，常常需要人工开发，使采集上报系统A的接口与系统B、C、D、E、F、G的接口对接，工作量很大。

发明内容

有鉴于此，本公开提供了一种数据格式转换方法、装置、系统、电子设备及存储介质。

本公开的一个方面提供了一种数据格式转换方法，包括：获取第一数据；获取所述第一数据的第一数据格式和所述第一数据将要转换的第二数据格式；定制所述第一数据格式与所述第二数据格式之间的格式转换算法；根据所述格式转换算法，将所述第一数据转换为具有第二数据格式的第二数据。

根据本公开的实施例，其中，所述定制所述第一数据格式与所述第二数据格式之间的格式转换算法包括：根据将所述第一数据格式转换为所述第二数据格式的转换规则，制定转换流程；根据所述转换流程的各个步骤，分别从预设数据处理算法库中选取执行各个步骤所需的数据处理算法，构成所述格式转换算法。

根据本公开的实施例，其中，通过页面展示的步骤下拉框依次选择所述转换流程的各个步骤，构成所述转换流程；通过页面展示的算法下拉框选择于各所述步骤对应的数据处理算法，构成所述格式转换算法。

根据本公开的实施例，其中，所述转换流程中的步骤至少包括：将所述第一数据拆分为多个数据列；从各所述数据列中截取字符串；所述字符串中选择关键字，并将所述关键字转换为满足所述第二数据格式的关键字；将转换得到的关键字与对应的所述数据列中的数据重新连接组合，生成第二数据。

根据本公开的实施例，其中，所述转换流程中的步骤还包括：将所述数据列进行过滤或反过滤，以筛选指定字符串或正则表达书；和/或将多个所述数据列进行拼接；和/或给所述数据列、所述字符串增加前缀或后缀；和/或去除多余的字符串。

根据本公开的实施例，所述获取所述第一数据包括：从上游数据系统获取所述第一数据；将所述第一数据存储于Kafka队列中；依次从所述Kafka队列中取出所述第一数据，存储于第一数据库中，以待进行数据格式转换。

根据本公开的实施例，其中，所述从上游数据系统获取所述第一数据包括：当所述上游数据系统检测到其所包含的第二数据库中存在数据变化时，将所述第二数据库中变化的数据作为所述第一数据接收。

根据本公开的实施例，还包括：将所述第二数据存储于第三数据库中，以使所述第二数据可查。

根据本公开的实施例，还包括：将所述第二数据转发给下游数据系统。

本公开另一方面提供了一种数据格式转换装置，包括：数据获取模块，用于获取第一数据；格式获取模块，用于获取所述第一数据的第一数据格式和所述第一数据将要转换的第二数据格式；转换算法定制模块，用于定制所述第一数据格式与所述第二数据格式之间的格式转换算法；数据转换模块，用于根据所述格式转换算法，将所述第一数据转换为具有第二数据格式的第二数据。