[发明专利]文件处理方法及装置、计算机可读存储介质和电子设备

说明书

技术领域

本公开涉及数据处理技术领域，尤其涉及一种文件处理方法、文件处理装置以及实现该文件处理方法的计算机可读存储介质和电子设备。

背景技术

金融行业投资交易软件的种类繁多，证券、基金公司一般会同时使用多家厂商的投资交易软件。通常大型软件厂商的市场占有率比较高，证券、基金公司会考虑将其他小型软件厂商的软件交易数据导入到大型软件厂商的软件中进行资产管理，这里就会涉及到数据文件的导入。一般投资交易系统需要支持数据文件导入功能，同时又要进行实时的交易。但当数据文件比较大的时候，就有可能出现交易端的压力过大，从而影响实时交易功能。

因此，有必要提供一种新的技术方案改善上述方案中存在的一个或者多个问题。

需要说明的是，在上述背景技术部分公开的信息仅用于加强对本公开的背景的理解，因此可以包括不构成对本领域普通技术人员已知的现有技术的信息。

发明内容

本公开的目的在于提供一种文件处理方法、文件处理装置以及实现该文件处理方法的计算机可读存储介质和电子设备，进而至少在一定程度上克服由于相关技术的限制和缺陷而导致的一个或者多个问题。

本公开的其他特性和优点将通过下面的详细描述变得显然，或部分地通过本公开的实践而习得。

根据本公开实施例的第一方面，提供一种文件处理方法，所述方法包括：读取指定路径的文件数据；根据预设规则判断当前是否适合作数据导入处理；当判定当前适合作数据导入处理时，将所述文件数据导入至数据库中。

本公开的一种示例性实施例中，根据预设规则判断当前是否适合作数据导入处理包括：判断交易菜单对应的业务时间是否处于交易时间段内；当所述业务时间不处于所述交易时间段内时，则允许执行数据导入处理。

本公开的一种示例性实施例中，根据预设规则判断当前是否适合作数据导入处理包括：当所述业务时间处于所述交易时间段内时，判断系统的任务处理队列中的任务数是否小于第一预设阈值；当所述任务数大于等于所述第一预设阈值时，则暂停数据导入处理。

本公开的一种示例性实施例中，根据预设规则判断当前是否适合作数据导入处理包括：当所述任务数小于所述第一预设阈值时，判断当前客户端的资源使用情况是否满足预设条件；当所述当前客户端的资源使用情况满足所述预设条件时，则允许执行数据导入处理；当所述当前客户端的资源使用情况不满足所述预设条件时，则暂停数据导入处理。

本公开的一种示例性实施例中，所述当前客户端的资源使用情况包括CPU、磁盘、内存、网络延迟中的一种或者多种的使用情况。

本公开的一种示例性实施例中，所述方法还包括：根据业务规则配置相应的关键字段；配置所述读取指定路径的文件数据的字段与所述关键字段的对应关系。

本公开的一种示例性实施例中，读取指定路径的文件数据包括：根据所述对应关系读取所述文件数据中与所述关键字段对应的字段数据，加载到内存中。

本公开的一种示例性实施例中，所述方法还包括：在客户端对所述文件数据进行预处理，获得符合规范格式的数据。

本公开的一种示例性实施例中，对所述文件数据进行预处理包括：对所述文件数据进行数据的转换处理；和/或对所述文件数据进行字段运算处理；和/或对所述文件数据进行字段纠错处理。

本公开的一种示例性实施例中，读取指定路径的文件数据包括：对不同文件类型的文件调用相应的处理方法进行处理。

本公开的一种示例性实施例中，所述文件类型包括xls、xlsx、csv、txt、dbf中的任意一种。

本公开的一种示例性实施例中，将所述文件数据导入至数据库中包括：判断所述文件数据的数据量是否超过第二预设阈值；当所述数据量超过所述第二预设阈值时，将所述文件数据按照每次所述第二预设阈值的数量分批次导入至所述数据库中。

本公开的一种示例性实施例中，所述方法还包括：判断数据导入是否成功；当数据导入成功时，系统自动归档备份；当数据导入失败时，对导入失败的数据进行标记，转入人工纠错处理。

根据本公开实施例的第二方面，提供一种文件处理装置，所述装置包括：文件读取模块，用于读取指定路径的文件数据；判断模块，用于根据预设规则判断当前是否适合作数据导入处理；数据导入模块，用于当判定当前适合作数据导入处理时，将所述文件数据导入至数据库中。

根据本公开实施例的第三方面，提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现上述任一实施例中所述文件处理方法的步骤。