[发明专利]一种主机平台多数据集批量传输方法及系统

说明书

本发明属于钢铁行业大数据处理技术领域，具体提供了一种主机平台多数据集批量传输方法及系统，其中方法包括：在钢铁生产用的主机平台上，将主机平台用系统的源代码程序数据集另存为批量下载文件列表；将源程序文件对应的下载格式文件下载并存储于本地；在主机用户只需要一次提交一个命令，就可以将多数据集大批量大数据文件下载到本地进行存放以及加工编辑的方法和功能，依据最终用户需要，可以形成CSV文件、EXCEL文件、PDF文件，方便用户依据实际需求进行编辑，满足用户需求。并通过近、远程客户端的访问功能，为钢铁行业全流程大数据业务处理的快速发展提供有力的保障。

技术领域

本发明涉及钢铁行业大数据处理技术领域，更具体地，涉及一种主机平台多数据集批量传输方法及系统。

背景技术

钢铁联合企业，在组织生产过程中，依据主机平台源程序代码运行结果所提供的信息资源，全面的、合理的组织和指导生产；反过来，在组织生产过程中，根据实际生产需求，又会对主机平台源程序代码功能提出优化需求。在这样反复优化、组织生产过程中，产生了很多优秀的源程序代码文件，及其运行结果文件(包括：报表文件、数据库文件)。这些文件包括但不限于：源程序代码文件(例如：COBOL语言文件、JCL语言文件、AssemblyLanguage汇编语言文件、SQL语言文件)、报表文件、数据文件(IBMDB2数据库文件、Oracle数据库文件、Sybase数据库文件、dBASE数据库文件)、命令文件。

目前钢铁的主机平台，累积运行了大量的高效、稳定、准确的源程序软件代码，及其运行结果文件(包括：报表文件、数据库文件)，上述文件的存储方式是以磁带或者磁盘方式，存储于主机平台。更是依赖于主机平台的环境，才能够对这些文件进行解读、理解和展示。为了适应时代的发展，和更妥善保管这些文件，以及更快速的解读、理解和展示这些文件，需要从主机平台将这些文件一个一个的下载下来，以电子档的形式存放于本地。这种类型的电子档文件，包括，源程序代码文件，是一种TXT格式的文本文件，或者SQL格式文本文件，报表文件有多种样式(可以有X列、Y行，以及不同的表头、表尾)，数据库文件也有多种样式(可以有M列个字段、N行数据，以及不同的说明)，依据最终用户需要，可以形成CSV文件、EXCEL文件、PDF文件。

上述文件的存储方式是以磁带或者磁盘方式，存储于主机平台，并依赖于主机平台的环境，对这些文件进行解读、理解和展示。当用户需要下载某个文件到本地时，靠人工干预一次，下载一个文件最为原始的单一方法和功能，对于主机平台上存储的多数据集大批量大数据文件(多大几十万，上百万个类似文件)下载到本地进行存储，靠这种办法下载，速度太慢，耗时太长，满足不了用户需求；人工干预一次下载一个文件，消耗大量人力资源；且人工干预频繁操作容易失误。

发明内容

本发明针对现有技术中存在的钢铁联合企业在组织生产过程中的产生大量文件存取慢的技术问题。

本发明提供了一种主机平台多数据集批量传输方法，包括以下步骤：

S1，在钢铁生产用的主机平台上，将主机平台用系统的源代码程序数据集另存为批量下载文件列表；

利用主机平台服务器提供的一次下载一个源程序代码文件的功能模块，将源程序文件所对应的批量下载文件列表中的文件下载到本地，并生成txt文本格式的文件；

S2，再利用主机平台服务器提供的存储功能，将源程序文件对应的下载格式文件下载并存储于本地；

S3，分别将源程序文件及下载格式文件用EXCEL打开文件，将每一列用竖线隔开并格式化为文本格式，形成对应的源程序EXCEL文件及源程序下载格式文件；

S4，以源程序下载格式文件为基准，将对应的源程序EXCEL文件中的源程序代码文件名复制到源程序下载格式文件的源程序代码文件名一列；