[发明专利]批量数据处理装置和批量数据处理方法

说明书

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种批量数据处理装置和批量数据处理方法。

背景技术

现有企业在使用ERP（Enterprise Resource Planning，企业资源计划系统）软件系统时，随着使用时间推移和业务规模不断的延伸拓展，企业的业务数据量急速膨胀，而且存在多套信息化软件管理系统并存时数据传输不流畅的现象，导致原有ERP管理软件系统中上游业务单据批量生成下游业务单据时数据传输性能不断下降，甚至出现整个系统不响应（假死机）的情况。如果这些问题不被高度重视而且得不到很好的解决，那么很快就会严重影响到企业正常的业务流转，甚至整个企业会被迫放弃使用ERP管理软件，从而回到以前的手工模式，那样对整个社会信息化的建设与推进无疑是一种极大的阻碍。因此如何因地制宜的提升现有企业已经在使用中的ERP管理软件系统的数据传输性能，并确保企业现有业务正常运作而且不用再占用大笔资金预算，已成为亟待解决的问题。

目前ERP信息处理系统针对跨系统之间的数据转换处理方式有：EAI(Enterprise Application Integration，企业应用集成工具)、OBA(Office Business Application，Office，业务应用程序工具)、面向对象服务的结构体系（Service-Oriented Architecture，SOA，也叫面向服务架构）等，都基本实现了系统间业务数据的正常流转。在交互过程中采取分页显示，懒加载的模式，减少PC硬件内存的消耗，在一定程度上也提升了整个系统的运行效率，同时在针对SQL数据库操作尽量发挥SQLServer的性能优势。

但现有大部分ERP系统实现批量生单的机制有如下几个方面的原因导致大数据量下的性能问题：

1、现有批量生单操作只是逐个单据的累加，没有整合重新组装达到真正意义上的大批量一次性操作。

2、多人并发批量生单时无法保证数据回写顺序的一致性，这样有可能引发事务长时间的互相等待或死锁。

3、现有批量生单过程中各单据独立交互导致数据访问与回写频繁，I／O开销大。

因此，需要一种新的技术方案，可以实现真正意义上的大批量一次操作，同时可以避免并发死锁现象的发生。

发明内容

本发明正是基于上述问题，提出了一种新的技术方案，可以实现真正意义上的大批量一次操作，同时可以避免并发死锁现象的发生。

有鉴于此，本发明提出了一种批量数据处理装置，应用于EPR系统，包括：获取单元，用于获取多个上游单据；缓存单元，为所述多个上游单据中的每个上游单据创建对应的临时物理表，并将所述每个上游单据中的数据缓存到所述对应的临时物理表，以得到多个临时物理表；更新单元，根据预设的业务要求对所述多个临时物理表进行更新；单据生成单元，在一个事务内按照业务顺序将更新后的所述多个临时物理表中的数据分别插入到对应的下游单据的业务表中，以生成多个下游单据。

在该技术方案中，将上游单据批量整合一次性生成下游单据，这样提升了系统的性能，同时在一个事务内按照业务顺序将数据插入下游单据的业务表，这样通过有序的批量插入数据可以避免多个客户端并发操作数据库时业务数据之间的互相等待造成死锁的情况，同时也保证了数据的完整性。

在上述技术方案中，优选地，还包括：设置单元，用于根据接收到的设置命令，设置获取所述多个上游单据的数据约束条件和/或数据模板；以及所述获取单元还用于，根据所述数据约束条件获取所述多个上游数据，和/或根据所述数据模板获取所述多个上游单据。

在该技术方案中，用户可以根据个人需要选择自己想要的单据数据，从而使得用户得到的数据中不会包含自己用不到的冗余的数据，提升了用户的使用体验。

在上述技术方案中，优选地，还包括：校验单元，用于根据预设的校验规则对所述更新后的所述多个临时物理表中的数据进行校验。

在该技术方案中，设置校验单元对临时物理表中的数据进行校验，这样可以保证物理表中数据的准确性。

在上述技术方案中，优选地，所述单据生成单元还用于，在一个事务内按照业务顺序将更新后的所述多个临时物理表中符合所述预设的校验规则的数据分别插入到对应的下游单据的业务表中，以生成多个下游单据。

在该技术方案中，校验通过的临时表才允许被插入到下游单据，这样保证生成的下游单据的准确性和有效性。

在上述技术方案中，优选地，还包括：数据输出单元，对所述多个下游单据进行输出显示。