[发明专利]文件处理方法及装置

说明书

本发明公开了一种文件处理方法及装置。其中，该方法包括：从待读取的文件中读取预定长度的内容；将读取到的内容放在缓存区进行缓存，其中，缓存区包括多个缓存块，多个缓存块分布在多个节点上，节点用于对与该节点对应的缓存块中的内容进行处理；在多个缓存块中的内容被处理之后，再次从待读取的文件中读取预定长度的内容放置在多个缓存块中，直到待读取的文件被处理完成。本发明解决了处理文件效率低的技术问题。

技术领域

本发明涉及信息处理领域，具体而言，涉及一种文件处理方法及装置。

背景技术

现有技术中，在对大文件存储的数据内容进行处理时，一般通过设置单个节点对缓存的数据内容进行相应的处理，但是，在大文件内容导入时，由于处理器的配置可能不同，对大文件的读取和处理速度会不同，若配置的处理器处理文件数据的速度较慢，则对大文件的读取以及处理操作的效率会很低。

针对上述的处理文件效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种文件处理方法及装置，以至少解决处理文件效率低的技术问题。

根据本发明实施例的一个方面，提供了一种文件处理方法，包括：从待读取的文件中读取预定长度的内容；将读取到的所述内容放在缓存区进行缓存，其中，所述缓存区包括多个缓存块，所述多个缓存块分布在多个节点上，所述节点用于对与该节点对应的缓存块中的内容进行处理；在所述多个缓存块中的内容被处理之后，再次从所述待读取的文件中读取所述预定长度的内容放置在所述多个缓存块中，直到所述待读取的文件被处理完成。

进一步地，所述多个节点中的每个节点对应至少两个缓存块，其中，在所述两个缓存块中的第一缓存块中的内容在被处理的过程中，从所述文件中根据所述至少两块缓存中的第二缓存块的大小读取内容，并将读取到的内容放置在所述第二缓存块中；在所述第二缓存块中的内容在处理的过程中，从所述文件中根据所述至少两块缓存中的第一缓存块的大小读取内容，并将读取到的内容放置在所述第一缓存块中，其中，所述第一缓存块和所述第二缓存块的大小相同或者不同。

进一步地，所述每个节点对应至少三个缓存块，其中，所述三个缓存块中的一块缓存块中的内容在被处理的过程中，向所述三个缓存块中的另外两块缓存块中的放置读取到的内容。

进一步地，所述方法还包括：所述缓存区中的缓存块的大小和/或缓存块的数量根据所述缓存块所在节点的资源情况进行分配，其中，所述分配为周期性分配，或者，所述分配为在满足预定条件下的分配。

进一步地，通过一个读取节点对待读取的文件进行拆分；通过所述读取节点将拆分之后的文件分发到所述多个节点中的至少一个节点对应的缓存块中以进行处理。

进一步地，在所述待读取文件的大小超过阈值的情况下，通过一个读取节点对所述待读取的文件进行拆分；通过所述读取节点根据所述多个节点中的每个节点的资源情况将拆分之后的文件进行分发。

进一步地，对所述待读取的文件进行拆分包括：确定对所述待读取文件进行拆分的拆分点；判断根据所述拆分点拆分得到的部分在结束处或者开始处是否包括不完整的内容；在包括不完整的内容的情况下，移动所述拆分点，使拆分得到的部分包括的内容完整。

进一步地，判断根据所述拆分点拆分得到的部分在结束处或者开始处是否包括不完整的内容包括：判断所述拆分点处的内容是否为结构化数据或者非结构化数据；如果为结构化数据则判断根据所述拆分点拆分得到的部分在所述结束处或者所述开始处是否为完整的记录；如果为非结构化数据则判断根据所述拆分点拆分得到的部分在所述结束处或所述开始处是否为完整的文件。

进一步地，通过所述读取节点将拆分之后的文件分发到所述多个节点中的至少一个节点对应的缓存块中以进行处理包括：通过所述读取节点将拆分之后的文件的每个部分分别分发给一个节点组，其中，所述每个节点组包括至少一个节点，所述节点组作为一个整体将接收到的部分放置在缓存块中进行处理。