[发明专利]格式数据文件的并发处理方法、装置及系统

权利要求书

1.一种格式数据文件的并发处理方法，其特征在于，应用于客户端，包括：

在服务端对格式记录文件执行逻辑分片处理获得多个文件分片元信息后，获取所述服务端发送的一文件分片元信息；

从格式记录文件中，利用缓存窗口逐步读取所述文件分片元信息对应的文件分片的内容，使得读取到的文件分片内容于所述文件分片起始处至少多读取一个分隔符长度内容，于所述文件分片末尾处至少多读取一个缓存窗口的内容；

解析所述文件分片内容并删除首条格式记录，当解析内容长度等于文件分片长度且文件分片的末条格式记录解析尚未遇到分隔符时继续解析，直到解析到分隔符时停止解析操作，获得解析操作后多条格式记录；

将所述多条格式记录确定为所述文件分片对应的格式记录集；

其中，所述解析所述文件分片内容并删除首条格式记录，当解析内容长度等于文件分片长度且文件分片的末条格式记录解析尚未遇到分隔符时继续解析，直到解析到分隔符时停止解析操作，获得解析操作后多条格式记录，包括：

按字节识别所述文件分片内容，并统计解析内容长度；

当识别到分隔符时生成一条格式记录，并丢弃该文件分片的首条生成的格式记录；

循环解析所述文件分片内容并统计解析内容长度；

当解析内容长度等于文件分片长度且文件分片的末条格式记录解析尚未遇到分隔符的情况下，继续识别所述文件分片内容直到识别到分隔符时停止解析操作；

获得解析操作后的多条格式记录。

2.如权利要求1所述的方法，其特征在于，所述文件分片元信息包括：

用于唯一表示所述格式记录文件的文件标识；

用于表示一文件分片于所述格式记录文件中排列位置的文件分片序号；

用于表示一文件分片字节长度的文件分片长度；

用于表示一文件分片起始位置相对于所述格式记录文件起始位置偏移量的文件分片起始位移；

用于表示分隔符样式或形式的分隔符样式。

3.如权利要求2所述的方法，其特征在于，从所述服务端存储的格式记录文件中，利用缓存窗口逐步读取所述文件分片元信息对应的文件分片的内容，使得读取的文件分片内容于所述文件分片起始处至少多读取一个分隔符长度内容，于所述文件分片末尾处至少多读取一个缓存窗口的内容，包括：

依据所述文件标识确定所述格式记录文件；

依据服务端设置的配置文件确定缓存窗口的大小和分隔符长度；

将所述文件分片起始位移减去分隔符长度，设置为缓存窗口读取所述文件分片的起始位置；

从所述起始位置开始，循环利用所述缓存窗口读取所述格式记录文件的内容，直到多个缓存窗口读取内容总长度大于文件分片长度，以确定到达所述文件分片的末尾；

在所述文件分片的末尾处追加读取一个缓存窗口的内容；

将针对所述文件分片所读取的内容确定为文件分片内容。

4.如权利要求3所述的方法，其特征在于，还包括：

若所述文件分片为所述格式记录文件的第一个分片，则在利用缓存窗口第一次读取该文件分片时，将格式记录文件的起始位置设置为缓存窗口读取所述文件分片的起始位置，并于缓存窗口开始处补充一分隔符。

5.如权利要求2所述的方法，其特征在于，还包括：

向所述服务端反馈所述文件分片的读取进度信息；

向所述服务端反馈所述文件分片的解析进度信息；

其中，所述读取进度信息包括：文件标识、文件分片序号和文件分片的读取结果；所述解析进度信息包括：文件标识、文件分片序号和文件分片的解析结果。

6.如权利要求5所述的方法，其特征在于，还包括：

在所述文件分片读取结果为失败或解析结果为失败后，接收服务端发送的所述文件分片的文件分片元信息，重新基于文件分片元信息执行读取操作和解析操作。