[发明专利]一种数据处理的方法及装置

权利要求书

1.一种数据处理的方法，其特征在于，包括：

逐点计算所有数据点数据内容的摘要值，并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较；

当所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时，删除所述后一数据点的数据内容；

建立所述后一数据点数据内容的摘要值与所述任一数据点数据内容之间的映射关系。

2.根据权利要求1所述的方法，其特征在于，所述逐点计算所有数据点数据内容的摘要值的步骤之前，还包括：

根据所述所有数据点中每个数据点数据内容的大小，将数据内容的大小相同的数据点划分到一个数据点集；

对应的，所述逐点计算所有数据点数据内容的摘要值，并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较，包括：

逐点计算每个数据点集中的所有数据点数据内容的摘要值；

将所述同一个数据点集中的后一数据点数据内容的摘要值与所述后一数据点之前的所述同一个数据点集中每个数据点数据内容的摘要值进行比较。

3.根据权利要求1或2所述的方法，其特征在于，所述逐点计算所有数据点数据内容的摘要值，并将后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较，包括：

逐点计算每个数据点数据内容的摘要值的同时，将计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较。

4.根据权利要求1或2所述的方法，其特征在于，所述逐点计算所有数据点数据内容的摘要值的步骤之前，还包括：

加载与所述所有数据点关联的所有文件，并检测所述所有文件；

当所述所有文件中的任一文件为空文件时，根据所述空文件的文件名称，获取对应所述空文件的文件名称的数据点。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

合并同一个文件中未被映射的数据点，所述未被映射的数据点为数据内容未与所述所有数据点中的其他数据点的摘要值建立映射关系的数据点。

6.一种数据处理装置，其特征在于，包括：

计算单元，用于逐点计算所有数据点数据内容的摘要值；

比较单元，用于将所述计算单元计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较；

删除单元，用于当所述比较单元比较出所述后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点中任一数据点数据内容的摘要值相同时，删除所述后一数据点的数据内容；

映射建立单元，用于建立所述删除单元删除数据内容的后一数据点的摘要值与所述任一数据点数据内容之间的映射关系。

7.根据权利要求6所述的数据处理装置，其特征在于，所述数据处理装置还包括：

划分单元，用于根据所述所有数据点中每个数据点数据内容的大小，将数据内容的大小相同的数据点划分到一个数据点集；

所述计算单元，还用于逐点计算所述划分单元划分后的每个数据点集中的所有数据点数据内容的摘要值；

所述比较单元，用于将所述划分单元划分后的同一个数据点集中的后一数据点数据内容的摘要值与所述后一数据点之前的所述同一个数据点集中每个数据点数据内容的摘要值进行比较。

8.根据权利要求6或7所述的数据处理装置，其特征在于，

所述比较单元，用于逐点计算每个数据点数据内容的摘要值的同时，将计算出的后一数据点数据内容的摘要值与所述后一数据点之前的每个数据点数据内容的摘要值进行比较。

9.根据权利要求6或7所述的数据处理装置，其特征在于，所述数据处理装置还包括：

加载单元，用于加载与所述所有数据点关联的所有文件；

检测单元，用于检测所述加载单元加载的所有文件；

获取单元，用于当所述检测单元检测出所述所有文件中的任一文件为空文件时，根据所述空文件的文件名称，获取对应所述空文件的文件名称的数据点。

10.根据权利要求9所述的数据处理装置，其特征在于，所述数据处理装置还包括：

合并单元，用于合并同一个文件中未被映射的数据点，所述未被映射的数据点为数据内容未与所述所有数据点中的其他数据点的摘要值建立映射关系的数据点。