[发明专利]搜索引擎中网站数据的更新方法、装置和搜索引擎

权利要求书

1.一种搜索引擎中网站数据的更新方法，其特征在于，所述搜索引擎包括分布式存储系统和网页数据库，所述方法包括：

接收网站站长本次提交的目标网站的第一结构化数据；

将所述第一结构化数据写入目标文件，并将所述目标文件存储至所述分布式存储系统，并保存所述第一结构化数据的第一存储位置；

在监控到所述第一结构化数据存储完毕时，针对所述目标网站，根据所述第一存储位置从所述分布式存储系统的所述目标文件中获取所述第一结构化数据；

获取所述网页数据库中与所述目标网站对应的第二结构化数据，其中，所述第二结构化数据为所述网站站长上次提交的结构化数据；

将所述第一结构化数据与所述第二结构化数据进行比较，并根据比较结果更新所述网页数据库中所述目标网站的所述第二结构化数据。

2.如权利要求1所述的方法，其特征在于，所述将所述第一结构化数据与所述第二结构化数据进行比较，并根据比较结果更新所述网页数据库中所述目标网站的所述第二结构化数据，包括：

将所述第一结构化数据与所述第二结构化数据进行比较，以确定所述第一结构化数据与所述第二结构化数据之间的差异性数据；

根据所述差异性对所述网页数据库中的所述目标网站的所述第一结构化数据进行更新。

3.如权利要求1所述的方法，其特征在于，所述第一结构化数据包括多条，所述将所述第一结构化数据写入目标文件，包括：

通过多个子文件保存多条所述第一结构化数据；

将多个所述子文件进行合并，得到所述目标文件。

4.如权利要求1所述的方法，其特征在于，针对所述目标网站，根据所述第一存储位置从所述分布式存储系统的所述目标文件中获取所述第一结构化数据之前，还包括：

根据数据版本信息数据库，获取所述目标网站的网站标识、本次提交的所述第一结构化数据的第一数据版本以及上次提交的所述第二结构化数据的第二数据版本；

根据所述网站标识和所述第一数据版本，确定所述第一结构化数据的所述第一存储位置；

根据所述网站标识和所述第二数据版本，确定所述网页数据库中与所述目标网站对应的第二存储位置；

其中，所述获取所述网页数据库中与所述目标网站对应的第二结构化数据，包括：

根据第二存储位置，从所述网页数据库中获取与所述目标网站对应的第二结构化数据。

5.如权利要求4所述的方法，其特征在于，还包括：

获取本次提交的所述第一结构化数据的所述第一数据版本，并在数据版本信息数据库中保存所述第一数据版本与所述目标网站的网站标识的对应关系；

将所述第一数据版本、所述第一存储位置和所述网站标识之间的对应关系，存储到预设的数据版本、存储位置和网站标识之间的关系数据库。

6.一种搜索引擎中网站数据的更新装置，其特征在于，所述搜索引擎包括分布式存储系统和网页数据库，所述装置包括：

接收模块，用于接收网站站长本次提交的目标网站的第一结构化数据；

存储控制模块，用于将所述第一结构化数据写入目标文件，并将所述目标文件存储至所述分布式存储系统，并保存所述第一结构化数据的第一存储位置；

第一获取模块，用于在监控到所述第一结构化数据存储完毕时，针对所述目标网站，根据所述第一存储位置从所述分布式存储系统的所述目标文件中获取所述第一结构化数据；

第二获取模块，用于获取所述网页数据库中与所述目标网站对应的第二结构化数据，其中，所述第二结构化数据为所述网站站长上次提交的结构化数据；

更新模块，用于将所述第一结构化数据与所述第二结构化数据进行比较，并根据比较结果更新所述网页数据库中所述目标网站的所述第二结构化数据。

7.如权利要求6所述的装置，其特征在于，所述更新模块，具体用于：

将所述第一结构化数据与所述第二结构化数据进行比较，以确定所述第一结构化数据与所述第二结构化数据之间的差异性数据；

根据所述差异性对所述网页数据库中的所述目标网站的所述第一结构化数据进行更新。