[发明专利]一种基于动态内容解析的交互式信息采集方法及系统

权利要求书

1.一种基于动态内容解析的交互式信息采集方法，其特征在于，包括如下步骤：

S1设定采集目标网站和规则：用户通过系统录入需要采集的目标网站，系统针对的是特定领域的信息采集，需要明确采集的范围、起始条件、终止条件和采集间隔；

S2动态内容解析采集和录入：用户通过动态内容解析采集插件对目标网站的内容进行动态解析，设定解析的字段和对应的规则，通过字段和规则将原本非结构化、纯文本的网页内容转换为结构化的字段和内容，完成对网页的动态解析；

S3启动分布式异步信息采集中心调度：完成上述准备工作后，用户在平台上创建数据采集的任务，并设定采集的具体参数，设定完成之后，会由调度中心对任务进行调度，调度过程完全自动化、可视化；

S4采用多终端采集设备进行特定信息的采集：调度中心会将具体的任务分配到不同的采集设备上进行采集，采集设备会提供采集时必要的信息，包含位置、网络、身份、MAC地址等一些信息，提供采集程序需要的基础信息；

S5交互式信息接入和使用：如果采集任务过程中需要用到交互式的信息，平台会将需要的认证信息，通过SDK、H5或API的方式发送给用户，并由用户提交授权信息到平台中心进行认证，平台中心会根据不同任务的不同认证方式从系统的任务链上选择具体的模块执行；

S6内容解析并存储：完成授权信息认证之后，采集设备会使用动态解析脚本针对动态的网页内容进行解析，并将解析内容存储推送到存储中心。

2.一种基于动态内容解析的交互式信息采集系统，其特征在于，包括目标确定模块、内容解析模块、任务调度模块、信息采集模块、信息交互模块和解析存储模块，所述目标确定模块、内容解析模块、任务调度模块、信息采集模块、信息交互模块和解析存储模块依次连接。

3.根据权利要求2所述的一种基于动态内容解析的交互式信息采集系统，其特征在于，所述目标确定模块：通过系统录入需要采集的目标网站，系统针对的是特定领域的信息采集，明确采集的范围、起始条件、终止条件和采集间隔。

4.根据权利要求2所述的一种基于动态内容解析的交互式信息采集系统，其特征在于，所述内容解析模块：用户通过动态内容解析采集插件对目标网站的内容进行动态解析，设定解析的字段和对应的规则，通过字段和规则将原本非结构化、纯文本的网页内容转换为结构化的字段和内容，完成对网页的动态解析。

5.根据权利要求2所述的一种基于动态内容解析的交互式信息采集系统，其特征在于，所述任务调度模块：用户在平台上创建数据采集的任务，并设定采集的具体参数，设定完成之后，会由调度中心对任务进行调度，调度过程完全自动化、可视化。

6.根据权利要求2所述的一种基于动态内容解析的交互式信息采集系统，其特征在于，所述信息采集模块：调度中心将具体的任务分配到不同的采集设备上进行采集，采集设备会提供采集时必要的信息，包含位置、网络、身份、MAC地址等一些信息，提供采集程序需要的基础信息。

7.根据权利要求2所述的一种基于动态内容解析的交互式信息采集系统，其特征在于，所述信息交互模块：平台会将需要的认证信息，通过SDK、H5或API的方式发送给用户，并由用户提交授权信息到平台中心进行认证，平台中心会根据不同任务的不同认证方式从系统的任务链上选择具体的模块执行。

8.根据权利要求2所述的一种基于动态内容解析的交互式信息采集系统，其特征在于，所述解析存储模块：完成授权信息认证之后，采集设备会使用动态解析脚本针对动态的网页内容进行解析，并将解析内容存储推送到存储中心。