[发明专利]日志信息采集方法及装置

权利要求书

1.日志信息采集方法，其特征在于，预先确定至少两台待采设备中的待采集数据源，设置每一个所述待采集数据源对应的日志收集组件，并设置临时存储组件，其中，所述至少两台待采设备包括至少一种数据类型的待采集数据源，还包括：

针对每一个所述日志收集组件，调用所述日志收集组件，采集所述日志收集组件对应的所述待采集数据源中更新的日志信息；

调用所述临时缓存组件，缓存所述日志信息；

针对缓存的每一条所述日志信息，将所述日志信息发送给预设的数据库；

在所述数据库接收到所述日志信息时，调用所述临时缓存组件删除所述数据库已接收到的所述日志信息；

在所述设置每一个所述待采集数据源对应的日志收集组件之前，进一步包括：

确定预设的数据库对应的数据类型；

所述设置每一个所述待采集数据源对应的日志收集组件，包括：

针对每一个所述待采集数据源，按照所述待采集数据源对应的数据类型和所述数据库对应的数据类型，配置与所述待采集数据源和所述数据库相匹配的日志收集组件；

在所述采集所述日志收集组件对应的所述待采集数据源中更新的日志信息之后，在所述缓存所述日志信息之前，进一步包括：

将采集到的所述日志信息对应的数据格式转换为所述数据库对应的数据格式，并将转换数据格式后的所述日志信息作为日志信息。

2.根据权利要求1所述的日志信息采集方法，其特征在于，

所述调用所述日志收集组件，采集所述日志收集组件对应的所述待采集数据源中更新的日志信息，包括：

所述待采集数据源包括：Avro数据类型的数据源、Thrift数据类型的数据源、Java数据类型的数据源、文件、kafka服务、预先绑定的端口和HTTP服务中的任意一个或多个；

当所述待采集数据源包括Avro数据类型的数据源时，所述日志收集组件包括：AvroSource组件；

调用所述Avro Source组件，在监听到Avro数据类型的所述数据源的Avro服务端口有数据流时，从所述Avro服务端口采集Avro数据序列化后的数据，并将采集的Avro数据序列化后的所述数据作为日志信息；

当所述待采集数据源包括所述Thrift数据类型的数据源时，所述日志收集组件包括：Thrift Source组件；

调用所述Thrift Source组件，在监听到Thrift数据类型的所述数据源的Thrift服务端口有数据流时，从所述Thrift服务端口采集Thrift数据序列化后的数据，并将采集的Thrift数据序列化后的所述数据作为日志信息；

当所述待采集数据源包括所述Java数据类型的数据源时，所述日志收集组件包括：JMSSource组件；

调用所述JMS Source组件，采集Java数据类型的所述数据源中更新的数据，并将采集的数据作为日志信息；

当所述待采集数据源包括所述文件时，所述日志收集组件包括：Spooling DirectorySource组件；

调用所述Spooling Directory Source组件，采集所述文件中更新的数据，并将采集的数据作为日志信息；

当所述待采集数据源包括所述kafka服务时，所述日志收集组件包括：Kafka Source组件；

调用所述Kafka Source组件，从所述Kafka服务中采集数据，并将采集的数据作为日志信息；

当所述待采集数据源包括所述端口时，所述日志收集组件包括：NetCatSource组件；

调用所述NetCatSource组件，采集流经所述端口的文本行数据，并将所述文本行数据作为日志信息；

当所述待采集数据源包括所述HTTP服务时，所述日志收集组件包括：HTTP Source组件；

调用所述HTTP Source组件，在监听到所述HTTP的接收数据的行为或发送数据的行为时，采集所述HTTP服务产生的数据，并将采集的数据作为日志信息。