[发明专利]可泛化的领域知识学习与计算引擎系统及方法

说明书

本发明提供可泛化的领域知识学习与计算引擎系统及方法，涉及人工智能技术领域。该可泛化的领域知识学习与计算引擎系统，包括数据准备模块、学习集模块和模型输出模块：所述数据准备模块用于多源的数据采集，收集到尽可能多的数据维度，同时保证数据的质量，得到高质量的数据挖掘结果，所述学习集模块用于代替人工完成传统的特征工程、模型选择、超参数调优、模型评估，让计算机独立完成更复杂的任务，所述模型输出模块用于对学习集模块的数据进行统计分类，并根据模型特征输出结果。通过数据准备模块、学习集模块和模型输出模块，构建一个自动化的过程，减少时间和人力等资源的浪费。

技术领域

本发明涉及人工智能技术领域，具体为可泛化的领域知识学习与计算引擎系统及方法。

背景技术

传统的机器学习在解决问题时，首先需要对问题进行定义，然后针对特定问题收集数据，由专家对数据特征进行标定、提取特征、选择特征，然后根据所选特征训练模型、对模型进行评估，最后部署到应用上，以解决最初提出的问题，但随着机器学习的不断发展，其复杂程度也在不断增高。

如果上述这些步骤都需要人工来操作，不仅耗时耗力，而且对专业人员的需求也比较大，结合现实生活中人们日益增长的需求，这限制了人工智能在其他领域的应用发展。

发明内容

(一)解决的技术问题

针对现有技术的不足，本发明提供了可泛化的领域知识学习与计算引擎系统及方法，解决了传统机器学习需要人工来操作，耗时耗力的问题。

(二)技术方案

为实现以上目的，本发明通过以下技术方案予以实现：可泛化的领域知识学习与计算引擎系统，包括数据准备模块、学习集模块和模型输出模块：

所述数据准备模块用于多源的数据采集，收集到尽可能多的数据维度，同时保证数据的质量，得到高质量的数据挖掘结果；

所述学习集模块用于代替人工完成传统的特征工程、模型选择、超参数调优、模型评估，让计算机独立完成更复杂的任务；

所述模型输出模块用于对学习集模块的数据进行统计分类，并根据模型特征输出结果。

优选的，所述数据准备模块包括自动化数据收集模块和数据清洗模块，所述自动化数据收集模块包括以下方式：

S1.传感器采集：通过温湿度传感器、气体传感器、视频传感器等外部硬件设备与系统进行通信，将传感器监测到的数据传至系统中进行采集使用；

S2.爬虫抓取：使用requests爬取内容，使用Xpath解析内容，使用pandas保存数据，通过编写网络爬虫，设置好数据源后进行有目标性的自动爬取数据；

S3.底层数据交换：通过获取软件系统的底层数据交换、软件客户端和数据库之间的网络流量包，基于底层IO请求与网络分析等技术，采集目标软件产生的所有数据，将数据转换与重新结构化，输出到新的数据库，供软件系统调用。

优选的，所述数据清洗模块的清洗步骤为：①去除或补全缺失的数据，②去除或修改格式和内容错误的数据，③去除修改逻辑错误数据，④去除不需要的数据，⑤关联性验证。

优选的，所述学习集模块包括有自动特征工程模块、自动模型选择模块、自动参数调整模块、自动管道匹配模块和算法框架模块，所述算法框架模块包括元学习阶段、强化学习阶段和集成学习阶段。

优选的，所述元学习阶段包括以下运行步骤：

S1.收集数据集并提取出数据集的统计特征以及Landmark特征；

S2.运行自动化机器学习算法得到这些数据集的运行信息；