[发明专利]一种支持结构化数据和非结构数据混合查询系统及方法

说明书

本发明属于数据检索技术领域，具体提供一种支持结构化数据和非结构数据混合查询系统及方法，其中系统包括：接入模块，用于对外暴露客户端连接的终端，负责处理客户端链接，进行用户请求的静态验证和基本的动态检查，完成向其他系统组件内组合调用获取操作结果并向客户端返回；任务调度模块，用于负责计算单元负载均衡、控制任务执行顺序、时间戳生成、数据声明及数据管理；数据存储模块，用于负责构建数据在内存和磁盘里的存储方式，记录数据的存储位置；检索引擎，用于集成MySQL和Faiss形成向量索引库，以负责对结构化数据和非结构化数据的检索。该方案可以在限定构化数据条件的前提下，快速地检索出非结构化数据特征值的相似度排名。

技术领域

本发明涉及数据检索技术领域，更具体地，涉及一种支持结构化 数据和非结构数据混合查询系统及方法。

背景技术

结构化数据是指常见int、float、string等类型数据，结构化数据也 称作行数据，是由二维表结构来逻辑表达和实现的数据，严格地遵循 数据格式与长度规范，主要通过Oracle、DB2、MySQL等关系型数据库 进行存储和管理。非结构化数据是数据结构不规则或不完整，没有预 定义的数据模型，不方便用数据库二维逻辑表来表现的数据。包括所 有格式的办公文档、文本、图片、XML，HTML、各类报表、图像和 音频/视频信息等等。这些非结构化数据出现在各特殊行业中，比如安 防中记录出现行人特征，生物医药中记录药物特征等。

随着大数据、人工智能等技术的发展，数字化进程不断加速，海 量大数据汹涌而来，我们步入了数据智能应用的时代。办公文档、邮 件、图片、研究报告、法律法规、各类报表、音频/视频信息这些非结 构化数据成为企业数据主要形态。而传统的结构化数据早已在生活中 随处可见，当下一款能支持结构化数据和非结构数据混合查询系统已 经必不可少。

发明内容

本发明需要解决的是现有技术中存在的缺乏能支持结构化数据和 非结构数据混合查询系统的技术问题。

本发明提供了一种支持结构化数据和非结构数据混合查询系统， 包括：

接入模块，用于对外暴露客户端连接的终端，负责处理客户端链 接，进行用户请求的静态验证和基本的动态检查，完成向其他系统组 件内组合调用获取操作结果并向客户端返回；

任务调度模块，用于负责计算单元负载均衡、控制任务执行顺序、 时间戳生成、数据声明及数据管理；

数据存储模块，用于负责构建数据在内存和磁盘里的存储方式， 记录数据的存储位置，使系统能检索到想要的数据；

检索引擎，用于集成MySQL和Faiss形成向量索引库，以负责对结 构化数据和非结构化数据的检索。

优选地，所述接入模块包括GRPC接口和HTTP接口。

优选地，所述任务调度模块设有硬盘源、CPU源及GPU源，各源 均包含一个任务队列、一个任务加载项Loader和一个执行项Executor， Loader负责将任务队列中的任务数据加载到当前设备上，Executor负责 执行已加载任务的搜索，所述Loader和Executor共享同一个任务队列。

优选地，所述数据存储模块用于在内存里开辟一块空间作为可写 缓冲，数据直接写入可写缓冲里，当积累到一定数据量之后，该可写 缓冲就会被标记为只读缓冲，只读缓冲被定时写入磁盘，并且会自动 开辟新的可写缓冲等待新的数据写入。

优选地，所述数据存储模块还用于将写满后形成的大小不一的磁 盘进行合并得到大文件，所述大文件的大小不小于1GB。

优选地，所述向量索引库包括FLAT索引类型、IVF索引类型及PQ 索引类型。