[发明专利]一种针对非结构化数据的Web服务发布与可视化的联合系统

权利要求书

1.一种针对非结构化数据的Web服务发布与可视化的联合系统，包括非结构化数据的预发布库模块以及非结构化数据的正式库模块，其特征在于，同时该系统还包括Web数据服务与可视化站点模块、数据管理与入库模块以及数据发布模块，该系统通过数据管理与入库模块对数据进行集中整理，将整理后的数据传入非结构化数据的预发布库模块进行预发布处理，并通过数据发布模块对数据的发布，将发布的数据传入非结构化数据的正式库模块，从而能够让使用者通过Web数据服务与可视化站点模块对数据进行下载以及浏览使用，数据管理与入库模块包括数据源配置单元、数据清洗单元、数据转换单元以及数据入库单元，数据源配置单元通过对数据源的配置，可以允许哪些数据流入到本系统中来，保证对数据的可控制性。

2.根据权利要求1所述的一种针对非结构化数据的Web服务发布与可视化的联合系统，其特征在于，所述数据清洗单元则是针对输入系统的数据进行清洗工作，除了日常的数据一致性检查、缺失值处理、无效值处理、重复数据判断等一系列数据检查工作外，还可以通过配置或者嵌入自定义代码对数据清洗进行定制化的清洗工作，极大的提高了数据清洗的灵活性，保证数据清洗的质量。

3.根据权利要求1所述的一种针对非结构化数据的Web服务发布与可视化的联合系统，其特征在于，所述数据转换单元的主要功能就是按照预先制定好的规则把数据批量自动生成数据产品，在这个过程中，还可以通过一些拖拽动作来匹配字段级别层面的元素，对于字段值也可以进行字符串操作或者计算操作，该单元提供友好的界面，用户可以通过拖拽方式来操作表级别、字段级别的元素，在数据转换过程中，配合字符串操作以及计算操作，快速的把数据的展现从一种形式转换成为另一种形式，当数据量特别大的时候(Gb级别)，会极大的提高工作效率。

4.根据权利要求1所述的一种针对非结构化数据的Web服务发布与可视化的联合系统，其特征在于，所述数据入库单元主要涵盖了数据质量管理以及数据入库管理两大功能，通过一些自然语言处理技术和机器学习的监督学习算法完成对数据质量的把控与管理，只有数据经过数据质量监测环节后，方可进入到后续的数据入库流程。

5.根据权利要求1所述的一种针对非结构化数据的Web服务发布与可视化的联合系统，其特征在于，所述数据发布模块包括数据目录服务单元、数据查询服务单元以及文件下载服务及表格数据所持有的可视化对象服务接口单元，系统自研了数据搜索引擎算法，对元数据中的数据标题、字段、时间、发布机构、涉及到的地理位置、数据描述、关键字等字段进行了中文分词处理并为其建立索引，大大增加了搜索词的命中率和准确率；基于表格型数据，我们生产了与之对应的、适合Web前后端读取和处理的可视化数据成果，并将其发布成服务接口；用户不但可以获得普通表格数据下载，也拥有从可视化角度了解数据基本情况与形态的支持，该模块的核心是将预发布库中的数据转换为Web服务接口，供Web站点及其他系统调用。

6.根据权利要求1所述的一种针对非结构化数据的Web服务发布与可视化的联合系统，其特征在于，所述Web数据服务与可视化站点模块包括数据查找单元、可视化设计单元以及个人数据管理单元，通过数据查找单元能够对于表格型的数据文件，在Web站点上不但可以通过搜索获得数据的基本情况，还可以通过交互式图表预览数据的基本情况,因为整个平台还具备数据可视化的编辑功能，因此用户在浏览了图表的基本情况后，还可以一键切换到图表的编辑配置界面，制作更加个性化的图表，为制作数据报告增添可视化元素，此功能是整个平台的一个重要特色点，也是只有基于本平台创新式整体架构才能支持的功能点，能帮助用户从数据查找到数据编辑，到报告输出的一站式完成。

7.根据权利要求6所述的一种针对非结构化数据的Web服务发布与可视化的联合系统，其特征在于，所述可视化设计单元对数据、信息或知识的一种混合可视化表现形式，通常会采用图表、文字、各类图标、图片等元素联合表达，完全支持此类信息图的制作，并采用人性化的交互式操作、自由拖拽的方式完成信息图的制作，灵活可控，也可以据此制作数据报告、数据海报、信息长图等各种输出需求。

8.根据权利要求6所述的一种针对非结构化数据的Web服务发布与可视化的联合系统，其特征在于，所述个人数据管理单元针对普通用户处理可以从本系统中查询获取数据，也可以自己上传数据，制作图表，本系统优化了数据逻辑的判别算法，结合系统支持的50种数据图表模板，能依据用户上传的数据结构，智能推荐最合适的图表供用户选择。