[发明专利]利用综合数据作为服务资产组装引擎的分布式计算系统

说明书

提供了用于实现分布式计算系统资产组装引擎的各种实施例、方法和系统。最初，第一源资产从第一分布式综合数据即服务(SDaaS)上传界面被接收。第二源资产从第二分布式SDaaS上传界面被接收。第一源资产和第二源资产被摄取。摄取源资产包括自动计算针对源资产的资产变化参数的值，其中资产变化参数可编程以用于机器学习。第一综合数据资产被生成，第一综合数据资产包括针对资产变化参数的第一组值。第二综合数据资产被生成，第二综合数据资产包括针对资产变化参数的第二组值。综合数据资产中的第一综合数据资产和第二综合数据资产被存储。

背景技术

用户依靠不同类型的技术系统来完成任务。技术系统可以基于机器学习来改进，机器学习使用统计技术来使计算机能够利用数据逐步改进特定任务的性能，而无需被显式编程。例如，机器学习可以用于数据安全、人身安全、欺诈检测、医疗保健、自然语言处理、在线搜索和推荐、金融交易和智能汽车。对于这些领域或行业中的每一个，机器学习模型利用训练数据集来训练，该训练数据集是被用来创建用于使学习任务和机器学习应用匹配的框架的示例数据集。例如，面部识别系统可以被训练，以将人的面部的独特特征与面部的已知特征集进行比较，以正确地标识人。随着在不同领域中对机器学习的日益增长的使用以及正确训练机器学习模型的重要性，对机器学习训练系统的计算操作的改进将提供机器学习任务和应用的更高效的性能，并且将改进机器学习训练系统的图形用户界面的用户导航。

发明内容

本发明的实施例涉及用于提供支持综合数据即服务的分布式计算系统的方法、系统和计算机存储介质。作为背景，分布式计算系统可以基于面向服务的架构操作，其中服务使用不同的服务模型而被提供。在高层级，服务模型可以提供对与提供对应服务相关联的基础操作的抽象。服务模型的示例包括基础设施即服务、平台即服务、软件即服务和功能即服务。利用这些模型中的任一模型，客户可以开发、运行、管理服务的各个方面，而无需维护或开发使用面向服务的架构而抽象的操作特征。

转向机器学习和训练数据集，机器学习使用统计技术来使计算机能够利用数据逐步改进特定任务的性能，而无需被显式编程。训练数据集是机器学习领域的组成部分。高质量的数据集可以帮助改进机器学习算法以及与机器学习硬件和软件相关联的计算操作。创建高质量的训练数据集可能需要大量的工作。例如，对用于训练数据集的数据加标签可能特别繁琐，这通常会导致加标签过程的不准确。

当涉及使训练数据集大众化或普遍可用于跨数个不同领域使用时，用于寻找训练数据集的常规方法明显不足。而且，用于开发机器学习训练数据集的理论解决方案甚至尚未被完全定义或描述，因为用于实现这种解决方案的基础设施不可获得，或过于昂贵以至于无法进行来实现用于开发训练数据集的当前技术的备选方案。总体而言，在常规的机器学习训练服务中，围绕开发机器学习训练数据集的全面功能性受到限制。

本公开中描述的实施例涉及用于使用提供综合数据即服务(“SDaaS”)的分布式计算系统，来改进对机器学习训练数据集的访问的技术。SDaaS可以指代分布式(云)计算系统服务，该分布式(云)计算系统服务使用面向服务的架构来实现，以提供机器学习训练服务，同时抽象化经由SDaaS服务而被管理的基础操作。例如，SDaaS提供了一种机器学习训练系统，其允许客户配置、生成、访问、管理和处理用于机器学习的综合数据训练数据集。特别地，SDaaS在没有通常与训练数据集的手动开发相关联的复杂性的情况下操作。可以基于SDaaS引擎、管理器、模块或组件以多种方式交付SDaaS，该SDaaS引擎、管理器、模块或组件包括资产组装引擎、场景组装引擎、框架集组装引擎、框架集包(frameset package)生成器、框架集包存储库、反馈回路引擎和众包引擎。在分布式计算系统上将SDaaS实现成服务的可观察的效果是，综合数据资产的大量产生和可用性，综合数据资产支持基于内参变化(intrinsic-parameter variation)和外参变化(extrinsic-parameter variation)来生成训练数据集，其中内参变化和外参变化提供资产和场景的可编程机器学习数据表示。使用SDaaS的组件提供了附加的特定功能性，如下面更详细地描述的。