[发明专利]一种基于pyspark的机器学习方法和装置在审
| 申请号： | 201811437502.5 | 申请日： | 2018-11-28 |
| 公开（公告）号： | CN109784494A | 公开（公告）日： | 2019-05-21 |
| 发明（设计）人： | 赵争超;卢寻 | 申请（专利权）人： | 同盾控股有限公司 |
| 主分类号： | G06N20/00 | 分类号： | G06N20/00 |
| 代理公司： | 北京润泽恒知识产权代理有限公司 11319 | 代理人： | 莎日娜 |
| 地址： | 311121 浙江省杭州市余*** | 国省代码： | 浙江;33 |
| 权利要求书： | 查看更多 | 说明书： | 查看更多 |
| 摘要： | 本发明实施例提供了一种基于pyspark的机器学习方法和装置，具体包括对传入的训练集进行格式校验；如果通过格式校验，则将训练集随机分为多个并行的分区；利用多个并行的分区进行迭代训练，得到目标模型的结果模型参数。由于本发明实现了分布式特征两两交叉情况下的参数计算，因此不再依赖于算法工程师对业务数据的了解，从而实现了效果较好的机器学习。 | ||
| 搜索关键词： | 机器学习 方法和装置 校验 训练集 并行 分区 分布式特征 参数计算 迭代训练 结果模型 两两交叉 目标模型 业务数据 传入的 算法 工程师 | ||
【主权项】：
1.一种基于pyspark的机器学习方法，其特征在于，包括步骤：对传入的训练集进行格式校验，所述训练集中样本的格式为pyspark的dataframe格式；如果通过所述格式校验，则将所述训练集随机分为多个并行的分区；利用所述多个并行的分区进行迭代训练，得到目标模型的结果模型参数，所述目标模型为因子分解机。
下载完整专利技术内容需要扣除积分，VIP会员可以免费下载。
该专利技术资料仅供研究查看技术是否侵权等信息，商用须获得专利权人授权。该专利全部权利属于同盾控股有限公司，未经同盾控股有限公司许可，擅自商用是侵权行为。如果您想购买此专利、获得商业授权和技术合作，请联系【客服】
本文链接：http://www.vipzhuanli.com/patent/201811437502.5/，转载请声明来源钻瓜专利网。
