[发明专利]一种推荐系统数据抽象与自动化特征工程的方法

说明书

本发明涉及一种推荐系统数据抽象与自动化特征工程的方法，对于任意场景的推荐系统数据，只需要了解将该推荐系统数据进行适配后生成的字段内的关键词和指定的处理函数，即可使用通用的数据处理和特征工程代码，完成特征的生成，包括数据抽象化、对标准抽象数据配置schema，并开发相应的通用处理函数这两步骤。本方法减少了工程师的开发工作量，使其有更充裕的时间和精力进行模型调优工作。

技术领域

本专利申请属于推荐系统技术领域，更具体地说，是涉及一种推荐系统数据抽象与自动化特征工程的方法。

背景技术

目前普遍采取case-by-case的处理策略进行数据处理和特征工程，在case-by-case策略中，一个新推荐场景的开发流程如下：

(1)开发人员与甲方沟通，明确开发场景及需求，了解可用数据及业务含义；

(2)开发人员进行数据清洗，特征工程，线下POC测试(基于测试结果重复(2))；

(3)开发人员将算法模型与相应特征上线，并进行小流量测试(基于测试结果重复(2)和(3))；

(4)选择获得线上最佳效果的算法模型和特征，交付推荐系统；

从中可以看出，现有技术存在下述缺点：

case-by-case的策略要求工程师在每个推荐项目内，都要了解数据的具体业务含义，并花费大量时间精力来针对性的编写数据处理代码和特征构造代码，这些代码往往会由于模型调优的需求而频繁改动。

随着人工智能ToB业务的快速发展，推荐系统相关的项目需求越来越多，低效率的case-by-case策略无法满足乙方‘快速搭建-快速部署-快速上线’的需求。

发明内容

本发明需要解决的技术问题是提供一种推荐系统数据抽象与自动化特征工程的方法，满足乙方快速搭建-快速部署-快速上线的需求，有效节省工程师的时间精力。

为了解决上述问题，本发明所采用的技术方案是：

一种推荐系统数据抽象与自动化特征工程的方法，对于任意场景的推荐系统数据，只需要了解将该推荐系统数据进行适配后生成的字段内的关键词和指定的处理函数，即可使用通用的数据处理和特征工程代码，完成特征的生成，具体包括如下步骤：

步骤a、数据抽象化，基于字段设置原则，把甲方提供的原始数据适配成标准抽象数据；

步骤b、对标准抽象数据配置schema，并开发相应的通用处理函数，经过自动化特征工程从而生成特征数据。

本发明技术方案的进一步改进在于：步骤a中的字段设置原则为：适配完成的标准抽象数据包括三类用以生成统计特征的关键词，分别为当前字段的对象描述、类别描述和类别描述处理后的下标值描述，对象描述包括用户user或商品product，类别描述包括用以进行独热处理(one_hot)处理的种类category、用以表示用户或商品分类的tag，下标值为自然数。

独热处理的作用：

独热处理通常用于将类别型的字段处理成可参与模型运算的数学特征，比如商品的颜色有“红”、“绿”、“黄”三种，但是字符串是无法参与模型的数学运算的，也就没办法作为可以参与模型训练和预测的特征，此时通常有两种处理方式：

(1)方式一，令“红”＝0，“绿”＝1，“黄”＝2，即通过映射将字符串转化为可以参与运算的数字，但是这种方式引入了很大的偏差，因为在数学上，0和1的距离是1，0和2的距离是2，但从特征的角度而言，这三者是平等的，并不应该有这种形式的偏见。