Wide&Deep
介绍
wide模型介绍
在目前大规模线上推荐排序系统中，通用的线性模型如LR被广泛应用。线性模型通常输入二进制的one-hot稀疏表示特征进行训练。比如特征“user_installed_app=netflix”为1，表示用户已安装netflix。交叉特征AND（user_installed_app=netflix，impresion_app=Pandora）表示既安装了netflix app同时又浏览过Pandora的用户特征为1，否则为0。wide模型可以通过利用交叉特征高效的实现记忆能力，达到准确推荐的目的。wide模型通过加入一些宽泛类特征实现一定的泛化能力。但是受限与训练数据，wide模型无法实现训练数据中未曾出现过的泛化。
deep 模型介绍
像FM和DNN这种Embedding类的模型，可以通过学习到的低纬度稠密向量实现模型的泛化能力，包括可以实现对未见过的内容进行泛化推荐。当模型query-item矩阵比较稀疏时，模型的会过分泛化，推荐出很多无相关性的内容，准确性不能得到保证
Wide&Deep模型，平衡Wide模型和Deep模型的记忆能力和泛化能力。
模型结构
wide侧
$$
\phi_k(x) = \prod_{i=1}^{d}x_i^{c_{ki}}\ \ \ c_{ki}\in {0,1}
$$
deep侧
$$
a^{l+1}=f(w^{(l)}a^{(l)}+b^{(l)})
$$
Wide&Deep联合训练
$$
P(Y=1|x)=\sigma(W^T_{deep}a^{l}+W^T_{wide}\phi_k(x)+b)
$$
Wide选择FTRL,Deep选择Adam分别进行优化
转载请注明来源，欢迎对文章中的引用来源进行考证，欢迎指出任何有错误或不够清晰的表达。可以在下面评论区评论，也可以邮件至 zoubinbf@163.com
