一、传统CTR预估模型演变
1. LR即逻辑回归。LR模型先求得各特征的加权和，再添加sigmoid函数。
LR模型的优点在于：
LR模型的缺点在于：
POLY2对所有特征进行“暴力”组合（即两两交叉），并对所有的特征组合赋予了权重。
一定程度上解决了LR缺乏特征组合的问题，但是“暴力行为”带来了一些问题：
相比于POLY2，FM为每个特征学习了一个隐权重向量 w。在特征交叉时，使用两个特征隐向量w的内积作为交叉特征的权重。
将原先n^2级别的权重数量降低到n*k（k为隐向量w的维度，n>>k），极大降低了训练开销。
4. FFM在FM模型基础上，FFM模型引入了Field-aware。在特征交叉时，使用特征在对方特征域上的隐向量内积作为交叉特征的权重。
FFM模型的权重数量共n*k*f个，计算复杂度上升到k*n^2，远远大于FM模型的k*n。
5. GBDT/xgboost/lightgbm直接使用机器学习算法中的集成学习方法。
6. GBDT+LR/FM/FFM利用GBDT自动进行特征筛选和组合，进而生成新的离散特征向量，再把该特征向量当作LR模型的输入。
在LR的基础上采用分而治之的思路，先对样本进行分片，再在样本分片中应用LR进行CTR预估。
以上1-7部分可以总结为传统的CTR预估模型演变，这里分享一下大佬的关系图谱：
通过加入embedding层将稀疏特征转化为低维稠密特征，用stacking层连接分段的特征向量，再通过多层神经网络完成特征组合/转换。
跟经典DNN有所不同的是，Deep crossing采用的multilayer perceptron是由残差网络组成的。
相比于Deep Crossing，FNN使用FM的隐层向量作为user和item的Embedding，从而避免了完全从随机状态训练Embedding。
把单输入层的Wide部分和经过多层感知机的Deep部分连接起来，一起输入最终的输出层。
DeepFM对Wide & Deep的改进之处在于，用FM替换掉了原来的Wide部分，加强了浅层网络部分特征组合的能力。
使用Cross网络替代了原来的Wide部分。Cross网络使用多层cross layer对输入向量进行特征交叉，增加特征之间的交互。
相对于DeepFM和DCN对于Wide&Deep Wide部分的改进，NFM可以看作是对Deep部分的改进。
NFM用一个带Bi-interaction Pooling层的DNN替换了FM的特征交叉部分。
在模型的embedding layer和concatenate layer之间加入了 attention unit ，使模型能够根据候选商品的不同，调整不同特征的权重。
以上1-7部分可以总结为引入深度学习的CTR预估模型演变，这里分享一下大佬的关系图谱：
对于深度学习推荐模型的离线训练自然不是问题，一般可以采用比较成熟的离线并行训练环境。
对于深度学习推荐模型的上线问题，其线上时效性至关重要。
1. “特征实时性”这里分享一下大佬画的智能推荐系统主流技术架构图，博主认知有限，就不展开介绍了。
与“特征实时性”相比，推荐系统模型的实时性往往是从更全局的角度考虑问题，博主认知有限，就不展开介绍了。
很多公司采用“ 复杂网络离线训练，生成embedding存入内存数据库，线上实现LR或浅层NN等轻量级模型拟合优化目标 ”的上线方式。
以百度的双塔模型举例说明：
（1）分别用复杂网络对“用户特征”和“广告特征”进行embedding，这就形成了两个独立的“塔”，因此称为双塔模型。
（2）在完成双塔模型的训练后，可以把最终的用户embedding和广告embedding存入内存数据库。
（3）线上推理时，只需要实现最后一层的逻辑，从内存数据库中取出用户/广告的embedding，通过简单计算即可得到预估结果。
最后感叹一句，深度学习CTR模型的发展实在是太迅速了，很多新模型就不继续介绍了，要保持学习啊！
联系客服
