视觉信息助力广告点击率预估--京东广告团队技术论文入围KDD2020
|
1. 工业级广告CTR预估系统需要满足线下快速训练和线上低延迟服务两项重要技术要求。 然而，由于CNN的运算速度远远慢于CTR预估系统的其他模块，它可能成为整个CTR预估系统的运算瓶颈。所以，在实际CTR预估系统中应用CNN来提取图像特征通常是极为困难的。 2. 现有的商品主图特征提取模块，绝大多数搬迁自经典的、原本用于图像分类的CNN结构。在原本的图像分类任务中，图像的类别是未知的、待预测的，因此这些CNN结构并没有把图像的类别作为输入。而在CTR预估中，电商商品的类别是被清晰的标注的，并且极有可能含有能辅助图像特征提取的，丰富的视觉先验。在业界常用的，视觉特征与非视觉特征“后融合”的结构中，CNN没有有效利用“商品类别”这一重要信息，从而可能提取到与当前类目无关的特征，浪费了CNN有限的表达能力。相反，如果我们能设计一种新的CNN结构，有效利用商品类别信息，那么提取到的基于特定类目的视觉特征，会极大地降低CNN的训练难度。 三、我们的算法原理： 旨在有效利用电商领域中丰富的商品类目信息，我们将商品类目信息与商品主图共同作为主图特征提取模块的输入，从而提取基于特定先验类目信息的商品主图特征。算法命名为基于特定类目的卷积神经网络(Category-Specific CNN, CSCNN)。相比于现有的主图特征提取技术，我们提取的主图特征能更为精确地描述商品特征，触达用户偏好，提升CTR预估的性能。 设计灵感最初来源于SeNet 和CBAM[4]，即用轻量级的自身注意力网络刻画卷积特征之间的内在联系。亮点在于我们创新性地在每一个卷积层，都加入了类目信息，从而使基于特定类目的注意力网络能学到既重要又专注于特定类目的视觉特征。
图三、商品主图特征提取的流程图，为了清晰表述，本图只突出单一层的变换模块。实际中，该Attention结构可加在多层卷积网络中。 商品主图I通过多层卷积神经网络处理。在每一层CNN后，本层CNN的输出一个特征图张量(Tensor)F，该特征图张量经过通道注意力模块Mc 的变换后，调整为新的特征图张量F’，进一步经过空间注意力模块Ms变换后，调整为特征图张量F’’，这个特征图张量F’’作为本层输出的特征图，被输入到下一层CNN中处理。如图三。 我们来具体介绍下，通道注意力和空间注意力模块内部结构。 CNN的输出特征图张量F，先经过通道注意力模块Mc调整为F’，具体流程如图四(上)： 首先，特征图F经过空间维度的压缩，得到了C维的Maxpooling和Avgpooling向量。两者分别拼接上C’维的类目特征向量Akc通过全连接层变换为两个C维向量后相加，得到一个C维的通道注意力向量，与原特征图广播后元素相乘后，得到调整后的特征图张量F’。总结为：
其中类目特征向量Akc，因类目k而异，和其他网络参数一起随机初始化后通过反向传播算法迭代优化。
图四、通道注意力模块和空间注意力模块 通道注意力调整后的特征图张量F’，经过空间注意力模块Ms调整为F’’，具体流程如图四(下)：首先，特征图F’经过通道维度的压缩，得到了WH维的Maxpooling和Avgpooling矩阵。两者拼接上WH维的类目特征向量Aks，共同通过7*7的卷积核变换后，得到一个HW维的空间注意力矩阵，与原特征图广播元素相乘后，得到调整后的特征图张量F’’。总结为：
其中类目特征向量Aks，因类目k而异，和其他网络参数一起随机初始化后通过反向传播算法迭代优化。 经通道和空间维度两次调整后的特征图张量F’’，已经包含了类目k的先验信息，被作为了下一个卷几层的输入。以上两个调整模块，可以用在各个卷积层中，使得整个网络能提取基于特定类目先验信息的商品主图特征。 四、我们的架构流程：
图五、在线模型系统架构 1. 离线训练：CSCNN模块与整个CTR预估预估模型(Deep & Cross Net[5])共同训练。为了解决CNN的计算瓶颈问题，加速训练，我们采用了一种特殊的采样方式[6]。集中25个，有相同图像的广告训练样本在同一个训练Batch中。如此CNN图像特征提取可以只计算一次，然后广播到这个训练Batch中的25个样本。现在我们可以在一天内完成150亿广告展示样本、1.77亿图片的联合训练。 2. 离线词表生成：商品图像和商品类目信息被共同输入到训练好的CSCNN模块中，计算商品图像的视觉特征向量。在线预估系统加载这些视觉特征，作为CNN模块的替代，输入到CTR预估系统中。结合一定的频次控制策略，20GB的词表可以覆盖第二天的90%的线上流量。 3. 在线服务：在线服务系统接收到一条CTR预估请求后，会根据广告ID，从图像特征词表中直接查询视觉特征向量，与非视觉特征一起输入到CTR预估模型中计算。在3 Million/second的流量峰值中，我们的CPU在线服务系统能把TP99延迟严格控制在20ms以内。 五、实验效果： 我们的实验设计主要关注于两方面： 1. 测试CSCNN模块的，有效提取特定类目信息的视觉特征的能力。为了排除庞大的CTR系统中的多方干扰，我们选择了Amazon Benchmark 数据集，和简单的线性CTR预估模型Bayesian Personalized Ranking (BPR). 2. 我们进一步测试CSCNN对于整个CTR系统的提升。包括在京东广告系统收集的150亿训练样本的工业数据集，和真实流量的Online A/B Test. （编辑：源码门户网） 【声明】本站内容均来自网络，其相关言论仅代表作者个人观点，不代表本站立场。若无意侵犯到您的权利，请及时与联系站长删除相关内容! |
