电商平台搜索引擎广告通用召回配对

背景
& s! [* \3 D$ |) `3 y这一部分主要是个比较简单的延伸，先比较简单总体讲讲蘑菇街搜索引擎广告从推广到展示给客户的工作流程，随后详细介绍下电商平台搜索引擎广告的挑战，及其通用召回配对的关键性
$ R# r# x3 T. y# Y$ N; x/ i, Y4 f广告宣传从推广到展示的比较简单工作流程：

# h6 `7 k0 x  i' y/ I' K首要广告宣传自身也是个产品，卖家在广告投放平台推广后就形成了相对的广告宣传，此外卖家还可以考虑订购网站关键词及对网站关键词开展出价，推广的时段，推广时段等。
$ `: u0 S5 ~% l+ C发布后的广告宣传会进到广告投放平台的物料池子，相对于电商平台来讲须要承担起调节总体的供给与需求相互关系，供给者是卖家，他们供应广告宣传(包含：触发的网站关键词，展示的创意图案等)。相对于需求者客户来讲，展示科学合理配对的广告宣传产品及其创新的高清图片。
5 v7 i$ C/ C2 ]- g. Q' j' S' d电商平台在为了更好地使总体供给与需求愈发稳定平衡，会做一部分补充的工作，包含：客户检索的语汇可以最佳的关系到广告宣传订购的科学合理网站关键词(网站关键词强烈推荐卖家订购)；筛选并展示最打动客户的创意图案等。
& E$ e* D) p- |! f) K相对于客户来讲，他输入的关键词会通过“通用召回配对”板块，随后考虑出和关键词对应的广告宣传产品，随后挑选出的广告宣传产品会通过业务流程层的排列后最终展示给客户。
电商平台搜索引擎广告挑战
相对于电商平台来讲，提升科学合理广告宣传产品的通用召回，既有助于提升产品的丰富度，又可以提升电商平台的收益。可是相对于客户来讲，展示适用客户检索的广告宣传产品是前提条件。因此通用召回配对板块的功效也是效果通用召回广告宣传产品的“召回率”和“准确度”。
通用召回配对
先大概说下通用召回配对板块在搜索引擎中的工作模式
首要，收到到客户的检索query，搜索引擎会对这个词开展切词并对切词后的term开展组成。随后，须要对关键词开展详细分析，主要是短语parser，详细分析出短语结构，关键语汇，关键组成词等，及其须要对该query开展应当通用召回什么产品的类型开展预测分析。
  i/ Q! a5 H% t详细分析完词后，很有必要对词开展拓展，例如同样语意，类似的客户个人行为的词等。
最终，依据这一些拓展出来后的全部词，和倒排链开展通用召回操控，建立到ad的关系。依据query和ad的关联性开展有必要的切断，随后输出到业务流程层排列后，就展示给客户。

3 C$ C* l0 |1 K( `& D4 A8 _重要内容
3 h# N- s4 o# d: [9 p' JQueryunderstanding
Queryrewrite
8 [7 S) r8 n& O4 u  @, ZAdsummary
LearningtoMatch
4 N& B; f# t# |9 {& S$ Y. q第一个：客户搜索关键词的正确理解，主要是详细分析客户的检索用意，获取检索的重要信息，预测分析客户检索的产品类型
第二个：对客户检索的词开展修改，包含词义，客户个人行为各个领域的关联性，保证对客户最原始的搜索关键词拓展是全方面
第三个：搜索关键词拓展后须要和广告宣传确立投射关联，确立对应完整性，又考虑到竟价的倒排工作机制
9 e9 q% d" x& C9 D前三个关键讲怎样更好的完成相关的通用召回的更大化，提高召回率
: A9 {3 ?" L% t: S/ X' z1 t第四个：是讲怎样对通用召回来的广告宣传开展重顺序排列，保证准确度
.Queryunderstanding
. Q& ?$ `  S( _0 ~1 ^1 ]3 S目地：对客户搜索关键词用意的正确理解
( `9 g) F& x8 c# a. J/ x工作：
1 E) Q! Z2 e# n
! ?- z1 p+ m3 s8 t详细分析短语结构,详细分析关键语汇和关键子短语等，例如：带帽子连帽卫衣这类的query，关键词是连帽卫衣帽子只不过修饰语
2.清晰客户检索产品类型(category)
. P$ l* g! l3 V+ M+ K) U2 q0 }电商平台各个领域Query特点
产品类型清晰，分歧性少:
【修身连衣裙】->类型【裙】
形式固定不动(名词性短语NounPhrase)，词次序不固定不动
' F3 }2 P2 `& U# F' V' a【修身连衣裙】<->【裙子修身】
Query具有时节周期性的，潮流趋势性
名词短语(NP)(递归算法配对)
! M; t& ?6 |$ o; @5 u$ }+ t针对电商平台这类垂直细分领域来讲，短语结构相对比较简单，主要是名词短语。运用的形式还可以是自底向上递归算法的配对流程。
  V' E- W1 Q0 g3 W' ]; f具体方法须要的词库有两个：.语义分析，2.固定不动的短语结构。
6 l  H% m- q6 X/ g短语结构关键靠对搜索关键词的归纳总结，接下来列出了6中较为普遍的名词性短语，橘黄色的专有名词就是这个等级短语的核心语汇。这类的发枝针对最原始query而言我们称之为subQuery。

% U1 L" Z  a8 `* i& [1 L8 P; k1 T客户搜索关键词的产品类型预测分析
( s% T. I7 W7 D' q% s* a案例
9 P& f3 A* N; A裙套装类型是套装
( m& V; V. j" k) u) N' W" C3 I苹果充电器类型是数码电器产品
6 @( d' t/ ^0 }1 |莫西米亚裙子类型是裙
# N' z- h) c  N训练使用到的数据信息：“客户搜索关键词”和“类型”这类pair对结合
: O( d& S7 }# D( |2 u$ p训练数据来源主要是分两个：
. `4 {; Z0 h9 K( d" ?: j* q客户的单击个人行为数据信息，搜索关键词->单击广告宣传产品->广告宣传产品的类型=>(搜索关键词,类型)
- G0 }" G4 s' g: b1 h3 k0 O2.词和内部结构产品文本文档做精准文本文档配对，获得:词–>产品->类型=>(词,类型)
/ T( d3 g5 ^& j: M类型预测分析的形式关键有这两种：
相对而言计算量相对较大
( r: a' R1 Q3 c6 A5 V) j0 R2.Queryrewrite
  {4 H! {- i" k+ s0 z# TCo-Click随着客户点开个人行为
8 M5 h% Z9 H% n计算方法：simrank++，客户检索不同的关键字很有可能会造成的一样产品点开，随着相同的点开产品来创建关键字两者之间的潜在性关联性
基本原理是不同的的关键字造成一样产品的点开，随着对query到广告宣传产品这种的二部图，随后运用simrank的思想创建query到query的相似度成绩
# K0 ?9 x* e/ F7 S. y
如图所显示：K的邻居连接点是i和i2，K2的邻居连接点是i3和i4，K3的邻居连接点是i,i2,i3和i4
这样的话对第个步来讲，k和k3就可以随着i和i2紧密联系，k2和k3就可以随着i3和i4紧密联系
一样k和k2就可以随着k3关联，这种不断的更新会创建很多隐藏的关联性。
3 S# Y4 u0 n% [他们更新关联性以后的的权重系数方法为：
9 A' `, P' `" K- c1 ~
这种我们可以获得词两者之间的关联性pair对，和他们的权重值直接关系
" k2 A2 w6 `) \. s这里训练时遭遇到的一些问题：
$ ~  ~8 v! ]# Z4 ]4 C客户检索图强N天点开动态数据(3000w,00w关键字,00w产品)
一些问题:比较热门中心连接点—个产品对应着好几千个搜索关键词以及个搜索关键词对应着几万甚至几十万的的产品。这种会造成运行太浪费资源。
一些问题2:中间变量(产品到产品graph)数据量可达到百亿，光数据存储高出500G,以现在的spark的集群是不能跑完目标任务
解决方法：
" ~) S3 T0 Z3 s0 S7 S.对连接点实施剪枝，每一个连接点的出度是不能高出n
2.忽略sparkgraphx存储结构，选择rdd计算，节省高出2/3的内存容量graph的中间的连接点实施sample(产品sample0.5)，运行内存T->300G
Co-Session随着客户相同的一个时间段的连续不断操作
/ C: e- Y7 C& h1 T基本原理：
2个搜索词query假设同一时间出现在相同的一个客户检索session内，且个词的出现会影响另外个词出现的概率，那这两个query就会有相关性
& o) |" Y4 f# w相关性
3 r% ^% f% g9 c* V; y假设t和t2为动态数据集中的2个query，以下就可以随着统计方法获得


3 K" T! R3 i1 g% }0 v6 c% r7 D实际情况下是由于动态数据本身就有着波动，即使2个词是独立的的，也比较难能做到统计维度p和p2是绝对的相等的，所以只考虑他们的概率是不是相等是没有意义的。
/ B( P: W% S# e/ a另外的一种想法是用多次集的思想观念：假如t和t2一同出现的频率k，t2的频率n和他们的百分比这几个数据都可达一些阈值的情况下，t和t2便是相关的的。在这里事实上常常会忽视的一种状况：即便他们一同出现频率很低，百分比也很低，可是只要是个出现，另外个也会出现，事实上其中一个是强相关的于另外个。
接下来详细介绍下这类度的考量办法：
我们引入联合似然函数：
0 E& I' M6 K* y2 {5 }8 i, V, k8 O
  i+ m$ ^4 _4 j) V$ `+ w4 o9 W在这里分子的含义为大程度化独立性的机率，分母为大程度化独立性的机率，依据似然函数，非常容易获得：
- A8 i$ r- O' b) E% r/ G" f, R在这里LLR渐近的遵从卡方分布
. T8 E0 p9 e8 H( \5 F; G/ lLLR越高，t和t得关联性越高，score可达3.85，相关的的置信度可达95%
* `5 a% P1 U6 a- p5 S$ V1 p& A实际上线上要用，很有可能LLR必须要可达九十之间
6 `2 ], ~% }' [$ Y- O6 h8 H3 m6 U如此一来会获得2个相关联词的pair对
2 m0 r1 w/ M9 W; W& ?3 ], T) q, M+ ?% vEmbedding
Embedding总体的办法主要是：将个短语文档特征为个固定不动纬度的向量，之后有固定不动的向量以后，可以用这一个结论去做那些线性的总体目标预估，相反更行词的向量和短语的组合而成主要参数。在这里我们至关重要用之间产物：短语生产的固定不动纬度的向量
$ Y) h# y! U4 d/ F1 {$ ]4 ^
- u% Z" N+ i8 n这一个图总体的思想观念和现在sequence处理的办法很像
基本上结构特征可分为3块：
输入层：对短语切词，每一个词做为输入，之后对每一个词构建Embedding的lookuptable
4 Y0 H! J: l. E4 M; cencoder层：主要是工作是对切词后表示的词向量开展一些形式的组成，比较简单的办法是对全部向量相加求均值，复杂点的如：rnn／lstm或者卷积办法开展encode，输出个固定不动长度的向量
object层：主要是构建的思想观念是一个短语的表示向量和本身每一个词向量的一些间距应该是近的，对去别的的词间距是远的，在这里的M能够认为是他们的作用矩阵

2 J1 s' C; w$ l6 {1 a3 oOutput：使用Encoder向量，之后不一样的短语能够使用向量的间距来考量他们的相关的程度
5 i/ s! ?- @- k  F7 g9 V3.Adsummary
前边我们讲了搜索关键词的详细分析，和我们关联到大量相关的的语汇，这步我们必须要用这一些词关联到广告了。这就必须要我们事先对广告创建它到词的倒排投射关系。
这一个任务主要是分2步:.详细分析广告的具体内容，获取广告的文档信息内容。2.创建广告倒排索引
- Q+ r- `1 e( {- z( e电商广告具体内容
" Z& X- V6 ]$ z最重要的是产品图片，客户对产品的直接感受便是产品图片对他的吸引力，我们和图像团队协作，将他们根据图片生成的文本文档及标签融进到对产品的叙述具体内容中，包含颜色，设计风格，材料，样式等，以及店家录入的题目和属性等特性了对广告产品的文本文档叙述。
Ad引索
. o4 _. C" k* X' E创建Ad(广告)到最细粒度term的引索+布尔运算
0 @+ A8 K: e  {" `

( H0 O' @6 v/ a9 h0 O这类引索是创建在最细粒度的term上边的，每一个term的ad引索不可以提早sort(引擎搜索里为了更好地确保个docid的有序性，通常会需要个全局性的分数线)，在这里会造成2个问题：
* T) [/ y/ O8 }* _6 N7 @由于店家对广告的出价是根据“连衣裙套装”这类搜索关键词，而不是最细粒度的term，因此bid不明
- W2 d2 e# _! J) w) z不使用的term和这一个广告的质量分并不是全局性保持一致，因此Score也是具有不确定性
/ J5 k& X$ l5 B7 ~6 H因此召回的情况下，需要将两条链做and布尔运算，随后刷选出所有满足的ad，随后运用bid*score(或是更繁杂的方式)的方式做sort，这样可以截断出“连衣裙套装”这个词的topN召回。
实际上生产中，经过queryrewrite之后生成的词很有可能做到几十个，每一个词都进行上边的实际操作，一旦广告统计数据较大的情况下，总体搜索引擎的rt会很高。
创建Ad(广告)到关键字维度的引索
& H7 Y* `: f5 l' D& e9 u
) v+ V7 L  g0 k- L* z" X# g7 I这类引索方式是广告直接挂在词下方，这样店家对词是有具体的出价的，也就是bid是明确的，且score针对单独一个链而言是local模式，可以计算的。因此这样的链可以提早sort，一旦可以提早sort的话，假如我们只需求前500，那么就不用管后边的链有什么广告，总体效率要提高许多
% R- k5 l9 p( ]1 U% |8 D, r但这会造成的问题是：
8 h* R' T4 o7 S" U9 W没有布尔运算，业务层的过滤逻辑会变得很费时及繁杂
7 B' a& P: @/ {0 V( c" Y我们因该提早为这一个广告创建多少的词的引索映射。假如容量和计算能力充足大，创建越多的词的引索(量)，搜索的准确度会越高(质)，可是现实生活中搜索引擎的具体内容全是有限制的，因此我们需要权衡量和质的关系。这样的词的主要来源主要是两部分，.客户自行录入的关键字，2.比较常见的相关的搜索关键词
因此实际上线上搜索引擎会采用兼容两者特性的模型，比如创建ad到关键字维度的引索，可是根据这一个引索之上还可以做布尔运算。两种模式倒排的选择也会造成召回速度和匹配效果的权衡问题。
4.LearningtoMatch
" T% P# G7 O2 x$ S5 |5.前面3步具体讲了该怎样最大限度的召回相关的科学合理的广告商品，这一部分主要讲怎么去评定召回来的广告和用户原始的搜索词是不是适配，评定用户query和ad的match程度。
3 s  q2 L; a* g& _/ N4 x6.主要讲述2种方法：
" O0 u9 O7 C7 r* y; F7.非端到端：
: ^# u; y' z  D7 w8.种是适合用在线上实时计算的非端到端的方法，就是的非端到端是把整体的流程分拆为几步，每一步独自做优化调整实现分数，然后呢将每一步的分数组合实现最终的分数
/ m+ F2 k( Q$ r' N0 [8 g/ \
) z+ s3 B8 m2 g, u# a, Z, g9.主要是queryunderstanding解析而来的结果和ad结合的相关性分数，有：
* L6 h4 a( X# c& O7 |' m10.subquery为解析出原始query中重要term组合的自身权重分数
- q' t9 V. {4 h2 D11.query预测而来的类目以及其他修饰词汇和广告的match程度

12.为我们在做搜词词扩展的时候实现的2个词之前的相关性分数
3 B4 n+ k7 i6 a2 @13.通常情况下线上的这一些f,score等函数我们用的是最基础的线性加权方法
14.端到端：

" ?1 L0 c+ a; _0 b$ ?7 ^& N15.是一个典型的learntomatch结构
16.像之前提过一样，我们会对query的词通过encoder实现个固定的向量，广告商品的文本我们也会通过encoder实现固定维度的向量，
# P- O& u- `( t- y* O4 X17.然后呢利用query的encoder向量和ad的encoder向量相关性矩阵M来联合学习
# I& Y5 T& Z2 O( a) K3 ^2 a18.最终会实现他们的相似分
19.这块的正样本能够可以直接用线上的搜索query到点击广告商品的pair对，负样本能够考虑用同样的query，然后呢从整体的广告池子中sample出个，组成负样本pair对。
/ Z/ s5 _# S5 k- L6 {8 ^20.广告出价的影响
+ n9 H3 E$ c9 m% w( ^* G, s8 H21.前面已经计算了搜索词query和ad的文本相关性了，通常情况下我们在召回适配的时候还会融入用户的竞价因素，这样能够提升商户的整体竞价氛围
1 ^2 {; T+ x3 j4 ~9 y% K7 d22.前面我们已经都知道：
1 L; G% o6 ?2 N6 U& b23.sim(query,ad)评定的是query和广告ad的相关性,simscore的改表可以直接影响到召回率和准确率
5 d8 ~* h( _# @  |) w- }24.广告竞价效率我们通常情况下用Sad=bid*score，score可以用一些统计类的ctr，加入广告竞价效率，可以直接回影响到商户的竞价氛围
5 P8 v! f( ]5 d9 N" A$ n$ x25.最终我们会将这两个分数结合：score(query,ad)=g(sim,Sad)，g也是线性的
26.综上，我们score的调整就可以综合权衡召回，准确率，和商户的竞价氛围