Pre-Ranking

粗排

粗排	精排
给几千篇笔记打分	给几百篇笔记打分
单次推理代价必须小	单次推理代价很大
预估的准确性不高	预估的准确性更高

三塔模型推理

三塔模型推理：减少计算量，使得可以在线给几千个物品打分

参考文献：

1. Zhe Wang et al.COLD:Towards the Next Generation of Pre-Ranking System.In DLP-KDD,2020. Alibaba

用户塔	物品塔	交叉塔
只有 1 个用户，用户塔只做一次推理。	有 n 个物品，理论上物品塔需要做 n 次推理	统计特征动态变化，缓存不可行。
即使用户塔很大，总计 算量也不大。	缓存物品塔的输出向 量，避免绝大部分推理	有 n 个物品，交叉塔必须做 n 次推理

• 物品塔向量缓存定期更新，线上不需要推理，只有新物品需要推理
• 通常交叉塔只有一层，宽度也比较小
• 有 n 个物品，模型上层需要做 n 次推理
• 粗排推理的大部分计算量在模型上层。

推理

• 从多个数据源取特征：
  • 1 个用户的画像、统计特征
  • N 个物品的画像、统计特征
• 用户塔：只做 1 次推理
• 物品塔：未命中缓存时需要做推理
• 交叉塔：必须做 n 次推理
• 上层网络做 n 次推理’给 n 个物品打分