探索用于 Meta 广告深度漏斗优化的层级化兴趣表示

中文精读

原文约 3,279 词 · 24 节

1. 引言：为 Meta 广告深漏斗优化的分层兴趣表示

   • 分层兴趣表示（Hierarchical Interest Representation）是 Meta 广告的研究方向，在用户、广告主、商品、服务等广告实体之上构建上游表示层，学习把用户推断兴趣与广告主深漏斗供给连接起来的统一嵌入。
   • 其核心创新包括自研的基于 transformer 的图学习（带偏置感知注意力）与自监督跨视角蒸馏，可在大规模图上学习多层级兴趣表示。
   • 方法把真实世界知识与互动信号结合：经 LLM 处理的多模态广告主与商品内容可丰富稀疏互动，从而泛化到罕见和未见过的实体。
   • 系统输出广告实体的通用嵌入与“语义袋”（Bag-of-Meaning）兴趣 token，有望支撑广告技术栈中的个性化、召回、监督与专门排序架构；并用数十亿级互动量的真实 Meta 广告数据端到端训练。
   • 该表示层定位为上游层，目标是在 Meta 的生成式广告模型（GEM）、Andromeda 和自适应排序模型（Adaptive Ranking Model）等推荐生态中推进深漏斗优化。
   • 人的偏好体现在每次滑动中；系统用前沿 AI 从稀疏互动信号中映射潜在兴趣，并使其与庞大的广告主供给对齐，以应对信号稀缺、提升深漏斗广告表现。

2. 引言：为 Meta 广告深漏斗优化的分层兴趣表示（续）

   • 使命是用多层级粒度强化用户、商家、商品之间的推理关系，使模型能在稳定的高层兴趣锚点与深漏斗意图的稀疏专用信号之间切换。

3. 分层兴趣表示如何增强深漏斗优化

   • 该工作带来表示建模的结构性转变：遍历长程图拓扑，并把稀疏互动信号蒸馏为不同粒度的统一兴趣簇。
   • 通过把真实世界知识与对广告商品的语义理解融合，强化广告与用户意图之间的连接。
   • 方法从海量互动数据中提取稳定的兴趣锚点，并以多模态世界知识作为依据，目标是鼓励“发现式”的广告体验、向用户投放更相关的深漏斗广告。

4. 技术挑战概述

   • 用户与广告实体的互动天然是图结构：用户和广告实体（广告主、商品、服务、广告活动等）是节点，连接它们的活动与事件是边。
   • 在 Meta 的规模下，这是业界最大的图网络之一，学习兴趣表示面临若干挑战。

5. 用户推断信号的动态性

   • Meta 向用户提供调节体验的工具，例如对看到的内容给出“感兴趣/不感兴趣”反馈。
   • 此外，基于互动信号推断出的兴趣，对改进深漏斗广告仍持续发挥重要作用。

6. 大规模网络与稀疏连接

   • 每月 Meta 广告网络要为数百万广告主、面向数十亿用户投放数百万条广告。
   • 虽然这种“词表”很大，但广告曝光机会有限，深漏斗用户反馈也很稀缺。

7. 长程的全局关系

   • 由于深漏斗中单条连接很稀疏，从长程、图连通的实体与用户中观察共性模式并编码进表示是有用的。
   • 在大图网络中捕捉长程关系计算代价很高；即使硬件能力提升，为了建模精度仍需设计省内存的注意力核（kernel）与高性能学习算法。

8. 分层兴趣表示：四项设计特性

   • 该系统是学习用户与广告实体通用关系知识表示的上游表示层，表示会捕捉用户的广告互动模式、吸收真实世界语义，并沿多个层级粒度级联为各层的隐空间投影。
   • 系统基于图数据结构，由四项设计特性贯穿端到端：降维、知识增强、统一关系表示、多层级粒度。

9. 降维

   • 把原始图投影为可配置的超图（super-graph），每个超级节点是一个学到的潜在兴趣基元（interest primitive）。
   • 在原始图中稀疏的用户—广告边，在基元兴趣图上变得明显更稠密。
   • 尽管广告业务本身更多变，基元兴趣图的词表本质上更平稳、更稳定。

10. 知识增强

    • 对异构实体（尤其是广告主与商品类型）用文本、图像、视频等多模态内容特征进行增强；这些特征来自结构化的页面元数据和广告主商品目录属性，经视觉或语言模型处理。
    • 这些额外信息补充了互动数据：不止知道“用户如何与某物互动”，还能知道“该物究竟是什么”。
    • 即使对从未见过的实体，也能理解其背后的业务与商品。

11. 统一关系表示

    • 在同一度量空间中，为用户与实体学习完整的知识表示，以及它们在潜在兴趣基元上的表示。
    • 可推断实体在类型内或跨类型之间的相互关系与亲和度；通过嵌入运算确定基元—基元、簇—簇的关系。
    • 还可估计用户与兴趣基元的接近程度、某条广告/广告主在多大程度上服务于某些兴趣基元，以及最接近的相似用户、广告与商品。

12. 多层级粒度

    • 鉴于深漏斗信息整体稀疏，如何投影到基元兴趣存在权衡：稠密稳定的关系通常对应更粗的高层抽象，稀疏具体的关系对应更细的抽象。
    • 系统学习通过多个层级层联级的超图以获得这种灵活性，从而适配排序建模架构、个性化或召回等应用。

13. 分层兴趣表示的架构总览

    • 系统把广告主与商品的世界知识同用户直接的时序互动数据结合来构建表示。
    • 其受 LLM 启发的 transformer 架构被应用于大规模图，用稀疏注意力捕捉长程关系。
    • 系统设计上可支撑广告平台从召回（retrieval）到最终阶段排序的多类应用。

14. 异构图形结构

    • 构建在有类型、带权重、带时间衰减的图上，统一用户、广告、广告主、广告活动、商品、像素（pixel）等多种实体类型。
    • 实体间由有类型的互动边连接，既包括商家创建广告产出物的关系，也包括用户—广告的互动旅程。
    • 每条边带动作类型与时间戳，用以在近期意图与长期兴趣之间取得平衡。
    • 这种有类型的异构结构，使单一的下游表示能在统一空间中同时推理某人的生活方式、广告主的商品目录覆盖范围及其连接的商品。

15. 扩展到 Meta 生产数据

    • 图每月覆盖数十亿用户、实体及其互动，同时在线服务（保证生产新鲜度）与离线服务（用于评估和快速迭代）。
    • 每个节点带丰富的初始嵌入，融合预训练语义特征与行为统计。
    • 高频节点通过深度哈希嵌入（deep hash embeddings）加入可学习 ID 嵌入：对节点 ID 的哈希向量套用小型共享神经网络，使 ID 内存有界，从而支撑词表扩展到数百亿量级。

16. 分层编码器与结构编码器

    • 基于 transformer 的分层编码器是为在如此巨大的图上扩展表示学习而设计的建模方案，其中考虑了若干重要技术设计（世界知识、结构编码器、偏置组合、注意力核）。
    • 节点编码器融合节点类型、由深度哈希控制的节点 ID、世界知识特征与各类型元数据/特征，使节点同时带着语义身份与真实世界内容进入模型。
    • 位置编码器对图上的采样视图施加位置编码，用随机游走和重要性优先策略注入局部拓扑。
    • 边编码器准备边类型、边权重与时间信号，使其流入注意力学习机制。

17. 世界知识

    • 对广告主、商品等相对稳定的实体而言，世界知识是“把点连起来”的手段，这类知识在这些实体上相当丰富。
    • 检索摘要文本、图像、视频中的多模态信息，并通过定制的 LLM 推理引擎处理，产出用于表示学习的编码特征输入。

18. 偏置组合

    • Transformer 通过注意力度量 token 间的两两关系，而图在构造上就编码了节点间的两两关系，两种思想天然互补。
    • 图结构信号（如沿事件边的节点类型转移、表示局部连通性的最短路径距离）作为注意力偏置进入模型，增强每层的 query-key 点积。
    • 这让模型具备拓扑感知（topology-aware）能力：不是把子图当成节点集合，而是带着节点间结构关系的明确知识做注意力，捕捉标准消息传递容易过度平滑的长程关系。

19. 注意力核

    • 给注意力加图结构偏置通常很昂贵：标准实现会实体化完整的成对偏置矩阵，被迫放弃省内存的注意力实现。
    • 系统采用 FlexAttention，逐项即时计算偏置，从不实体化成对矩阵。
    • 变长子图被打包进一个带块掩码（block-masked）的序列，避免填充浪费和跨图泄漏。
    • 新增偏置项只需写小的打分规则，无需底层核开发；最终得到具备完整图结构感知的省内存注意力。

20. 跨视角蒸馏

    • 分层编码器通过成对的教师—学生方案进行自监督训练：对每个锚节点采样宽的教师视角和窄的学生视角，二者都经过同一编码器。
    • 学生被训练去预测与教师相同的兴趣簇；由于教师看到更广的图视图，其预测更可信，给学生提供明确目标。
    • 这使监督远超少数产生深漏斗转化的用户，缓解了催生该研究的互动稀疏问题。
    • 使用 Sinkhorn-Knopp 平衡分配，防止单一簇坍缩（自监督方法的已知失效模式）。

21. 互动预测

    • 自蒸馏通过让同一节点不同视角聚到一起，发现图上的潜在兴趣基元。
    • 互动预测补充一个有监督目标：给定两个节点表示、一种互动类型和一个时间，预测该时刻是否真实存在这条互动边。
    • 两者合起来使系统既获得视角不变的结构先验，又直接扎根于观测到的用户行为，成为贯穿投放技术栈的通用打分函数。

22. 在线图基础设施与因果性

    • 原始异构图存放在 Meta 在线图引擎上，训练与在线服务共用同一数据源，保证两者分布一致。
    • 训练时子图拉取与节点特征读取和 GPU 计算流水化：多个 worker 并行准备后续批次，模型训练当前批次，把数据加载延迟隐藏在前后向传播之后；测试阶段相比同步基线实现 30 倍挂钟加速，并保持较高的 GPU 模型 FLOPs 利用率。
    • 端到端保持位级完全可复现（bit-exact），使基础设施迁移和检查点恢复不会悄悄改变模型行为。
    • 为防止信息泄漏，训练与评估严格遵循事件时间顺序：图引擎在每次调用时施加截止时间戳，屏蔽该时点之后的任何节点或边。
    • 边按时间切分为训练、验证、测试窗口；批次只在固定时间块内打乱，既保证梯度多样性又不跨越时间边界，因此准确率提升反映真实学习而非未来泄漏。

23. 语义袋（BoM）token

    • 连续通用嵌入很适合排序，但天然不适合倒排索引召回、集合聚合或人工解读。
    • 系统把它们离散化为语义袋（Bag-of-Meaning, BoM）token：由复合量化（composite quantization）产生的紧凑、无序的兴趣概念词表。
    • 用户由其兴趣对应的 BoM token 表示；广告或广告主由其服务的兴趣对应的 BoM token 表示。

24. 在投放技术栈中激活该表示

    • 设计目标是把学到的兴趣表示接入广告投放技术栈，最终借助 GEM、Andromeda、自适应排序模型等现有组件改进深漏斗排序。
    • 例如 BoM token 用用户潜在兴趣增强基于互动的个性化与监督，并通过倒排索引查找实现快速紧凑的召回。
    • 多层级结构支撑专门架构，例如由超级兴趣类目路由的混合专家（Mixture of Experts）生成式分布学习，并支持基于稳定兴趣锚点的用户—广告亲和度的分层推理。