审慎地理解缩放定律

探索用于 Meta 广告深度漏斗优化的层级化兴趣表示

Exploring Hierarchical Interest Representation For Meta Ads Deep Funnel Optimization

Meta 工程博客介绍其在广告领域研究的“层级化兴趣表示”，即位于广告实体（用户、广告主、产品、服务）之上的上游表示层，学习连接用户推断兴趣与广告主供给的统一嵌入。其技术包括自研的基于 transformer 的图学习、偏置感知注意力和自监督跨视图蒸馏，并结合经 LLM 处理的多模态广告主与产品内容；输出通用嵌入和 Bag-of-Meaning 兴趣 token，基于 Meta 真实广告数据在数十亿级交互规模上端到端训练。

我们是在通过记住更多来解决 LLM 记忆问题，而真正的问题是知道该忘掉什么吗？[D]

Are we solving LLM memory by remembering more, when the real problem is knowing what to forget?[D]

r/MachineLearning 的一篇讨论帖（[D] 表示讨论类）。作者指出长上下文模型可处理数十万乃至上百万 token，但质疑业界过于关注召回而忽视信息更新：例如编码智能体读到的 API 超时为 30 秒，后来文档改为 5 秒，两个版本都还在上下文中，智能体却继续用 30 秒——它没有忘掉任何东西，只是没有更新已知内容。帖中比较了 Transformer 与 RAG 中新旧信息共存需在读取时解决冲突、简单线性注意力中关联累积于共享状态、DeltaNet 基于预测误差的更新、BDH 的赫布式突触可塑性等做法，并提出评估方式的问题：与其只测能否找到信息，不如测模型在收到更新的矛盾证据时是否会改变答案同时仍记得旧事实。适合关注 LLM 记忆架构与长上下文评测方法的研究者阅读。

斯坦福 CME295 Transformer 与大语言模型 | 2026 年秋季 | 第 3 讲 — LLM 训练

Stanford CME295 Transformers & LLMs | Autumn 2026 | Lecture 3 - LLM training

这是斯坦福课程 CME295 2026 年秋季学期的第三讲录像，由 Afshine Amidi 与 Shervine Amidi 讲授。内容涵盖预训练与交叉熵损失、数据配比、中期训练、长上下文训练、监督微调（SFT）、LoRA、偏好调优、Bradley-Terry 模型、RLHF、DPO、推理能力、GRPO、在线策略蒸馏（OPD）及一个端到端示例。

讲 H-Nets 从原始字节学习，规模化可省约十倍数据与算力

Albert Gu 在 X 上谈从原始字节做语言建模这一方向，认为智能应来自简单的通用构件、直接从原始数据学习抽象（即“苦涩的教训”）。他提到去年提出的分层网络（H-Nets）是新一步，新版本在受控的 scaling law 实验中取得最高 3–5 倍效率提升，在更大规模下用约十分之一的数据与算力达到与在 11T token 上训练的开源模型相当的水平，并称后续帖子会讲解发现与原理。适合做模型架构与 scaling law 研究的人阅读。