博客精选。
How To Use Decision Models for Evals
Hamel 博客的文章，讨论把 Jev、Perplexity Decider、Liquid d1、Cloudflare Clef、OpenAI Decisions API 等决策模型用作 LLM 判官的廉价替代方案。文中指出默认 0.50 阈值常被直接使用而未针对任务调整，因而先演示阈值调优，再比较成本与性能，并讨论如何解读模型分数以及校准对置信度估计的作用；实验使用某公寓租赁代理的 100 条对话轨迹，任务是找出含错误的轨迹。
Building the new GitHub Copilot Inline Suggestions Model: Part One
这是 VS Code 官方博客系列的第一篇，介绍 GitHub Copilot 内联建议的三种形态：补全式幽灵文本、光标附近的下一处编辑建议和远距离编辑，此前各由专门的模型路径支持。文中提到过去 90 天内超过 610 亿次成功的模型请求，并说明团队已将三者统一到一个“3-in-1”模型。适合关注 Copilot 内联建议模型演进的人阅读。
Building the new GitHub Copilot Inline Suggestions Model: Part Two
这是 VS Code 官方博客系列的第二篇，讲述把补全式幽灵文本、光标附近的下一处编辑建议和较远位置的编辑统一到单个“3-in-1”模型的过程。文中说明此前分别由独立模型负责，并指出统一后一次请求可覆盖多种代码编辑行为，减少模型调用与服务复杂度。适合关注 Copilot 内联建议实现与编辑器 AI 设计的人阅读。
“It's Hard to Eval” Is a Product Smell
作者 Hamel Husain 基于三年做 AI 评估的经验，认为“我们的产品很难评估”这一常见说法本身反映了产品设计问题：用户难以验证的输出，用户往往同样难以验证，最坏情况下只能从头重做一遍。文章主张在设计评估之前，应先把产品做成易于验证的形式，并通过他参与顾问的三个产品案例，配以改动前后的设计草图来说明原则，最后讨论如何把这一模式应用到其他产品。文中第一个例子是 AI 数据代理，指出只输出最终答案会导致用户无法核对。适合负责 AI 产品设计与评估的人阅读。
Speculative Decoding Explained: How to Get 3× Faster Inference from Any LLM
MachineLearningMastery 的文章，作者 Vinod Chugani，2026 年 10 月 23 日发布。内容解释标准自回归逐 token 生成受内存带宽瓶颈限制的原因、草稿—验证循环如何工作且保持目标模型输出分布不变、Medusa、Eagle、Prompt Lookup Decoding 等现代变体，以及在生产环境启用该技术的实际权衡。适合关注 LLM 推理性能优化的开发者阅读。
From GAN to WGAN
这篇博客从博弈论视角讲解生成对抗网络（GAN），先用 KL 与 JS 散度铺垫，推导判别器的最优值和全局最优，解释损失函数的含义，再讨论 GAN 训练中的问题（难以达到纳什均衡、低维支撑、梯度消失、模式崩塌、缺乏合适评价指标）和改进训练方法。最后介绍 Wasserstein GAN，包括 Wasserstein 距离的定义、相比 JS/KL 散度的优势，以及将其用作 GAN 损失函数，并附有生成宝可梦图像的示例。文中注明该文有韩文译本并发布在 arXiv 上。
Learning Word Embedding | Lil'Log
这篇博客讲如何把自由文本中的词转换为稠密数值向量表示，指出 one-hot 编码在词表规模大时不实用，而词嵌入能在低维稠密空间中近似词间相似度并体现隐含语义关系。内容涵盖基于计数的向量空间模型、基于上下文的 Skip-Gram 与 CBOW、各类损失函数（全 softmax、层次 softmax、交叉熵、噪声对比估计 NCE、负采样 NEG）、其他训练技巧、GloVe 全局向量，以及用《权力的游戏》文本做 word2vec 的示例。
Are Deep Neural Networks Dramatically Overfitted? | Lil'Log
Lil'Log 博客讨论深度学习泛化问题的文章。从经典压缩与模型选择理论（奥卡姆剃刀、最小描述长度、柯尔莫哥洛夫复杂度、Solomonoff 推断）讲起，讨论深度模型的表达能力（万能逼近定理、两层网络有限样本表达性、可学习随机噪声），然后分析“是否严重过拟合”以及现代风险曲线、正则化并非泛化关键、内在维度、异构层鲁棒性和彩票假设。
Generalized Language Models
Lil'Log 博客梳理预训练语言模型的文章。按时间顺序介绍 CoVe、ELMo、跨视角训练 CVT、ULMFiT、GPT、BERT、ALBERT、GPT-2、RoBERTa、T5、GPT-3、XLNet、BART 和 ELECTRA，涉及预训练任务、输入嵌入、字节对编码、零样本迁移等，最后总结困惑度指标与常用任务和数据集。
Flow-based Deep Generative Models
Lil'Log 博客关于流模型（flow-based generative models）的文章。先对比 GAN、VAE 与流模型的区别，回顾雅可比矩阵、行列式与变量变换定理，再介绍归一化流（Normalizing Flows）及 RealNVP、NICE、Glow，以及基于自回归流的 MADE、PixelRNN、WaveNet、掩码/逆自回归流，最后提到 VAE + Flows 的组合。
From Autoencoder to Beta-VAE
Lil'Log 博客梳理自编码器及其变体的文章。依次介绍普通自编码器、去噪、稀疏和收缩自编码器，然后重点讲变分自编码器 VAE（ELBO 损失与重参数化技巧）、Beta-VAE，以及后续加入的 VQ-VAE、VQ-VAE-2 和 TD-VAE 章节，附符号表。
The Multi-Armed Bandit Problem and Its Solutions
这篇博客以“去哪家餐厅吃饭”等生活化例子说明利用与探索的权衡，界定多臂老虎机问题，并介绍若干策略：ε-贪心、基于 Hoeffding 不等式的置信上界 UCB1、贝叶斯 UCB、汤普森采样，最后附案例研究与总结。作者提到针对伯努利老虎机的算法实现在其 GitHub 仓库 lilianweng/multi-armed-bandit 中。