教程必读
注意力？注意力！
Attention? Attention!
Lil'Log 博客介绍注意力机制的文章。从 Seq2Seq 模型的问题出发，给出注意力的定义和各类变体（自注意力、软/硬注意力、全局/局部注意力），并介绍神经图灵机、指针网络和 Transformer（键值查询、多头自注意力、编码器-解码器整体结构），以及 SNAIL 和自注意力 GAN。
全部资源
各类型里多数人会感兴趣、对大部分人有帮助、相对完整系统的 AI 资源。
3 条精选
教程必读发布 05-29
PyTorch 性能分析（第一部分）：torch.profiler 入门指南
Profiling in PyTorch (Part 1): A Beginner's Guide to torch.profiler
这是 PyTorch 性能分析系列文章的第一篇，面向初学者介绍如何使用 torch.profiler 读取性能分析 trace。文中说明该系列将逐步讲解 trace 阅读技能并用于驱动优化，后续两篇分别涉及从 nn.Linear 到融合 MLP、以及注意力层的分析。适合刚开始接触 PyTorch 性能分析的新手阅读。
教程必读发布 08-26
用 Sentence Transformers 训练与微调多向量嵌入模型
Training and Finetuning Multi-Vector Embedding Models with Sentence Transformers
文章介绍 Sentence Transformers v6.0 新增的第四种模型类型 MultiVectorEncoder，用于 ColBERT 风格的后期交互检索，并给出了配套的完整训练方法。文中按模型、数据集、损失函数、训练参数、评估器和训练器类等组件逐一讲解，并附实际操作示例，全部流程在安装 sentence-transformers 的训练依赖后即可运行；作者还展示了在单张 RTX 3090 上训练 14.5 小时的 mLateOn-medical 模型的评估结果。适合做检索增强生成、语义搜索的实践者阅读。