可视化的信息论

学习词嵌入

Learning Word Embedding | Lil'Log

这篇博客讲如何把自由文本中的词转换为稠密数值向量表示，指出 one-hot 编码在词表规模大时不实用，而词嵌入能在低维稠密空间中近似词间相似度并体现隐含语义关系。内容涵盖基于计数的向量空间模型、基于上下文的 Skip-Gram 与 CBOW、各类损失函数（全 softmax、层次 softmax、交叉熵、噪声对比估计 NCE、负采样 NEG）、其他训练技巧、GloVe 全局向量，以及用《权力的游戏》文本做 word2vec 的示例。

《统计学习导论：基于 Python 的应用》

An Introduction to Statistical Learning with Applications in Python

页面是《An Introduction to Statistical Learning》一书的官方网站，可下载 R 版与 Python 版教材。书中以较少技术化的方式覆盖统计学习主要主题，章节包括回归、分类、重采样方法、线性模型选择与正则化、非线性方法、树方法、支持向量机、深度学习、生存分析、无监督学习和多重检验，每章末尾附有 R 或 Python 实验。R 版首版于 2013 年、第二版于 2021 年，Python 版于 2023 年出版。适合希望用当代工具做数据分析的读者使用。

注意力？注意力！

Attention? Attention!

Lil'Log 博客介绍注意力机制的文章。从 Seq2Seq 模型的问题出发，给出注意力的定义和各类变体（自注意力、软/硬注意力、全局/局部注意力），并介绍神经图灵机、指针网络和 Transformer（键值查询、多头自注意力、编码器-解码器整体结构），以及 SNAIL 和自注意力 GAN。

机器学习图解（第二版）

Grokking Machine Learning, Second Edition

这是 Manning Publications 出版的图书第二版，作者为 Luis G. Serrano，共 525 页，预计 2026 年 12 月 15 日出版，目前尚未出版。简介称新版新增对 LLM、Transformer 与生成式 AI 的覆盖，包括生成式 AI 新章节、Transformer 架构的直观讲解、LLM 训练与微调说明，以及扩充的 XGBoost 内容、新练习与新示例。

神经网络：从零到高手（Neural Networks: Zero to Hero）

Neural Networks: Zero to Hero

Andrej Karpathy 的课程页面，讲的是用代码从零构建神经网络，从反向传播基础逐步搭到 GPT 这类现代深度神经网络，并以语言模型为主要载体。页面列出课程大纲及每讲时长与内容，例如用 micrograd 讲解反向传播与网络训练、用 makemore 实现二元字符级语言模型并介绍 torch.Tensor 与语言模型训练、采样和损失评估框架；先修要求为熟练的 Python 编程和入门级数学（如导数、高斯），并给出 Discord 交流频道。材料显示其面向具备基础编程与数学背景、想从零动手实现神经网络的学习者。

CS229 监督学习简明指南（中文）

斯坦福 CS229 机器学习课程的监督学习复习速查表中文版，作者为 Afshine Amidi 与 Shervine Amidi，中文版由 Wang Hongnian 翻译。内容按主题压缩呈现：预测类型与模型类型对比、符号与一般概念、损失函数与成本函数、梯度下降、似然、线性与逻辑回归、广义线性模型、支持向量机与核方法、生成学习（高斯判别分析、朴素贝叶斯）、树与集成方法（CART、随机森林、提升）、k-NN，以及学习理论（Hoeffding 不等式、PAC、VC 维）。页面提供 GitHub 上的 PDF 版本，并有监督学习、无监督学习、深度学习、提示和技巧等姊妹速查表入口。适合已接触机器学习基础概念、需要对监督学习要点做快速回顾的人查阅。