Datawhale（datawhalechina） · erenup（多多笔记） · 张帆 · 张贤 · 李泺秋 · 蔡杰 · hlzhang · 台运鹏 · 张红旭
基于transformers的自然语言处理(NLP)入门
跟着中文图文教程理解 Transformer/BERT/GPT 原理，并用 PyTorch 与 Hugging Face Transformers 动手完成常见 NLP 任务的实现与训练。
Datawhale
- 难度
- 入门
- 形式
- 实践教程
- 语言
- zh
- 规模
- 21 个课节
- 内容费用
- 免费
- 动手
- 需要动手环境
使用限制
阅读教程只需浏览器；跑通代码需自备 Python/PyTorch 环境，并可能用到 GPU。
- 学习材料
- 可访问 GitHub 或 GitHub Pages 在线阅读教程
- 练习与作业
- 如需实际训练模型，训练任务可能依赖 GPU；网页未说明具体要求
学完你能
- 解释 attention 机制的直观原理与计算过程
- 说明 Transformer 整体结构及各子模块（编码器、解码器、位置编码等）的作用
- 用 PyTorch 从零编写一个 Transformer / BERT 模型
- 理解 BERT 与 GPT 的预训练目标与结构差异
- 用 Hugging Face transformers 完成文本分类、序列标注等任务的训练与推理
- 完成抽取式问答、多选问答、语言模型、机器翻译、文本摘要等生成/理解任务实践
- 配置本地阅读与代码运行环境并跑通教程代码
适合你吗
适合
适合有 Python 与 PyTorch 基础、想系统入门深度学习时代 NLP 与 Transformer 的中文学习者。
暂不适合
不适合完全没有编程/深度学习基础、或只想了解概念而不动手写代码的读者。
需要先会
需要一定的 Python 与 PyTorch 编程基础，并了解简单的深度学习模型。
课程特点
- 内容侧重
- 侧重实践应用
- 练习与项目
- 读完每个篇章后做对应“篇章小测”，并在篇章 4 中实际运行文本分类、序列标注、问答、翻译、摘要等任务脚本，把结果与教程示例对照。
- 学习时长
- 21 个课节原站未给出统一学习时长；实际用时取决于已有基础。
- 内容费用
- 免费内容托管在 GitHub 与 GitHub Pages 上公开可读，网页未提及付费内容。
内容覆盖
- 篇章1-前言：1.0 本地阅读和代码运行环境配置；1.1 Transformers在NLP中的兴起
- 篇章2-Transformer相关原理：2.1 图解attention；2.2 图解transformer；2.2.1 Pytorch编写Transformer；2.2.2 Pytorch编写Transformer-选读；2.3 图解BERT；2.4 图解GPT；2.5 篇章小测
- 篇章3-编写一个Transformer模型：BERT：3.1 如何实现一个BERT；3.2 如何应用一个BERT；3.3 篇章小测
- 篇章4-使用Transformers解决NLP任务：4.1 文本分类；4.2 序列标注；4.3 抽取式问答；4.4 多选问答；4.5 语言模型；4.6 机器翻译；4.7 摘要生成；4.8 篇章小测
来源与使用须知
- 收录时间
- 本站首次收录 2026-10-17
- 指南参考
- 课程主页
版权与转载
- 课程材料未标明许可：仅供个人学习，转载、修改或商用前请先联系原作者。
- 本站只提供原始链接和学习指南，不转载、不镜像课程材料；引用时请注明原作者与出处。