Lil'Log（Lilian Weng 个人博客） · Lilian Weng

Controllable Neural Text Generation

Controllable Neural Text Generation是Lil'Log（Lilian Weng 个人博客）的免费文章（en）。前置条件：需要了解语言模型的自回归生成与 softmax/对数似然等基本概念，并能读懂概率公式；对强化学习有初步印象更佳。

系统了解在不改动模型权重和改动模型两类思路下，如何让无条件语言模型的输出在主题、风格、情感等属性上变得可控。

Lil'Log

使用限制

浏览器直接阅读即可，无需账号或安装软件。

练习与作业: 开课提示词尚未实际运行验证
内容提示: 内容时效：网页标注文章发布于 2021 年 1 月 2 日，最后更新于 2021 年 9 月 19 日，综述的文献截至 2021 年，此后该领域已有较多新进展。

想系统掌握可控文本生成方法脉络、并习惯读英文技术综述的学习者；对自然语言生成与对齐方向的自学者尤其合适。

想找可直接运行代码、按步骤动手实现的入门教程；本文是综述文章，不提供完整实操流程。

需要了解语言模型的自回归生成与 softmax/对数似然等基本概念，并能读懂概率公式；对强化学习有初步印象更佳。

Decoding Strategies：Common Decoding Methods、Guided Decoding、Trainable Decoding
Smart Prompt Design：Gradient-based Search、Heuristic-based Search
Fine-tuning：Conditional Training、RL Fine-tuning、RL Fine-tuning with Human Preferences、Guided Fine-tuning with Steerable Layer
Distributional Approach
Unlikelihood Training
Citation、References（节选未提供正文）

免费吗？

免费：节选可直接读到正文内容，未出现付费墙或登录拦截，网页也未提及收费。实践无额外费用：阅读型文章，网页未说明需要任何付费服务；文中链接的代码仓库是否需算力未在节选中说明。

需要什么基础？

需要了解语言模型的自回归生成与 softmax/对数似然等基本概念，并能读懂概率公式；对强化学习有初步印象更佳。软件、账号与硬件：无需安装环境或注册账号，用浏览器即可阅读；若想跟进文中参考文献需能访问 arXiv 等论文站点。

有中文吗？

本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。

怎么开始？

从原始资源入口开始：https://lilianweng.github.io/posts/2021-01-02-controllable-text-generation/。打开原文即可，无需安装软件。开课提示词尚未完整验证。练习与作业需要自备：开课提示词尚未实际运行验证。