Lil'Log（Lilian Weng 个人博客） · Lilian Weng

How to Build an Open-Domain Question Answering System?

How to Build an Open-Domain Question Answering System?是Lil'Log（Lilian Weng 个人博客）的免费文章（en）。前置条件：需了解神经网络基础、Transformer/预训练语言模型概念，以及信息检索基本指标。

理解开放域问答（ODQA）的任务定义、三类开放卷/闭卷框架与常见实现路线，能读懂并选择检索器、阅读器、生成器的组合方案。

Lil'Log

使用限制

阅读正文不需要账号；仅在复现文中 OpenAI API 示例时需要相应账号。

练习与作业: OpenAI API 账号（文中闭卷问答示例使用，原页面标注为 beta）
内容提示: 内容时效：网页标注文章发布于 2020 年 10 月 29 日（2020 年 11 月 12 日更新），综述的模型与 API 示例停留在 2020–2021 年前后的 ODQA 研究。

想系统了解开放域问答体系与检索增强问答路线、具备一定 NLP 与深度学习背景的学习者。

想要动手代码实战或零基础入门 NLP 的学习者；本文为综述，不含完整实操项目。

需了解神经网络基础、Transformer/预训练语言模型概念，以及信息检索基本指标。

What is Open-Domain Question Answering?
Notation
Concerns of QA data fine-tuning
Open-book QA: Retriever-Reader
Retriever Model（Classic IR、Neural IR）
Reader Model（Bi-directional LSTM、BERT-universe）
End-to-end Joint Training
Open-book QA: Retriever-Generator
Closed-book QA: Generative Language Model
Related Techniques（Fast Maximum Inner Product Search、Language Model Pre-training）
Summary
Appendix: QA Datasets

免费吗？

免费：网页正文完整可读，未出现付费墙或登录拦截，可免费阅读。实践可能产生费用：文中提到一个使用 OpenAI API（beta）的闭卷问答示例，自行复现可能产生 API 费用，原站未说明具体价格。

需要什么基础？

需了解神经网络基础、Transformer/预训练语言模型概念，以及信息检索基本指标。软件、账号与硬件：浏览器即可阅读；文中提到的 OpenAI API 示例需要账号（原文标注为 beta）。

有中文吗？

本站记录的语言是en；是否有中文字幕或译本本站未核实，请以原站为准。

怎么开始？

从原始资源入口开始：https://lilianweng.github.io/posts/2020-10-29-odqa/。打开原文即可，无需安装软件。开课提示词尚未完整验证。练习与作业需要自备：OpenAI API 账号（文中闭卷问答示例使用，原页面标注为 beta）。