GitHub(simonw) · Simon Willison
llm-chat-completions-server:为 LLM 提供 OpenAI Chat Completions 接口的插件
llm-chat-completions-server:为 LLM 提供 OpenAI Chat Completions 接口的插件是GitHub(simonw)的免费文档(en)。前置条件:需会用命令行、了解 Python 包安装与 HTTP/JSON 请求的基本概念。
能安装并运行该 LLM 插件,在本机暴露一个兼容 OpenAI Chat Completions 的 HTTP 接口,并用 curl 完成普通与流式调用。
- 难度
- 见前置条件
- 类型
- 其他 · 文档
- 语言
- en
- 规模
- 3 个课节
- 内容费用
- 免费
- 动手
- 需要动手环境
使用限制
学习材料无需账号即可读取;运行示例调用第三方模型时需要一个已配置凭据的 LLM 模型提供方。
- 练习与作业
- 若按示例调用 gemini/gemini-2.5-flash 等模型,需在服务器端配置对应模型的凭据
学完你能
- 在安装了 LLM 的环境中安装 llm-chat-completions-server 插件
- 启动本地服务并指定默认或自定义端口
- 通过 GET /v1/models 查看可被服务的异步模型列表
- 用 POST /v1/chat/completions 发送消息并获得经典 OpenAI 格式响应
- 用 server-sent events 接收流式响应并处理 data: [DONE] 结束标记
- 理解接口对 system/developer/user/assistant/tool 消息、图片 URL 与函数调用的支持范围
- 运行项目测试或在开发模式下重载服务
适合你吗
适合
适合想快速把本地 LLM 模型包装成 OpenAI 兼容接口、做小规模集成与自测的开发者。
暂不适合
不适合零基础学习者,也不适合想要完整讲解部署架构、并发、安全加固或生产运维的系统课程需求。
需要先会
需会用命令行、了解 Python 包安装与 HTTP/JSON 请求的基本概念。
课程特点
- 内容侧重
- 侧重实践应用
- 练习与项目
- 以 curl 依次验证模型列表、普通补全、流式补全,并观察完成响应被写入 LLM 的 logs.db。
- 学习时长
- 3 个课节原站未给出统一学习时长;实际用时取决于已有基础。
- 内容费用
- 免费README 完整给出安装、启动、接口调用与开发说明,仓库公开可读,未见付费或登录拦截。
内容覆盖
- Installation:在与 LLM 相同的环境中安装该插件
- Usage:启动服务器(默认 127.0.0.1:8002)、--port 与 --reload 选项
- List models:GET /v1/models 列出提供异步实现的模型
- Create a chat completion:POST /v1/chat/completions,支持系统/开发者/用户/助手/工具消息、图片 URL 与函数调用、n=1 与采样参数透传
- 流式响应:server-sent events,以 data: [DONE] 结束
- 日志:完成响应写入 LLM 的 logs.db,遵守全局 llm logs off 设置
- Development:运行测试与以可编辑模式挂载多个模型插件调试
常见问题
免费吗?
免费:README 完整给出安装、启动、接口调用与开发说明,仓库公开可读,未见付费或登录拦截。实践可能产生费用:网页说明模型可能需要在服务器上用 llm keys 配置凭据,示例使用 gemini/gemini-2.5-flash,调用第三方模型接口可能产生费用,但未说明具体收费。
需要什么基础?
需会用命令行、了解 Python 包安装与 HTTP/JSON 请求的基本概念。软件、账号与硬件:本机安装 Python 与 LLM 命令行工具;使用需要凭据的模型时,按 LLM 常规方式预先配置相应 key。
有中文吗?
本站记录的语言是en;是否有中文字幕或译本本站未核实,请以原站为准。
怎么开始?
从原始资源入口开始:https://github.com/simonw/llm-chat-completions-server。本页“学前准备”列出环境与工具,“学习指南”给出开课提示词,可以在自己的电脑上按步骤开始。开课提示词尚未完整验证。练习与作业需要自备:若按示例调用 gemini/gemini-2.5-flash 等模型,需在服务器端配置对应模型的凭据。
来源与使用须知
- 原始资源
- GitHub(simonw)
- 收录时间
- 本站首次收录 2026-10-23
- 指南参考
- 课程主页
版权与转载
- Apache-2.0:代码可自由使用和修改,需保留版权声明。原站说明
- 本站只提供原始链接和学习指南,不转载、不镜像课程材料;引用时请注明原作者与出处。