返回资源列表

GitHub(simonw) · Simon Willison

llm-chat-completions-server:为 LLM 提供 OpenAI Chat Completions 接口的插件

llm-chat-completions-server:为 LLM 提供 OpenAI Chat Completions 接口的插件是GitHub(simonw)的免费文档(en)。前置条件:需会用命令行、了解 Python 包安装与 HTTP/JSON 请求的基本概念。

能安装并运行该 LLM 插件,在本机暴露一个兼容 OpenAI Chat Completions 的 HTTP 接口,并用 curl 完成普通与流式调用。

打开官方课程
难度
见前置条件
类型
其他 · 文档
语言
en
规模
3 个课节
内容费用
免费
动手
需要动手环境

使用限制

学习材料无需账号即可读取;运行示例调用第三方模型时需要一个已配置凭据的 LLM 模型提供方。

练习与作业
若按示例调用 gemini/gemini-2.5-flash 等模型,需在服务器端配置对应模型的凭据

学完你能

  • 在安装了 LLM 的环境中安装 llm-chat-completions-server 插件
  • 启动本地服务并指定默认或自定义端口
  • 通过 GET /v1/models 查看可被服务的异步模型列表
  • 用 POST /v1/chat/completions 发送消息并获得经典 OpenAI 格式响应
  • 用 server-sent events 接收流式响应并处理 data: [DONE] 结束标记
  • 理解接口对 system/developer/user/assistant/tool 消息、图片 URL 与函数调用的支持范围
  • 运行项目测试或在开发模式下重载服务

适合你吗

适合

适合想快速把本地 LLM 模型包装成 OpenAI 兼容接口、做小规模集成与自测的开发者。

暂不适合

不适合零基础学习者,也不适合想要完整讲解部署架构、并发、安全加固或生产运维的系统课程需求。

需要先会

需会用命令行、了解 Python 包安装与 HTTP/JSON 请求的基本概念。

课程特点

内容侧重
侧重实践应用
练习与项目
以 curl 依次验证模型列表、普通补全、流式补全,并观察完成响应被写入 LLM 的 logs.db。
学习时长
3 个课节原站未给出统一学习时长;实际用时取决于已有基础。
内容费用
免费README 完整给出安装、启动、接口调用与开发说明,仓库公开可读,未见付费或登录拦截。

内容覆盖

  • Installation:在与 LLM 相同的环境中安装该插件
  • Usage:启动服务器(默认 127.0.0.1:8002)、--port 与 --reload 选项
  • List models:GET /v1/models 列出提供异步实现的模型
  • Create a chat completion:POST /v1/chat/completions,支持系统/开发者/用户/助手/工具消息、图片 URL 与函数调用、n=1 与采样参数透传
  • 流式响应:server-sent events,以 data: [DONE] 结束
  • 日志:完成响应写入 LLM 的 logs.db,遵守全局 llm logs off 设置
  • Development:运行测试与以可编辑模式挂载多个模型插件调试

常见问题

免费吗?

免费:README 完整给出安装、启动、接口调用与开发说明,仓库公开可读,未见付费或登录拦截。实践可能产生费用:网页说明模型可能需要在服务器上用 llm keys 配置凭据,示例使用 gemini/gemini-2.5-flash,调用第三方模型接口可能产生费用,但未说明具体收费。

需要什么基础?

需会用命令行、了解 Python 包安装与 HTTP/JSON 请求的基本概念。软件、账号与硬件:本机安装 Python 与 LLM 命令行工具;使用需要凭据的模型时,按 LLM 常规方式预先配置相应 key。

有中文吗?

本站记录的语言是en;是否有中文字幕或译本本站未核实,请以原站为准。

怎么开始?

从原始资源入口开始:https://github.com/simonw/llm-chat-completions-server。本页“学前准备”列出环境与工具,“学习指南”给出开课提示词,可以在自己的电脑上按步骤开始。开课提示词尚未完整验证。练习与作业需要自备:若按示例调用 gemini/gemini-2.5-flash 等模型,需在服务器端配置对应模型的凭据。

来源与使用须知

收录时间
本站首次收录 2026-10-23
指南参考

版权与转载

  • Apache-2.0:代码可自由使用和修改,需保留版权声明。原站说明
  • 本站只提供原始链接和学习指南,不转载、不镜像课程材料;引用时请注明原作者与出处。