ubicloud.com··12 天前
修复 vLLM 中的工具调用准确性问题
Fixing Tool-Call Accuracy in vLLM
Ubicloud 博客的一篇文章,标题为“Fixing Tool-Call Accuracy in vLLM”。提供的材料仅为博客页面正文的标题与文章列表,未包含文章具体内容,因此无法进一步概述其方法或结论。
- 分级
- 值得看
- 收录时间
- 2026-10-27
推荐阅读
通过 MCP 实现人机协同(Human-in-the-loop)
Human-in-the-loop over MCP - Docs by LangChain
LangChain 官方文档的一页,说明当通过 MCP 端点暴露的 agent 调用 interrupt 时,Agent Server 如何用 elicitation 向 MCP 客户端索取答案并在收到回答后恢复 agent。文档描述了工具调用暂停与恢复的往返流程(resultType 为 input_required、elicit/create 请求、requestState、inputResponses 等),并注明需要 langgraph-api>=0.18.0 及支持协议修订版 2026-07-28、声明 elicitation 能力的 MCP 客户端。适合用 LangSmith/LangGraph 部署 agent 并接入 MCP 的开发者查阅。
如何在 Strata 中为低量化版本的 Qwen 3.8 Flash Next 使用 Q8 ngram 并避开报错
How to use Q8 ngram with lower quant Qwen 3.8 Flash Next in Strata and avoid errors
r/LocalLLaMA 社区帖子,介绍在 Strata 中通过 --ple-gguf 参数或 Docker 环境的 STRATA_SET 变量旁加载更高精度的 Q8 ngram,以在声称不增加显存与内存占用、不牺牲预填充/解码速度的情况下提升输出质量;作者说明直接使用 Hugging Face 上的原始 ngram gguf 会报架构不匹配错误,需要把 general.architecture 键改为 strata-ple(可下载已修改好的 gguf,或用 gguf-editor-gui 修改),并声明自己尚未验证模型是否真的更聪明、速度与资源影响也未做充分测试。适合在本地用 Strata 跑量化模型、折腾 GGUF 元数据与 ngram 加速的人阅读。
incoai/Qwen3.8-Flash-Next-DFlash2
Hugging Face 仓库页面,内容为 Qwen/Qwen3.8-Flash-Next 的 DFlash 2 草稿模型,本身不是独立语言模型,需在推测解码服务器中为目标模型起草 token。DFlash 2 是块扩散式 drafter,一次预测一整块 token 并在每个位置保留最优候选,再由轻量选择器串成连贯路径;解码是无损的,贪心输出与目标模型完全一致。页面给出使用 SGLang 部署的快速开始步骤,需先应用仓库内附带的捕获补丁。附带说明中称并发为 1 时其速度约比 MTP 快 20%。
我为用 Claude Code 设计 CAD 模型写了一套工作规则,寻求反馈
I wrote working rules for designing CAD models with Claude Code — looking for feedback
r/ClaudeAI 社区帖子(原文为法语),作者用 Claude Code 通过 MCP 连接器控制 CAD 软件,做了一个参数化楼梯。为避免模型变得难以维护,他写了一份约 90 行的规则文件,让代理在每次会话开始时读取,内容包括:代理先提方案、经批准才改动;模型须保持可手工编辑(草图内标尺寸、命名参数、明确命名、基于骨架构建);每次变更写入设计记录文件,便于配合 Git、PLM 或普通文件夹。作者以 MIT 许可在 GitHub 发布为 v0.1,仅在一个项目中测试过,并向使用 FreeCAD、Onshape、Fusion 或 SolidWorks 搭配 AI 代理的人征集补充规则的建议。适合把 AI 代理接入 CAD 建模流程、关心模型可维护性与变更记录的人阅读。
调优后的 Strata 配置:2000 PP、平均 tg 95–105
Tuned Strata config, 2000 PP and 95-105 mean tg
一篇 r/LocalLLaMA 社区帖子,作者在 RTX 4090 + 48 GB 内存、Ryzen 3900X、Windows、200k 上下文的环境下运行 IQ3_S Qwen3.8-Flash-Next,对 Strata 0.43 的大量参数做了近似网格搜索。帖子称 decode 从 97 tok/s 提升到 142 tok/s(+45%),列出最有效的几个参数(--adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2)和最差的几个(--expert-cache 单位是 MiB、--ple-io ram、--no-prefill-borrow),并指出 Windows 无法用 cuda 固定内存。适合在单卡上折腾 Strata 推理引擎参数调优的人阅读。
本地 LLM 智能体驱动的物理 KVM 控制器已上市,并有一些有意思的用例
Local LLM Agent-driven physical KVM controllers are now available and have some interesting use cases:
这是 r/LocalLLaMA 的一篇社区帖子,作者在研究本地 LLM 的计算机使用智能体时,发现了一类此前不知道的硬件:支持 AI API 端点与 MCP 集成的 IP KVM 控制器,价格约 80–150 美元。这类设备让视觉能力 LLM 通过截取目标机 HDMI 或 USB-C 视频输出画面,并经 USB 发送鼠标键盘指令来操作目标电脑,且目标机上无需安装任何软件,可用于不允许安装程序的受管企业终端;帖中还将其与数据中心常用的远程 KVM 做了类比。适合对本地 LLM 计算机操作智能体、无侵入式远程控制硬件方案感兴趣的人阅读。