Latent Space··4 天前
在喜马拉雅山麓用离线 AI 智能体写代码
Coding From the Himalayas With an Offline AI Agent
这是一篇作者自述文章,作者是 Thomson Reuters 的首席工程师,一年前搬到喜马拉雅山麓居住,因网络和供电经常中断,尝试在笔记本上完全离线运行编码智能体。文章探讨了在断网条件下对本地已有项目可以做哪些工作,例如解释陌生函数、排查失败的测试、重构小段代码或协助完成功能。
- 分级
- 值得看
- 收录时间
- 2026-10-27
推荐阅读
你们是怎么给 pi 做沙箱隔离的?
How are you sandboxing pi?
r/LocalLLaMA 上的一则讨论帖,发帖人询问大家是否对 pi 做了沙箱隔离、采用了哪种方式,并列举了 docker sbx、普通容器、devcontainer、pi 的 gondolin/sandbox 扩展等选项。评论区中有人分享了用 Podman 加 bash 包装脚本设置只读挂载的做法,还有人贴出启动脚本,说明只用 Dockerfile 从 debian 镜像安装 pi,并只挂载当前目录或 home 目录为读写,容器内的 agent 无法访问宿主机。适合关注本地 LLM agent 运行环境隔离的读者。
使用本地编码智能体
Using Local Coding Agents
Sebastian Raschka 的短笔记,链接到一篇关于用开放权重模型搭建本地编码智能体的新文章。文章内容为完全本地运行,介绍如何将本地 LLM 接入本地编码 harness(如 Claude Code 或 Codex),并列出选择模型时可用的评估清单:长上下文下的内存占用、prefill 与解码 tok/s 速度、工具调用能力、对智能体框架的安全审计,以及在编码 harness 中解决较难任务的能力。
StartLuxLabs/StartLux-Decision
这是一个开源决策模型系列的项目仓库,模型规模从 0.8B 到 27B,一次推理即为每个选项给出校准概率,仅在不确定时输出简短思考。项目提供面向 vLLM、llama.cpp 和 MLX 的推理引擎,并提供 Hugging Face 模型页、arXiv 技术报告、API 文档与博客链接。
opensec-git/Pi-Bolt
一个将 Pi 编程智能体经提前编译(AOT)打包为单一原生可执行文件的项目。README 和简介称其无需 JIT,也不需要 Node.js 或 Bun,支持 Linux x86-64/ARM64、Android(Termux)、Apple 芯片 macOS 和 Windows x64,并称相比在 Node 上运行的 Pi 启动快 10 倍、CPU 占用少 7 倍、内存占用少 4.5 倍。
本地胜过云端:Qwen 3.8 FN
Local beats cloud, Qwen 3.8 FN
这是一篇社区案例帖,作者描述在高校硕士论文模块中用本地模型 Qwen 3.8 flash next(运行在 opencode 中,vllm 后端,Docker 沙箱、输入只读、工作区可写)处理学生、导师、课题、评审与成绩的匹配事务和多种格式 CSV 数据导入,因为学生姓名邮箱与早期研究项目信息不便上传云端。帖子称本地模型以接近前沿云端模型的水平完成了该任务。适合关心数据隐私场景下本地模型落地应用的人阅读。
VecSzn/PolyStrata
一个在个人电脑上本地运行大模型的方案,其中 Qwen3.8-Flash-Next 运行在 Strata 引擎上,另有一套为 PolyStrata 编写的第二引擎支持 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V 等模型。提供 Windows 和 Linux 一键安装,并在 localhost 暴露 OpenAI/Anthropic 兼容 API。