学习在电脑、手机和浏览器运行模型，适合重视离线可用与自主部署的用户。
53 条精选 · 入门 8 · 按推荐学习顺序：越基础、直观越靠前，越系统、深入越靠后
model-cache-cleaner: Claude skill that finds and safely cleans storage used by local AI tools
一个 GitHub 项目，README 将其描述为 Claude skill：查找本机本地 AI 工具占用的存储，展示找到的全部内容，并且只把用户挑选并确认的项目移入废纸篓。它覆盖 ~/.cache/lm-studio、~/.cache/huggingface、~/.ollama、~/.omlx 等目录，支持 macOS 与 Linux，脚本要求 Python 3.8+。项目作者在帖文中提到 macOS 常把 .cache 隐藏为系统文件，因此做了这个工具，并表示欢迎 issue 和 PR。
Introducing Zest: model server + agent + friendly GUI
r/LocalLLaMA 的社区帖子，作者介绍其用 Claude 辅助开发的 Zest：一个把 Lemonade 服务器（负责安装 llama.cpp 等后端）和 Pi 智能体打包在一起的图形界面，目标是让不想折腾命令行服务器和参数的人也能跑本地模型。帖子称只需下载 appimage、走完新手引导即可使用，内置 128k 上下文等默认设置，并提供在 10GB 至 26GB 显存上测试过的模型推荐；项目开源，作者也说明了选择 Lemonade 和 Pi 的理由。适合想向他人介绍本地模型、或关注本地推理易用化工具的人关注。
一个在个人电脑上本地运行大模型的方案，其中 Qwen3.8-Flash-Next 运行在 Strata 引擎上，另有一套为 PolyStrata 编写的第二引擎支持 GLM 5.3 Flash、DeepSeek V4 Flash、LFM2.5、Qwen3.6、Ornith 1.5、Gemma 4、Tiel Coder 和 MiniCPM-V 等模型。提供 Windows 和 Linux 一键安装，并在 localhost 暴露 OpenAI/Anthropic 兼容 API。
这是一个开源决策模型系列的项目仓库，模型规模从 0.8B 到 27B，一次推理即为每个选项给出校准概率，仅在不确定时输出简短思考。项目提供面向 vLLM、llama.cpp 和 MLX 的推理引擎，并提供 Hugging Face 模型页、arXiv 技术报告、API 文档与博客链接。
Interactive neuron steering playground for Qwen3.5-4B that runs locally in the browser on WebGPU
这是一篇社区分享帖，作者受 X 上关于用极少量神经元（常为一两个）操控大模型行为的讨论启发，制作了一个交互式实验台，可在浏览器中通过 WebGPU 完全本地运行 Qwen3.5-4B，让用户自行尝试不同神经元组合对模型输出行为的影响，并给出 Hugging Face Space 链接。适合对模型内部机制、神经元级行为操控和浏览器端本地推理感兴趣的人阅读。
为 Claude Code 及任意 MCP 客户端提供本地 AI 背景音乐与音效生成的 MCP 服务器，基于 Stable Audio 3，在 Apple Silicon 上使用 MLX、在 Windows NVIDIA GPU 上使用 PyTorch，无需云端服务和 API Key。适合需要本地音频生成（如游戏音频）的开发者使用。
PaperPilot – Zero-Cloud, Pure-Rust PDF Engine with WASM and MCP
一个本地文档 AI 助手项目，用纯 Rust 编写 PDF/文档工具，宣称文件不离开用户机器。同一引擎可用于 MCP 服务器（供代码智能体合并、拆分、OCR、压缩 PDF）、命令行、浏览器 WASM 版、Tauri + Svelte 桌面应用以及本地 REST API，采用 Apache 2.0 许可。
Manga Translator Tool — Let’s understand Japanese!
这是 r/LocalLLaMA 的一篇社区帖子，作者介绍自己开发的开源桌面应用 Manga Translator Tool，用于在本地阅读和翻译日文漫画，灵感来自看字幕版动画时保留原文并附译文的做法。工具整合了漫画阅读器、OCR、译文覆盖层和可就当前页提问的本地 LLM：OCR 用 Qwen3.5 的日语 OCR 微调版本，翻译与对话用 Gemma 4 E2B 的某个变体，推理基于 llama.cpp 并支持 CPU 与 GPU。功能方面提到在不擦除原文字的前提下在文本框内显示译文、把译文存为图片元数据以在原文与译文视图间切换、搜索提取出的文本，以及能识别日文拟声词等；帖中还包含安装过程的演示视频。适合想在本地离线阅读并翻译日文漫画、或用小模型串联 OCR 与翻译流程的人阅读。
Show HN: AI search for every photo and every frame of video on macOS
这是一个 macOS 应用的 GitHub 仓库，项目名为 SCM（Screen Memories），定位为多模态视觉记忆智能体。它使用在 Mac 本地运行的视觉模型，支持用自然语言检索照片、截图、视频和音频，并可对视频按场景切分定位到具体镜头，同时提供 OCR 文字搜索和基于 Whisper 的语音台词搜索。项目还说明支持监视文件夹自动导入、内容哈希去重和后台重新嵌入，媒体文件不上传，保持本地离线运行。
这是一个 Android 应用项目，用于在手机上本地部署和管理 AstrBot 与 NapCat，内置 PRoot Ubuntu 运行环境，无需 Root。据仓库说明，它提供原生管理界面、WebUI、日志、备份恢复和独立更新，采用 Kotlin 与 Jetpack Compose 开发，项目标签涵盖 QQ 机器人、OneBot、LLM 等，要求 Android 8.0 及以上。
这是一个安卓应用项目，可免 ROOT、免 Termux 通过单个 APK 在手机上运行 DeepSeek Harness：引擎内嵌于 App 进程，能读屏操作 App、修改系统设置、执行定时或条件自动化，可选安装 Shizuku。使用需登录 DeepSeek 账号或填 API key，也可在设置中添加其他模型服务商，支持 arm64 与 Android 10 及以上。适合想在安卓手机上布置手机端 AI 代理、做自动化操作的人阅读。
该项目把 llama.cpp 移植到已越狱的 PlayStation 5 上，允许主机原生运行 GGUF 格式模型，从 Qwen 3.8 开始。README 说明它借助主机 GPU 推理，提供 OpenAI 与 Anthropic 兼容 API 和适配电视的界面，可在无 PC、无云端、无账号的情况下为局域网内设备提供模型服务，另新增了 Ollaya 的决策模型支持。适合拥有越狱 PS5、想在家搭私有模型服务的读者。
Project Maya 是用于在自有 GPU 上私有运行 GLM-5.3-Flash（321B MoE）和 DeepSeek-V4.1-Flash-1017（748B MoE）的项目，支持单卡至 16 卡、NVIDIA 与 AMD、Linux 与 Windows（实验性）。包含推理引擎、服务器、仪表盘、OpenAI 与 Anthropic 兼容 API 以及量化工具，可处理并发请求并支持图片。