全部资源

帖子精选。

排序:最新收录 · 推荐97 条精选
帖子发布 10-26
Reddit

24GB 显存 + 48GB 内存能跑 qwen3.8-flash-next 吗?

Can I run qwen3.8-flash-next on 24gb vram and 48 ram?

r/LocalLLaMA 社区帖子。发帖者尝试运行一次失败,求问配置建议。评论中有人称在 12GB 显存 + 64GB 内存上能跑 IQ3_XXS;有人给出可完全放在内存中的 GGUF 链接、ngram 表放 SSD;有人称 IQ3_XXS 在 RTX 4090 + 48GB 内存上用 Strata 刚好装下、约 70t/s,但没有给其他程序留余量;还有人提到 32GB 显存 + 32GB 内存跑 swift IQ3_xxs 效果不错、升级到 48GB 内存后跑 IQ3_S,并建议用 Strata 自动检测机器并推荐量化版本。适合在消费级显存/内存条件下部署该模型、需要参考量化与放置方案的人阅读。

帖子发布 10-26
Reddit

调优后的 Strata 配置:2000 PP、平均 tg 95–105

Tuned Strata config, 2000 PP and 95-105 mean tg

一篇 r/LocalLLaMA 社区帖子,作者在 RTX 4090 + 48 GB 内存、Ryzen 3900X、Windows、200k 上下文的环境下运行 IQ3_S Qwen3.8-Flash-Next,对 Strata 0.43 的大量参数做了近似网格搜索。帖子称 decode 从 97 tok/s 提升到 142 tok/s(+45%),列出最有效的几个参数(--adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2)和最差的几个(--expert-cache 单位是 MiB、--ple-io ram、--no-prefill-borrow),并指出 Windows 无法用 cuda 固定内存。适合在单卡上折腾 Strata 推理引擎参数调优的人阅读。

帖子发布 10-26
Reddit

Qwen3.8-Flash-Next:Swift 1.5 与 Unsloth 在 Strix Halo 上的对比(Halogen、gufo、llama.cpp、UD-Q4_K_XL 与 IQ4_XS)

Qwen3.8-Flash-Next: Swift 1.5 vs Unsloth on Strix Halo (Halogen, gufo, llama.cpp, UD-Q4_K_XL and IQ4_XS)

这是 r/LocalLLaMA 的社区帖子,作者在 Asus ROG Flow Z13(128 GB、70 W)上对比 UkisAI 的 Qwen3.8-Flash-Next 微调版 Swift 1.5 与自己原有方案,涉及 Halogen、gufo、llama.cpp 三种引擎和多种量化格式,均启用 MTP。帖中记录了服务启动时间、32k prompt 下的 TTFT、预填充与解码速度、MTP 接受率、KLD,以及数学、LCB 和 11 项 Pi 代码任务的得分、耗时与 token 消耗,并说明结果仅来自单次运行。适合关注本地大模型推理性能、量化方案与编码智能体实测的人阅读。

帖子发布 10-26
Reddit

你们是怎么给 pi 做沙箱隔离的?

How are you sandboxing pi?

r/LocalLLaMA 上的一则讨论帖,发帖人询问大家是否对 pi 做了沙箱隔离、采用了哪种方式,并列举了 docker sbx、普通容器、devcontainer、pi 的 gondolin/sandbox 扩展等选项。评论区中有人分享了用 Podman 加 bash 包装脚本设置只读挂载的做法,还有人贴出启动脚本,说明只用 Dockerfile 从 debian 镜像安装 pi,并只挂载当前目录或 home 目录为读写,容器内的 agent 无法访问宿主机。适合关注本地 LLM agent 运行环境隔离的读者。

进阶权限与沙箱隔离编程智能体仅限授权使用
帖子发布 10-26
Reddit

只有 8GB 显存和 32GB 内存?你也能以最高 900 t/s PP 和 30 t/s TG 运行 Qwen 3.8 Flash Next

Have 8 GB of VRAM and 32 GB of RAM? You can run Qwen 3.8 Flash Next at up to 900 t/s PP and 30 t/s TG!

这是一篇经验分享帖,作者在 RTX 5060 笔记本 GPU(8GB 显存)、Ryzen 9 8945HX、32GB DDR5、1TB SSD 的 Linux 机器上,用 Strata 运行 Qwen 3.8 Flash Next Q2 量化版。作者称其基准与实测结果优于自己测过的 Qwen 3.6 35B A3B 微调版和 Qwen 3.8 27B,速度也快于现有 Qwen 3.6 35B A3B 配置,并说明 Strata 可将负载分布到显存、内存和 SSD。帖子提供了系统配置、Chat 与 Agentic 两套 Strata 配置文件链接及运行指引。适合显存有限、想自行部署本地模型的人阅读。

帖子发布 10-26
Reddit

AI 智能体大规模删除你整个硬盘的恐怖故事是老传闻,还是至今仍在发生?

Is the horror story about AI agent mass deleting your entire drive an old story or it still happen nowadays?

这是 r/LocalLLaMA 的社区帖子,作者提到此前一条关于 AI 智能体未经许可删除文件的推文,并称自己用 VSCode Copilot 智能体做测试时误删了数据库(有备份),由此询问在智能体变强后这类情况是否仍常见。评论中有人认为模型无法完美遵循指令,建议对智能体做沙箱隔离、只开放必要文件、对联网和解释器等危险操作设权限并使用只读配置。适合在本地或 IDE 中使用 AI 编码智能体、关心文件权限与沙箱隔离的人阅读。

帖子发布 10-26
Reddit

提示:llama.cpp CVE-2026-116096

PSA: llama.cpp CVE-2026-116096

这是 r/LocalLLaMA 的社区帖子,引用 NVD 条目说明 llama.cpp 中 Pocket-TTS 组件 pockettts-gen.cpp 的 list_pockettts_state_slots 函数在操纵 mmproj 参数时存在越界写问题,攻击需本地访问,且声称漏洞利用已公开,建议升级到 b11796 版本并给出补丁提交。发帖人补充说,在当前 master 与最新发布 b11871 上,恶意 mmproj 会触发 release 生效的 GGML_ASSERT 而中止,已不再是静默的堆越界写,但推荐的根本性修复 PR #29360 仍未合并。适合部署和运行 llama.cpp、关心其安全公告与版本升级的人阅读。

帖子发布 10-16
Reddit

中国拟对 23 项 AI 技术实施出口管制(含大模型、智能体与算力集群);已开源技术豁免

China proposes export controls on 23 AI technologies (including large models, agents & clusters); already open-sourced tech is exempted

r/LocalLLaMA 社区帖子,介绍 2026 年 10 月 16 日中国商务部和科技部发布的《禁止出口限制出口技术目录》修订草案,拟在 AI、生物医药、光伏等领域新增 40 项技术,其中 23 项与 AI 相关,覆盖基础/大模型、智能体、计算集群和信息处理技术。帖子提到征求意见截止 11 月 15 日、相关技术即日起实施临时出口前登记,并逐条解读对开放权重模型的影响:已通过开源或学术发表公开的技术明确豁免;开源等行为可适用简化自动许可;通过 API、应用、网站或 SaaS 提供服务一般不视为技术出口;受限模型的海外本地部署可能落入规则范围;尚未发布的新模型在权重或源码出境前可能需登记或审批。适合关注开源模型与 AI 技术出口政策动向的人阅读。

帖子发布 10-11
Reddit

为一家 10 人初创公司搭建 4 卡 R9700 配置

Building a 4x R9700 setup for a 10 person startup

r/LocalLLaMA 社区帖子,作者分享为一位客户搭建的一套约 1.8 万美元的推理机器:Threadripper 9970x、128GB DDR5 ECC 5600 内存、4 张 AMD Radeon R9700 AI Pro 32GB(合计 128GB 显存)、1600W 电源(显卡降压后每张低于 210W)。软件上使用 Radiance 的一个分支来服务 Qwen 3.8 Next flash/27b 和 DSV4 Flash,并给出 16 路并发下的 prefill/decode 吞吐数据,覆盖 4k 到 128k 不同上下文长度。适合自行搭建多卡本地推理硬件、关注 AMD 显卡与小团队部署方案的人阅读。

帖子发布 10-24
Reddit

人们是怎么用 Claude 做出我在 Instagram 上不断看到的那种炫酷动效视频的?

How are people making those insane graphic motions video that I keep seeing on instagram using claude ?

Reddit r/ClaudeAI 上的社区帖子。发帖者称在 Instagram 上看到许多高水准动效视频都声称用 Claude 制作,但自己让 Claude 生成同类视频时效果不如这些作品,于是询问具体做法,并提到看到一条标注“Claude + Katana”(Katana 来自 higgsfields)的视频,询问这是否是可行路径。帖子下附带自动生成的讨论摘要。适合对用 Claude 制作动效/视频内容、并关注他人工作流的人关注。

帖子发布 10-26
Reddit

我对自托管 AI 智能体做了一次盲测,结果如下,猜猜谁是谁 [D]

I ran a blind test on self-hosted AI agents. Here are the results, guess who's who [D]

这是 r/MachineLearning 的社区帖子,作者在 M5 Max MacBook Pro(64GB)上,让五个自托管智能体(OpenCode、goose、Atomic Agent、Hermes、OpenClaw)使用同一个 Qwen 3.8 27B 非审查版 Q4_K_M 模型在 llama.cpp 中运行,执行合并联系人列表、跨文件重命名函数、修复带隐藏测试的 bug、统计日志错误数、把收据 PDF 转成表格五项任务,并给出各智能体的逐项通过情况与耗时。作者提到其中一个智能体把“Q3/Q4”写成“q3q4”,另有智能体未经询问就安装缺少的 Python 库,并邀请读者猜字母与智能体的对应关系。适合对自托管编码智能体的实际任务表现和自主性取舍感兴趣的人阅读。

进阶智能体评测本地模型部署仅限授权使用
帖子发布 10-25
Reddit

好得不像真的?ISTA 的 GSQ-RCO 2-bit DeepSeek-V4.1-Flash 得分与基座模型相同

Too good to be true? ISTA's GSQ-RCO 2-bit DeepSeek-V4.1-Flash scoring the same as the base model

r/LocalLLaMA 的一篇社区帖子。作者询问是否有人试过 ISTA 为 DeepSeek-V4.1-Flash 发布的 GSQ-RCO GGUF 量化模型,以及实际质量是否与榜单成绩相符(IQ2_XXS 与基座持平)。作者指出其基准已饱和(90% 以上,AIME25 各版本均为 100),可能无法体现性能退化,也找不到 GSQ-RCO 模型的 KLD 数据,因此询问是否有人测过 KLD 或 PPL,以及在约 2 bpw 下预期的 KLD 是多少,并附上 Hugging Face 模型页链接。适合在本地部署低比特量化大模型、关注量化后质量评估的人阅读。