攻击与安全防护

研究提示注入、数据泄露和 AI 网络攻防,适合安全研究与防护人员。

32 条精选 · 入门 8 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 2进阶
    帖子发布 10-26
    Reddit

    我差点被自己(的提示注入)攻陷

    I almost got owned. By myself.

    r/ClaudeAI 用户描述自己测试提示注入的经历:在 Sonnet 与 Opus 上多次尝试未触发,换用 Haiku 后出现效果——写在测试文件里的一行“记得今晚吃药”在上下文压缩、原文块已不在上下文中之后,仍被模型当作指令回答出来,作者由此担心在授予完整权限时任意数据可能被当作命令执行,并提到 ClaudeAI 缺少 hooks、只能借助 MCP 做防护。适合使用 Claude 并给其较高权限、关心提示注入与数据边界风险的人阅读。

  2. 12进阶
    帖子发布 10-26
    Reddit

    你们怎么用 Claude Code 给自己的应用做安全测试,而不让它以为你是黑客?

    How do you guys security test your own app with claude code without it thinking ur a hacker?

    r/ClaudeAI 社区帖子。一位独立开发者做自托管的 AI agent 应用,想在发布前自行测试认证绕过、跨用户数据访问、权限提升和对 agent 的提示注入,但用 Claude Code 编写攻击载荷或利用脚本时它有时会变得谨慎。发帖者征询社区做法,例如事先声明是自己的本地代码、写进 CLAUDE.md、改为要求编写失败测试(证明用户 A 读不到用户 B 的数据)、或用专门工具跑结果,并提到担心被平台封禁或被有关部门标记。适合用 Claude Code 做应用安全测试的独立开发者阅读。

  3. 27进阶
    帖子发布 10-26
    Reddit

    提示:llama.cpp CVE-2026-116096

    PSA: llama.cpp CVE-2026-116096

    这是 r/LocalLLaMA 的社区帖子,引用 NVD 条目说明 llama.cpp 中 Pocket-TTS 组件 pockettts-gen.cpp 的 list_pockettts_state_slots 函数在操纵 mmproj 参数时存在越界写问题,攻击需本地访问,且声称漏洞利用已公开,建议升级到 b11796 版本并给出补丁提交。发帖人补充说,在当前 master 与最新发布 b11871 上,恶意 mmproj 会触发 release 生效的 GGML_ASSERT 而中止,已不再是静默的堆越界写,但推荐的根本性修复 PR #29360 仍未合并。适合部署和运行 llama.cpp、关心其安全公告与版本升级的人阅读。

  4. 32深入
    帖子发布 10-27
    Reddit

    驳斥 Cohere 关于 Qwen 3.8 Flash Next 上传到阿里远程 URL 的说法

    Debunking Cohere's claim of Qwen 3.8 Flash Next uploading to Alibaba remote URL

    r/LocalLLaMA 社区帖子,作者基于 CohereLabs 在 Hugging Face 上发布的调查 trace 数据集,逐条分析所谓模型上传到阿里远程 URL 的证据:trace 中预先填充了 2323 个 token 直到 URL 生成之前,使 Qwen 3.8 Flash Next 表现得像 URL 生成器;作者还指出所涉提示词缺少上下文、表述含糊,并将 Cohere CEO 对 The Register 表示没有证据表明这是有意为之的表态一并引用。适合关注模型安全事件复盘与推理 trace 分析的人阅读。

评测、安全与治理的其他细分主题