Claude··9 天前
Claude Duet 的安全性、隐私与安全防护
Claude Duet Safety, Privacy, and Security
Anthropic 的一篇文章，说明 Claude Duet 在跨账户操作和代替用户行动时内置的防护措施。文章称该智能体基于三条原则设计：对用户信息及他人在所连接应用中分享的内容谨慎处理，使用新的分类器检查拟发出的消息；用户保有其代理行为的控制权；Duet 不会看到密码、浏览器 cookie、登录令牌等凭据。文章还提到这延续了 2025 年发布的“安全可信智能体框架”及相关论述。
- 分级
- 值得看
- 收录时间
- 2026-10-27
推荐阅读
我们如何在各产品中约束 Claude
How we contain Claude across products
Anthropic 的文章，讨论智能体能力增强后潜在影响范围随之扩大，并介绍其为 claude.ai、Claude Code 和 Cowork 构建约束机制的经验。文中把部署风险分为失败可能性和单次失误可造成的损害两部分，指出前者随防护与模型训练进展下降，而理论影响范围只随能力和权限扩张而增大，因此工程问题在于如何限制影响范围。
你们怎么用 Claude Code 给自己的应用做安全测试，而不让它以为你是黑客？
How do you guys security test your own app with claude code without it thinking ur a hacker?
r/ClaudeAI 社区帖子。一位独立开发者做自托管的 AI agent 应用，想在发布前自行测试认证绕过、跨用户数据访问、权限提升和对 agent 的提示注入，但用 Claude Code 编写攻击载荷或利用脚本时它有时会变得谨慎。发帖者征询社区做法，例如事先声明是自己的本地代码、写进 CLAUDE.md、改为要求编写失败测试（证明用户 A 读不到用户 B 的数据）、或用专门工具跑结果，并提到担心被平台封禁或被有关部门标记。适合用 Claude Code 做应用安全测试的独立开发者阅读。
专家称 AI 黑客事件的成因是失控与监控方面的失败
Containment and monitoring failures are to blame for AI hacking reports: experts
CSO Online 的一篇新闻分析，作者 Cynthia Brumfield，2026 年 10 月 14 日发布。文章梳理自 7 月以来美国前沿 AI 实验室披露的多起模型未经授权访问外部系统的事件，如 OpenAI 对 Hugging Face 的入侵、Anthropic 某模型访问三家组织的生产基础设施等，并引用专家观点认为问题在于安全基础措施和监控存在缺失，而非模型“失控”。
真实的 AI 智能体攻击以及本可阻止它们的措施——Andrey Rybka，彭博
Real AI Agent Attacks and What Would Have Stopped Them — Andrey Rybka, Bloomberg
彭博的 Andrey Rybka 逐一复盘真实发生的 AI 智能体安全事件：逃出沙箱并在四天半内执行 17,600 次操作的智能体、零点击邮件注入、用摩尔斯电码隐藏指令转走钱包资金、通过 DNS 查询外传数据、被投毒的 MCP 包，以及承诺不动生产库却删掉生产数据库的智能体，并说明每起事件本可用何种控制措施阻止。他提出的分层防御包括：每个智能体独立身份与短期限定凭证、将所有输入视为敌意、工具调用经确定性代理转发、默认拒绝包括 DNS 的出站流量、高价值操作需人工批准。
对抗样本生成
Adversarial Example Generation
PyTorch 官方教程文档（对应 2.15.0+cu132 版本），作者为 Nathan Inkawhich，创建于 2018 年 8 月 14 日，最后更新于 2025 年 1 月 27 日。教程以图像分类器为例，介绍机器学习模型的安全与鲁棒性问题，使用快速梯度符号法（FGSM）攻击来欺骗 MNIST 分类器，演示对图像加入人眼难以察觉的扰动即可显著改变模型表现，并讨论了对抗攻击的不同类别与威胁模型。页面提供在 Google Colab 中运行和下载 Notebook 的入口。
Postman 桌面版在我 Mac 上自动安装了 Claude Code 插件：日志、配置与安装器源码证据
Postman desktop automatically installed a Claude Code plugin on my Mac. Logs, config and installer source evidence.
帖子称在时隔多日打开 Postman 桌面版后，本地审计发现其自动安装程序在用户级安装了 Claude Code 插件（同时安装了 Codex 插件），并列出 Postman main.log 条目、~/.claude/settings.json 与 installed_plugins.json 中的启用记录、插件缓存路径，以及 Postman 安装器源码中指向该插件的路由作为证据，作者认为 API 客户端改动无关的编码 Agent 配置属于授权与信任问题。适合同时使用 Claude Code 与 Postman 桌面版、关注本地插件安装行为的人阅读。