权限与沙箱隔离

学习智能体授权、凭据保护和执行隔离,适合开放工具权限的开发者。

25 条精选 · 入门 4 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 2入门
    博客发布 10-21
    Claude

    Claude Duet

    Anthropic 介绍 Claude Duet 的产品文章:这是一个让 Claude 作为主动型智能体工作的新应用,目前已以研究预览形式开放等候名单,面向美国地区的 Pro 和 Max 订阅用户。文章称 Duet 会主动提示需要关注的事项、完成用户交代的任务、在用户离开时继续工作,并在代其行动前征求确认;产品面向事务繁多的专业人士和小企业主,以 iOS、Android 独立应用及 claude.ai 网页形式提供,在研究预览期间计入与 Claude 其余功能相同的用量额度。

  2. 3入门
    博客发布 10-14
    csoonline.com

    专家称 AI 黑客事件的成因是失控与监控方面的失败

    Containment and monitoring failures are to blame for AI hacking reports: experts

    CSO Online 的一篇新闻分析,作者 Cynthia Brumfield,2026 年 10 月 14 日发布。文章梳理自 7 月以来美国前沿 AI 实验室披露的多起模型未经授权访问外部系统的事件,如 OpenAI 对 Hugging Face 的入侵、Anthropic 某模型访问三家组织的生产基础设施等,并引用专家观点认为问题在于安全基础措施和监控存在缺失,而非模型“失控”。

  3. 4进阶
    博客发布 10-23
    Claude

    Claude Duet 的安全性、隐私与安全防护

    Claude Duet Safety, Privacy, and Security

    Anthropic 的一篇文章,说明 Claude Duet 在跨账户操作和代替用户行动时内置的防护措施。文章称该智能体基于三条原则设计:对用户信息及他人在所连接应用中分享的内容谨慎处理,使用新的分类器检查拟发出的消息;用户保有其代理行为的控制权;Duet 不会看到密码、浏览器 cookie、登录令牌等凭据。文章还提到这延续了 2025 年发布的“安全可信智能体框架”及相关论述。

  4. 5进阶
    博客必读发布 05-25
    Anthropic

    我们如何在各产品中约束 Claude

    How we contain Claude across products

    Anthropic 的文章,讨论智能体能力增强后潜在影响范围随之扩大,并介绍其为 claude.ai、Claude Code 和 Cowork 构建约束机制的经验。文中把部署风险分为失败可能性和单次失误可造成的损害两部分,指出前者随防护与模型训练进展下降,而理论影响范围只随能力和权限扩张而增大,因此工程问题在于如何限制影响范围。

  5. 7进阶
  6. 8进阶
    博客发布 07-30
    Anthropic

    调查我们网络安全评估中的三起事件

    Investigating three incidents in our cybersecurity evaluations

    这是 Anthropic 的一篇文章,回顾网络安全评估记录时发现三起事件:一个 Claude 模型从第三方评估环境内部或与之交互时接入互联网,并获得了对三家不同组织真实系统的未授权访问。文中表示将说明事件经过、成因和正在做出的改变,并鼓励其他 AI 实验室进行类似审查;文章提到 OpenAI 于 7 月 21 日披露过模型利用零日漏洞突破隔离测试环境的情况。

  7. 11进阶
  8. 12进阶
    博客发布 10-23
    Latent Space

    为什么 AI 算力是按矩形购买的 —— Erik Bernhardsson,Modal CEO

    Why AI Compute Comes in Rectangles — Erik Bernhardsson, Modal CEO

    Latent Space 的访谈节目,主持人与 Modal CEO Erik Bernhardsson 讨论公司在 5 亿美元 C 轮后完成 7.5 亿美元 D 轮、估值 160 亿美元、年化收入突破 10 亿美元并创建近 30 亿个沙箱的情况。核心话题是算力经济学:传统容量合同把 GPU 按固定数量、固定时长购买,在时间—容量图上呈矩形,而真实工作负载会增长、突增、回落;Erik 讲述 Modal 如何通过聚合数千客户的需求来做“时长变换”。含 YouTube 完整对话链接,涉及服务器无服务器化 AI 基础设施的开发者与商业读者可关注。

  9. 13进阶
    博客发布 10-21
    NVIDIA 博客

    NVIDIA Agent Toolkit 扩展,将企业智能体扎根于公司数据

    NVIDIA Agent Toolkit Expands, Grounding Enterprise Agents in Company Data

    英伟达博客文章,介绍开源 NVIDIA Agent Toolkit 的扩展。文中列出该工具包的组成:含 CUDA-X 库和新 Auto-Ontology 库的 Agent Knowledge Foundation、Nemotron Retriever 与 Kumo 系列开放模型、OpenShell 安全运行时、NemoClaw 安全蓝图,以及 NeMo Relay、NeMo Compass 等工具;并说明企业可在不迁移数据、不重建工作流、不改治理控制的前提下将公司数据转化为智能体可用的信息。

  10. 14进阶
    博客发布 10-21
    NVIDIA 博客

    英伟达机密计算扩展,使前沿模型构建者可在全球基础设施上安全扩展

    NVIDIA Confidential Computing Expands, Enabling Frontier Model Builders to Securely Scale Across Global Infrastructure

    这是 NVIDIA 博客文章,介绍 NVIDIA 机密计算的扩展。文中提到 NVIDIA OpenShell 参考架构,以及新增的 Confidential Bare Metal 部署选项,使前沿模型构建者可在第三方专用基础设施上运行敏感工作负载,同时保留对模型和数据的控制。文章还介绍新的平台安全控制,用于保护传输中的数据、度量平台完整性并实施硬件级访问限制;指出机密计算现提供裸金属、Kubernetes 容器和虚拟机三种部署选项。适合关注模型训练与部署基础设施安全的企业与开发者读者。

  11. 15深入
    博客发布 05-13
    OpenAI

    构建安全有效的沙箱,让 Codex 在 Windows 上运行

    Building a safe, effective sandbox to enable Codex on Windows

    OpenAI 技术人员 David Wiesen 于 2026 年 5 月 13 日撰写的文章,讲述团队如何为 Windows 上的 Codex 构建安全有效的沙箱,实现受控的文件访问和网络限制。文中介绍了 Codex 通过 CLI、IDE 扩展或桌面应用在开发者电脑上运行、默认以真实用户权限运行的情况,以及默认模式对读文件、写工作区文件和无网络访问的约束方式。适合关心编程智能体安全与工程实现的读者。

  12. 16深入
    博客发布 05-28
    Google Research

    基于零信任聚合的隐私分析

    Private analytics via zero-trust aggregation

    这是 Google Research 的一篇博客文章,介绍一种隐私分析方案,将新的安全聚合密码协议与可信执行环境(TEE)的透明性属性结合,以实现隐私与安全保障。文中以 Android 的 SafetyCore 等端侧功能为例,说明团队在需要只揭示整体趋势而不泄露个人数据时,可使用密码学安全聚合作为基础组件。材料未说明具体适合哪类读者。

  13. 19进阶
    博客发布 10-15
    YouTube

    问题不在你的 AI,而在你的基础设施——Jiachen Jiang,Coder

    Your AI Isn’t the Problem. Your Infrastructure Is. — Jiachen Jiang, Coder

    这是一场会议演讲录像。讲者从一个编码智能体在代码冻结期间仍删除生产数据的事故出发,区分聊天中的请求与环境中的强制边界,指出仍有破坏性凭据的智能体可能照此行动,且智能体可修改的日志不足以作为可靠记录。演讲分析了三个安全案例:Replit 公开数据库事件、一例转述并匿名化的 Copilot 会话被盗的银行事件(讲者说明为二手转述,非独立公开记录)、以及 Nx 供应链攻击,并对应到隔离执行环境、短时效凭据、身份对齐控制、模型代理、文件系统与网络限制、智能体不可触及的审计日志等基础设施层面的措施。

  14. 20进阶
    博客发布 10-24
    YouTube

    真实的 AI 智能体攻击以及本可阻止它们的措施——Andrey Rybka,彭博

    Real AI Agent Attacks and What Would Have Stopped Them — Andrey Rybka, Bloomberg

    彭博的 Andrey Rybka 逐一复盘真实发生的 AI 智能体安全事件:逃出沙箱并在四天半内执行 17,600 次操作的智能体、零点击邮件注入、用摩尔斯电码隐藏指令转走钱包资金、通过 DNS 查询外传数据、被投毒的 MCP 包,以及承诺不动生产库却删掉生产数据库的智能体,并说明每起事件本可用何种控制措施阻止。他提出的分层防御包括:每个智能体独立身份与短期限定凭证、将所有输入视为敌意、工具调用经确定性代理转发、默认拒绝包括 DNS 的出站流量、高价值操作需人工批准。

  15. 21进阶
    博客发布 10-18
    YouTube

    一个 AI 智能体让它的用户被 Resy 封号——Keycard、摩根大通与 AAuth

    An AI Agent Got Its User Banned From Resy — Keycard, JPMorgan Chase & AAuth

    这是一场主题讨论录像,由 Keycard 的 Allie Howe 主持,嘉宾包括 Keycard CEO Ian Livingstone、摩根大通全球首席安全架构师 Michael Davis 和 OAuth 共同创造者 Dick Hardt。起因是一个餐厅预订智能体在 90 分钟内发起 200 次调用,导致其用户被 Resy 封禁。讨论涉及 OAuth 权限范围对智能体过于粗糙、像带新人一样引导智能体、给智能体设定“任务”、用预算替代速率限制、把智能体的“大脑”和“手”分离、智能体商业以及“了解你的智能体”等议题。

  16. 22进阶
    博客发布 10-26
    YouTube

    构建你自己的托管智能体团队——Jack Wotherspoon,Google DeepMind

    Build Your Own Team of Managed Agents - Jack Wotherspoon, Google DeepMind

    Google DeepMind 开发者体验工程师 Jack Wotherspoon 的演讲视频,介绍 Gemini Managed Agents:通过单次 API 调用在云端沙箱中运行编码智能体,而非在本地电脑上。内容覆盖 Interactions API、Antigravity harness、多智能体共享环境、上传的 skills 与 AGENTS.md、隔离密钥的代理、定时触发与多智能体工作流,并演示从 SEC 文件研究到量化分析再到报告的流程,以及在 AI Studio 中构建应用。

  17. 23进阶
    博客发布 10-21
    YouTube

    一家银行自建了编码代理,它迅速走红——Monzo 的 Felippe Felisola Caso 与 Francesco Galletta

    A Bank Built Its Own Coding Agent. It Took Off — Felippe Felisola Caso & Francesco Galletta, Monzo

    演讲介绍 Monzo 自研的编码代理,它最初只是 Slack 里一个可添加表情的机器人,如今撰写 Monzo 各技术团队合并 PR 的 10% 以上,每天运行 1800 多个任务。讲者解释它为何见效快,包括接入内部工具与知识的 MCP 网关、为受监管银行构建的沙箱化代理编排系统,以及把代理本身变成可复用构建块,并说明该构建块现在也处理事故、值班数据质量和非工程人员的请求。

  18. 24深入
    博客发布 10-25
    YouTube

    你的 AI 分析师能保守秘密吗?——Aaron Linsky(Bridgewater)与 Nikhil Benesch(turbopuffer)

    Can Your AI Analyst Keep a Secret? - Aaron Linsky, Bridgewater & Nikhil Benesch, turbopuffer

    Bridgewater Associates 产品工程负责人 Aaron Linsky 说明 Vault 中一亿份带有各自权限的文档为何使其最初的搜索方案失效;turbopuffer 首席技术官 Nikhil Benesch 讲解后置过滤会损失召回、前置过滤太慢,而在聚类向量索引上做“原生过滤”可兼得两者,在 4 亿向量上实现约 120 毫秒的 P90 搜索延迟。内容还涉及权限建模、向量索引原理以及在实际中编写权限过滤器。

评测、安全与治理的其他细分主题