# 港科广新基准：只给截图，AI能把App交互做出来吗？

- 原标题：港科广新基准：只给截图，AI能把App交互做出来吗？
- 类型：博客
- 来源：新智元
- 发布时间：2026-10-25
- 首次精选：2026-11-03 21:30
- 分级：值得看
- 是否付费：免费（全文公开可读）
- 预估学习时长：约 5 分钟（按全文字数估算）
- 学习层级：进阶
- 主题：[creative-coding-design](<https://oplearnx.com/md/topics/creative-coding-design.md>)（第 35 位）、[model-benchmarks](<https://oplearnx.com/md/topics/model-benchmarks.md>)（第 39 位）
- 原文链接：[https://aiera.com.cn/asi-post.html?id=120460](<https://aiera.com.cn/asi-post.html?id=120460>)
- 本站页面：[https://oplearnx.com/resources/pk\_8827aef1222e](<https://oplearnx.com/resources/pk_8827aef1222e>)

## 摘要

新智元报道，港科广团队提出基准UI2App，只给静态UI截图、不提供功能说明或操作轨迹，考察模型能否推断并实现截图隐含的应用行为，并把这种能力称为「交互推断」（Interaction Inference）。该基准包含600张截图、95组多页面Web应用、665个「应用-交互类别」评测项，覆盖7类常见交互，并按状态作用范围分为S1局部UI状态、S2组件共享状态、S3跨路由状态；评价分EXEC（能否构建运行）、VFS（视觉相似度）和IIS（交互推断与实现）三个维度。文中举例Gemini 3.1 Pro Preview的VFS为73.2、IIS为8.1，Claude Sonnet 4.6的VFS为71.3、IIS为36.8。附论文、项目主页和代码链接。适合关注前端代码生成与UI Agent评测的研究者阅读。

---
来源：LearnMap · 学径（https://oplearnx.com）