更多博客
博客进阶

港科广新基准:只给截图,AI能把App交互做出来吗?

AI 导读

新智元报道,港科广团队提出基准UI2App,只给静态UI截图、不提供功能说明或操作轨迹,考察模型能否推断并实现截图隐含的应用行为,并把这种能力称为「交互推断」(Interaction Inference)。该基准包含600张截图、95组多页面Web应用、665个「应用-交互类别」评测项,覆盖7类常见交互,并按状态作用范围分为S1局部UI状态、S2组件共享状态、S3跨路由状态;评价分EXEC(能否构建运行)、VFS(视觉相似度)和IIS(交互推断与实现)三个维度。文中举例Gemini 3.1 Pro Preview的VFS为73.2、IIS为8.1,Claude Sonnet 4.6的VFS为71.3、IIS为36.8。附论文、项目主页和代码链接。适合关注前端代码生成与UI Agent评测的研究者阅读。

分级
值得看
是否付费
免费全文公开可读
预估学习时长
约 5 分钟按全文字数估算
收录时间
2026-11-03