模型基准与比较

学习基准设计、模型比较和实验可信度,适合阅读评测或设计实验的读者。

39 条精选 · 入门 5 · 按推荐学习顺序:越基础、直观越靠前,越系统、深入越靠后

在 3D 图中查看
  1. 14进阶
    教程发布 10-19
    YouTube

    模型替换工作坊:GPT-5.5 对比 Kimi、DeepSeek、Mistral

    The Model Swap Workshop: GPT-5.5 vs Kimi vs DeepSeek vs Mistral — Pamela Fox, Microsoft

    微软首席云布道师 Pamela Fox 在 Microsoft Foundry 上对 GPT-5.5、Kimi K2.6、DeepSeek V4 Flash 和 Mistral Large 3 运行相同场景,从数单词字母的提示词逐步递进到 RAG 依据性、图像输入、多语言陷阱、工具调用、循环中的工具调用,以及一个 LangChain v1 旅行智能体。之后转向评估:字符串检查评估、LLM-as-a-judge、微软用于从规格生成测试集的 ASSERT 工具,以及用 DSPy 优化提示词以让最便宜的模型也能满足要求。材料说明重点在于基准测试无法反映模型在自己应用中的行为,替换并实测才能看出差异。

  2. 15进阶
    教程发布 10-23
    YouTube

    别轻信你的 AI 智能体,像科学家一样测试它们——Stephanie Jarmak,Omni Analytics

    Don't Trust Your AI Agents. Test Them Like a Scientist — Stephanie Jarmak, Omni Analytics

    讲者 Stephanie Jarmak 曾在 Sourcegraph 构建大型编码基准,现于 Omni Analytics 做评测工作。她在演讲中指出多数智能体评测容易被误读,例如仅更换评测框架就让结果变化 30%;主张把公开基准用于初筛而非决策,并像做实验一样设计自建评测:真实任务、重复运行、完整追踪和与关注目标匹配的度量。还涉及质量门禁、人工复核瓶颈以及生产环境才是最终检验等话题。

评测、安全与治理的其他细分主题