全部资源

全部 AI 精选,可按分级、类型、是否付费、收录时间筛选,按关键词搜索。

排序:最新收录 · 推荐810 条精选
博客发布 07-28
Sebastian Raschka

Kimi K3 架构笔记

Kimi K3 Architecture Notes

Sebastian Raschka 关于 Kimi K3 的简短架构笔记,涉及 LatentMoE、Kimi Delta Attention、Attention Residuals、NoPE、多模态以及推理效率方面的设计选择。正文称 K3 基本上是去年 Kimi Linear 的放大生产版本(从 48B 放大到 2.8T),相比 Kimi Linear 新增的组件是 LatentMoE,整体趋势是提升推理效率。适合关注大模型架构的读者。

博客发布 09-22
Sebastian Raschka

MiMo-V2.6 Pro 架构与训练笔记

MiMo-V2.6 Pro Architecture and Training Notes

记录小米 MiMo-V2.6 Pro 的架构与训练要点:架构为经典 GQA 加 128 token 小窗口滑动注意力,文中称其在开放权重模型基准的加权平均上排名第一。训练方面提到增加智能体任务并跨不同 harness 训练(held-out harness 上 DeepSWE pass@1 约从 50% 升至 66%)、用以查看执行轨迹的 agentic grader 替代简单正确性验证器,以及大规模 RL 批次(1,568 条提示 × 16 次采样,25,088 条轨迹)与每次更新 2.7–3.7 亿级训练 token。

博客发布 09-13
Sebastian Raschka

LinkedIn Learning 上的 AI 推理模型课程

AI Reasoning Models Course on LinkedIn Learning

这是一篇博客文章,Sebastian Raschka 介绍他与 LinkedIn 合作推出的约 90 分钟推理模型课程,讲解推理模型与传统 LLM 的关系及其开发方式。课程分 4 个主要部分、约 30 个短视频,配互动测验和代码示例,内容涉及推理模型、推理时扩展、蒸馏和强化学习。作者说明该课程面向想了解 LLM 概念但不想做大量编码工作的人,属 LinkedIn Premium 内容。

博客发布 09-02
Sebastian Raschka

OpenAI Astra 与循环式 Transformer

OpenAI Astra and Looped Transformers

针对 OpenAI Astra 被称作“循环深度/循环式 Transformer”的说法做解释,并举例此前介绍过的 Nanbeige4.2-3B:它把同一套 22 层 Transformer 堆栈复用两次,相当于扩展到 44 层但不复制权重,存储需求不变而计算量近乎翻倍。文中还提到 Mixture-of-Recursions 论文,并引用 Nanbeige 4.2 技术报告称两遍复用取得较好权衡。

博客发布 09-28
Sebastian Raschka

聚焦后训练

Focusing on Post-Training

作者说明在预算有限时,为何会优先对现有开放权重模型做后训练而非从头预训练,并以 Fireworks 的 Ember-1 为例:它基于 Kimi K3 后训练生成更短的推理轨迹,据其公告在评测质量相当的情况下约少用 40% 的 token。

教程发布 08-22
Sebastian Raschka

Claude 如何为 AI 生成文本添加水印

How Claude Watermarks AI-Generated Text

针对 Anthropic 宣布对 Claude 输出文本加水印后引发讨论的话题,作者录制了一期讲座视频并附文字记录,较详细地讲解其工作方式;原文计划 10 页幻灯片、约 10 分钟,实际扩展为 50 多页、48 分钟,并提供幻灯片与 YouTube 版本链接。

博客发布 08-15
Sebastian Raschka

从零构建 AI 文本检测器

Building an AI Text Detector From Scratch

一篇教程,从 Substack 上线的 AI 检测功能说起,演示如何实现一个简单的 AI 文本检测器,并把它作为验证器来训练小型语言模型生成可规避检测的文本。文中将其定位为研究 AI 检测器局限、探索数学与代码推理之外基于验证器的 LLM 应用的教学项目,并讨论了检测器在过滤垃圾内容与实际写作辅助方面的用途。

博客发布 10-08
Hugging Face

不存在的模型,只好自己做出来

The model that didn't exist, so you made it yourself

这篇 Hugging Face 博客文章讲述作者借助 HuggingChat 中开启的 ML-intern,按需求自动规划、训练、评测并发布模型的过程。文中以把 Qwen-Image 2.1 的 9B 提示词改写模型蒸馏成 0.8B 可 CPU 运行版本为例,称其有效输出率 99.7%,整个项目(含 8,797 条示例标注)算力成本约 16 美元,并提到随后用同样方式又做了五个模型。

博客发布 10-07
Hugging Face

介绍 Falcon ASR

Introducing Falcon ASR

这是阿布扎比技术创新研究院(TII)发布的博客文章,介绍其 1.6B 参数语音识别模型 Falcon-ASR。该模型以阿拉伯语(尤其阿联酋方言)为重点,同时支持英语、法语、西班牙语和葡萄牙语,并支持词级时间戳;文中给出了在六个阿拉伯语测试集上平均 20.92% 的词错误率及内部阿联酋方言评测结果。

博客发布 10-04
Hugging Face

智能体说完成了,数据库不同意

The Agent Said It Was Done. The Database Disagreed.

这篇微软与 Hugging Face 的联合博客介绍 Microsoft ThinkingBox,它不评估智能体生成的文字,而是依据其在隔离 MCP 工具会话中留下的终端状态和副作用打分,并考察能否连续二十次完成。文中以一个厨房电器配送纠纷的客服场景为例,说明智能体做出多次工具调用并给出回复后,其结果仍需按实际记录核验。ThinkingBox 现可通过 Hugging Face 使用。

博客发布 10-02
Hugging Face

AutoSynthData:为企业智能体生成训练数据

AutoSynthData: Generating Training Data for Enterprise Agents

这篇博客介绍 ServiceNow CoreAI 构建的 AutoSynthData,用于把模型在特定企业环境中的能力短板转化为训练数据。它借助目标模型的失败案例和更强教师模型的成功案例确定下一步该学什么,再生成并验证新任务;这些任务需能在环境中完成、接近真实工作请求,并有可靠方式检验智能体是否成功。

博客发布 09-30
Hugging Face

开放 TTS 排行榜:面向多语言文本转语音与声音克隆的可扩展评测

Open TTS Leaderboard: Scalable Evaluation for Multilingual Text-to-Speech and Voice Cloning

这篇博客介绍一个聚焦开源与多语言模型的文本转语音排行榜。文中指出 Hugging Face Hub 上已有超过 8000 个 TTS 模型,但评测仍分散且缺乏标准;以人类偏好投票和 Elo 计分的竞技场式排行榜(如 TTS Arena v2、Artificial Analysis Voice Arena)难以跟上模型发布速度,开源模型在其中也相对较少。