全部资源

全部 AI 精选,可按分级、类型、是否付费、收录时间筛选,按关键词搜索。

排序:最新收录 · 推荐900 条精选
博客发布 10-16
Simon Willison 博客

sparqlite:用 Rust 编写的、内置于 SQLite 的 SPARQL 1.1

sparqlite: SPARQL 1.1 inside SQLite, written in Rust

这是 Simon Willison 的一篇研究记录,描述他在 Claude Code 的“Ultracode”模式(通过动态工作流协调多个子代理)下,用一个提示词要求编写一个能直接在行上操作、速度很快的 SQLite SPARQL 扩展。文中提到 Claude Code 运行超过 12 小时、产出多个 crate,作者还追加提示要求为各目录补 README、编写 tutorial.md 及示例数据脚本,并对项目规模之大、难以逐行审查表达了看法。

博客发布 08-15
Sebastian Raschka

Claude 的文本水印是如何工作的

How Claude's Text Watermarking Works

一篇简短图解,依据 Anthropic 公开材料说明 Claude 文本水印的原理。文中讲到大模型生成 token 时某些位置存在多个高分候选,水印用一个密钥结合前文 token 上下文生成伪随机种子与候选分数,使采样偏向特定候选;在大量位置重复后形成统计上难以自然出现的模式,从而可被检测。

博客发布 08-11
Sebastian Raschka

Muse Glimmer 30B 架构笔记

Muse Glimmer 30B Architecture Notes

Sebastian Raschka 关于 Meta Muse Glimmer 30B 的简短架构笔记,涉及门控的局部与全局 GQA、KV 缓存效率以及发布时的基准对比。正文将其描述为一个 30B 多模态推理模型,采用类 Gemma 架构、131k 上下文窗口、稠密(非 MoE)结构,并使用 GQA 与滑动窗口注意力的混合注意力,局部与全局比例为 3:1,同时对两者都采用门控注意力。

博客发布 07-28
Sebastian Raschka

Kimi K3 架构笔记

Kimi K3 Architecture Notes

Sebastian Raschka 关于 Kimi K3 的简短架构笔记,涉及 LatentMoE、Kimi Delta Attention、Attention Residuals、NoPE、多模态以及推理效率方面的设计选择。正文称 K3 基本上是去年 Kimi Linear 的放大生产版本(从 48B 放大到 2.8T),相比 Kimi Linear 新增的组件是 LatentMoE,整体趋势是提升推理效率。适合关注大模型架构的读者。

博客发布 09-22
Sebastian Raschka

MiMo-V2.6 Pro 架构与训练笔记

MiMo-V2.6 Pro Architecture and Training Notes

记录小米 MiMo-V2.6 Pro 的架构与训练要点:架构为经典 GQA 加 128 token 小窗口滑动注意力,文中称其在开放权重模型基准的加权平均上排名第一。训练方面提到增加智能体任务并跨不同 harness 训练(held-out harness 上 DeepSWE pass@1 约从 50% 升至 66%)、用以查看执行轨迹的 agentic grader 替代简单正确性验证器,以及大规模 RL 批次(1,568 条提示 × 16 次采样,25,088 条轨迹)与每次更新 2.7–3.7 亿级训练 token。

博客发布 09-13
Sebastian Raschka

LinkedIn Learning 上的 AI 推理模型课程

AI Reasoning Models Course on LinkedIn Learning

这是一篇博客文章,Sebastian Raschka 介绍他与 LinkedIn 合作推出的约 90 分钟推理模型课程,讲解推理模型与传统 LLM 的关系及其开发方式。课程分 4 个主要部分、约 30 个短视频,配互动测验和代码示例,内容涉及推理模型、推理时扩展、蒸馏和强化学习。作者说明该课程面向想了解 LLM 概念但不想做大量编码工作的人,属 LinkedIn Premium 内容。

博客发布 09-02
Sebastian Raschka

OpenAI Astra 与循环式 Transformer

OpenAI Astra and Looped Transformers

针对 OpenAI Astra 被称作“循环深度/循环式 Transformer”的说法做解释,并举例此前介绍过的 Nanbeige4.2-3B:它把同一套 22 层 Transformer 堆栈复用两次,相当于扩展到 44 层但不复制权重,存储需求不变而计算量近乎翻倍。文中还提到 Mixture-of-Recursions 论文,并引用 Nanbeige 4.2 技术报告称两遍复用取得较好权衡。

博客发布 09-28
Sebastian Raschka

聚焦后训练

Focusing on Post-Training

作者说明在预算有限时,为何会优先对现有开放权重模型做后训练而非从头预训练,并以 Fireworks 的 Ember-1 为例:它基于 Kimi K3 后训练生成更短的推理轨迹,据其公告在评测质量相当的情况下约少用 40% 的 token。

教程发布 08-22
Sebastian Raschka

Claude 如何为 AI 生成文本添加水印

How Claude Watermarks AI-Generated Text

针对 Anthropic 宣布对 Claude 输出文本加水印后引发讨论的话题,作者录制了一期讲座视频并附文字记录,较详细地讲解其工作方式;原文计划 10 页幻灯片、约 10 分钟,实际扩展为 50 多页、48 分钟,并提供幻灯片与 YouTube 版本链接。

博客发布 08-15
Sebastian Raschka

从零构建 AI 文本检测器

Building an AI Text Detector From Scratch

一篇教程,从 Substack 上线的 AI 检测功能说起,演示如何实现一个简单的 AI 文本检测器,并把它作为验证器来训练小型语言模型生成可规避检测的文本。文中将其定位为研究 AI 检测器局限、探索数学与代码推理之外基于验证器的 LLM 应用的教学项目,并讨论了检测器在过滤垃圾内容与实际写作辅助方面的用途。

博客发布 10-08
Hugging Face

不存在的模型,只好自己做出来

The model that didn't exist, so you made it yourself

这篇 Hugging Face 博客文章讲述作者借助 HuggingChat 中开启的 ML-intern,按需求自动规划、训练、评测并发布模型的过程。文中以把 Qwen-Image 2.1 的 9B 提示词改写模型蒸馏成 0.8B 可 CPU 运行版本为例,称其有效输出率 99.7%,整个项目(含 8,797 条示例标注)算力成本约 16 美元,并提到随后用同样方式又做了五个模型。

博客发布 10-07
Hugging Face

介绍 Falcon ASR

Introducing Falcon ASR

这是阿布扎比技术创新研究院(TII)发布的博客文章,介绍其 1.6B 参数语音识别模型 Falcon-ASR。该模型以阿拉伯语(尤其阿联酋方言)为重点,同时支持英语、法语、西班牙语和葡萄牙语,并支持词级时间戳;文中给出了在六个阿拉伯语测试集上平均 20.92% 的词错误率及内部阿联酋方言评测结果。