全部资源

博客精选。

441 条精选
博客发布 10-08
OpenAI

LegalOn 将 Codex 成本减半,同时保持开发速度

LegalOn halves Codex costs while maintaining development speed

OpenAI 的客户案例,介绍总部位于亚太地区的初创公司 LegalOn 通过把 Astra、Sol 和 Luna 匹配到不同任务并策略性管理预算,将 Codex 的估计每日成本削减 65%(文章标题称减半),同时保持开发速度。

博客发布 10-04
Simon Willison 博客

我们几乎在所有地方都需要默认的硬性预算上限

We're going to need default hard budget caps on pretty much everything

这篇文章主张按使用量计费的服务和 API 应提供“默认硬性预算上限”功能,即超过设定金额后直接中断服务并返回错误,而不只是发警告邮件。作者以编程代理和个人代理容易启动会产生费用的代码为例,说明若无硬上限可能出现睡梦中被额外扣费数百数千美元的情况,并提出硬上限应作为默认设置,想要取消的人可显式勾选。

博客发布 10-09
Simon Willison 博客

用语音为我的博客构建的新功能

A new feature for my blog, built using my voice

作者记录自己几乎全程通过语音对话为博客新增了 Newsletters 页面,用于索引其免费周报和赞助者专属月报。文中描述使用 ChatGPT 桌面应用 Codex 标签页的语音对话模式,连本地开发环境,在厨房做饭时口述需求,由 GPT-6 Astra High 生成模型、迁移、视图代码和模板等。适合对语音编程工作流感兴趣的读者。

博客发布 10-13
Simon Willison 博客

用 Python 3.15 剖析 web-edit:火焰图与源码热力图

Profiling web-edit with Python 3.15: flame graphs and source heatmaps

这是一篇研究笔记,作者让 Codex 中的 GPT-6 Astra Extra High 用 Python 3.15 的新剖析器对自己开发的 web-edit 应用做分析,并生成火焰图和源码热力图。文中给出示例图,并说明对未修改的 web-edit 应用采样 15,296 个 CPU 栈后发现,混合换行符保留逻辑占用了大部分繁忙编辑负载,preserve_endings 出现在 64.8% 的栈中。

博客发布 10-13
Simon Willison 博客

你好 Python 3.15,告别 3.10,现在可以用 3.11 了

Hello Python 3.15, goodbye 3.10, and now I can use 3.11

这篇博文介绍 Python 3.15 发布及相关资料,提到由 3.14 和 3.15 发布经理 Hugo van Kemenade 整理的“What's new”指南。作者作为需支持多个 Python 版本的开源软件开发者,说明自己将放弃 3.10 并开始采用 3.11 的特性,并列举了 3.15 的亮点,如 PEP 810 的显式惰性导入和推导式中的解包语法。

博客发布 10-16
Simon Willison 博客

sparqlite:用 Rust 编写的、内置于 SQLite 的 SPARQL 1.1

sparqlite: SPARQL 1.1 inside SQLite, written in Rust

这是 Simon Willison 的一篇研究记录,描述他在 Claude Code 的“Ultracode”模式(通过动态工作流协调多个子代理)下,用一个提示词要求编写一个能直接在行上操作、速度很快的 SQLite SPARQL 扩展。文中提到 Claude Code 运行超过 12 小时、产出多个 crate,作者还追加提示要求为各目录补 README、编写 tutorial.md 及示例数据脚本,并对项目规模之大、难以逐行审查表达了看法。

博客发布 08-15
Sebastian Raschka

Claude 的文本水印是如何工作的

How Claude's Text Watermarking Works

一篇简短图解,依据 Anthropic 公开材料说明 Claude 文本水印的原理。文中讲到大模型生成 token 时某些位置存在多个高分候选,水印用一个密钥结合前文 token 上下文生成伪随机种子与候选分数,使采样偏向特定候选;在大量位置重复后形成统计上难以自然出现的模式,从而可被检测。

博客发布 08-11
Sebastian Raschka

Muse Glimmer 30B 架构笔记

Muse Glimmer 30B Architecture Notes

Sebastian Raschka 关于 Meta Muse Glimmer 30B 的简短架构笔记,涉及门控的局部与全局 GQA、KV 缓存效率以及发布时的基准对比。正文将其描述为一个 30B 多模态推理模型,采用类 Gemma 架构、131k 上下文窗口、稠密(非 MoE)结构,并使用 GQA 与滑动窗口注意力的混合注意力,局部与全局比例为 3:1,同时对两者都采用门控注意力。

博客发布 07-28
Sebastian Raschka

Kimi K3 架构笔记

Kimi K3 Architecture Notes

Sebastian Raschka 关于 Kimi K3 的简短架构笔记,涉及 LatentMoE、Kimi Delta Attention、Attention Residuals、NoPE、多模态以及推理效率方面的设计选择。正文称 K3 基本上是去年 Kimi Linear 的放大生产版本(从 48B 放大到 2.8T),相比 Kimi Linear 新增的组件是 LatentMoE,整体趋势是提升推理效率。适合关注大模型架构的读者。

博客发布 09-22
Sebastian Raschka

MiMo-V2.6 Pro 架构与训练笔记

MiMo-V2.6 Pro Architecture and Training Notes

记录小米 MiMo-V2.6 Pro 的架构与训练要点:架构为经典 GQA 加 128 token 小窗口滑动注意力,文中称其在开放权重模型基准的加权平均上排名第一。训练方面提到增加智能体任务并跨不同 harness 训练(held-out harness 上 DeepSWE pass@1 约从 50% 升至 66%)、用以查看执行轨迹的 agentic grader 替代简单正确性验证器,以及大规模 RL 批次(1,568 条提示 × 16 次采样,25,088 条轨迹)与每次更新 2.7–3.7 亿级训练 token。

博客发布 09-13
Sebastian Raschka

LinkedIn Learning 上的 AI 推理模型课程

AI Reasoning Models Course on LinkedIn Learning

这是一篇博客文章,Sebastian Raschka 介绍他与 LinkedIn 合作推出的约 90 分钟推理模型课程,讲解推理模型与传统 LLM 的关系及其开发方式。课程分 4 个主要部分、约 30 个短视频,配互动测验和代码示例,内容涉及推理模型、推理时扩展、蒸馏和强化学习。作者说明该课程面向想了解 LLM 概念但不想做大量编码工作的人,属 LinkedIn Premium 内容。

博客发布 09-02
Sebastian Raschka

OpenAI Astra 与循环式 Transformer

OpenAI Astra and Looped Transformers

针对 OpenAI Astra 被称作“循环深度/循环式 Transformer”的说法做解释,并举例此前介绍过的 Nanbeige4.2-3B:它把同一套 22 层 Transformer 堆栈复用两次,相当于扩展到 44 层但不复制权重,存储需求不变而计算量近乎翻倍。文中还提到 Mixture-of-Recursions 论文,并引用 Nanbeige 4.2 技术报告称两遍复用取得较好权衡。