更多讲座

YouTube3 天前

讲座进阶

Revolut 如何用自托管开源模型将 AI 编码成本削减 90%——David Abitbol，Revolut

How Revolut Cut AI Coding Costs 90% With Self-Hosted Open Models - David Abitbol, Revolut

AI 导读

Revolut AI 运营负责人 David Abitbol 分享 2,000 名工程师的数据：自托管开源 GLM 模型使交付速度提升约 60–70%，成本约为原先支付给前沿实验室的十分之一。内容还包括所需 GPU、维持工程师满意度的延迟目标、同一硬件上提速 88% 的调优方法，以及受欧盟监管的银行如何满足合规要求。适合评估自托管模型方案的技术管理者观看。

打开原文
分级
值得看
收录时间
2026-11-02
博客发布 07-07
Hugging Face

在任意云上运行 AI 工作负载，在 Hugging Face 存储：基于 SkyPilot 的零出网存储

Run AI workloads on any cloud, store on Hugging Face: zero-egress storage with SkyPilot

Hugging Face 与 SkyPilot 团队合写的博客，发布于 2026 年 7 月 7 日。文章说明可通过一个 hf:// URL 和已有的 HF_TOKEN，用 store: hf 将 Hugging Face Bucket（读写）或任意模型、数据集、Space 仓库（只读）以 MOUNT 或 COPY 方式挂载进 SkyPilot 任务，从而把计算放到有 GPU 的任意云上；文中称 Hugging Face 不收取出网费用。

进阶费用与资源优化模型服务与算力
查看详情 →
教程必读发布 05-29
Hugging Face

PyTorch 性能分析（第一部分）：torch.profiler 入门指南

Profiling in PyTorch (Part 1): A Beginner's Guide to torch.profiler

这是 PyTorch 性能分析系列文章的第一篇，面向初学者介绍如何使用 torch.profiler 读取性能分析 trace。文中说明该系列将逐步讲解 trace 阅读技能并用于驱动优化，后续两篇分别涉及从 nn.Linear 到融合 MLP、以及注意力层的分析。适合刚开始接触 PyTorch 性能分析的新手阅读。

入门模型服务与算力
查看详情 →
帖子发布 10-26
Reddit

调优后的 Strata 配置：2000 PP、平均 tg 95–105

Tuned Strata config, 2000 PP and 95-105 mean tg

一篇 r/LocalLLaMA 社区帖子，作者在 RTX 4090 + 48 GB 内存、Ryzen 3900X、Windows、200k 上下文的环境下运行 IQ3_S Qwen3.8-Flash-Next，对 Strata 0.43 的大量参数做了近似网格搜索。帖子称 decode 从 97 tok/s 提升到 142 tok/s（+45%），列出最有效的几个参数（--adapt-async 1、--kv-resident 20480、STRATA_ADAPT_LAG=2）和最差的几个（--expert-cache 单位是 MiB、--ple-io ram、--no-prefill-borrow），并指出 Windows 无法用 cuda 固定内存。适合在单卡上折腾 Strata 推理引擎参数调优的人阅读。

深入解码与生成加速长上下文与缓存仅限授权使用
查看详情 →
博客发布 06-22
Hugging Face

我们让本地模型免费分诊 OpenClaw 仓库了！*

We got local models to triage the OpenClaw repo for FREE!*

文章（星号注释说明“免费”不含电费且前提是已拥有硬件）讲述使用 Gemma、Qwen 等本地模型配合 Pi 之类的智能体框架和结构化输出，完成分类任务。作者以开源仓库 OpenClaw 的 issue 和 PR 分诊、优先级排序与分发为起点，说明选择该方案的原因是已有本地模型和框架可用。

进阶费用与资源优化智能体架构与框架
查看详情 →
教程发布 05-27
Hugging Face

Reachy Mini 实现完全本地运行

Reachy Mini goes fully local

这篇教程介绍如何让 Reachy Mini 机器人的对话应用在本地运行整套语音栈，不再把音频发送到服务器。方案基于名为 speech-to-speech 的级联式 VAD → STT → LLM → TTS 流程，提供兼容 Realtime API 的 WebSocket 接口，文中推荐 llama.cpp 搭配 Gemma 4、Silero VAD、Parakeet-TDT 0.6B v3 STT 和 Qwen3-TTS 等组件，并说明各组件可替换。

进阶语音与音频本地模型部署
查看详情 →
博客发布 10-21
YouTube

同样的 GPU，产出多出 50%：为什么运营方是关键——SemiAnalysis 的 Oliver Kennon

Same GPU, 50% More Output: Why the Operator Matters — Oliver Kennon, SemiAnalysis

演讲把算力视为大宗商品市场，指出购买 GPU 只是获得潜力，实际可用产出取决于运营方：在同样的 B200 芯片上，仅服务栈一项就能带来约 50% 的产出差异。内容还包括集群安全如何影响“智能”是否有用、SemiAnalysis 的 ClusterMAX 如何给运营方评级、租用价格与生产成本的区别、成本位置取决于竞争对手，以及构建可比算力评级与算力期货所需的条件。

进阶模型服务与算力费用与资源优化
查看详情 →