YouTube··15 天前
AI 账单太贵了:Token 经济学入门——Eugene Cheah,Featherless AI
The AI Bill Is Too Damn High: Tokenomics 101 — Eugene Cheah, Featherless AI
这是 AI Engineer NYC 2026 上 Eugene Cheah(Featherless AI)的演讲录像,针对 token 支出上升而生产力未同步提升的情况,提出在大规模场景下降低推理成本的四个步骤:度量、按需选型、合理采购算力、检查流程。内容涉及按团队拆分 API key、代理性与流程型工作负载的区分、在特定任务上可比肩前沿模型的开源模型、分类器、微调、速度与成本的权衡以及所谓“slop grenades”,并附时间戳与问答环节。
- 分级
- 值得看
- 收录时间
- 2026-10-26
推荐阅读
我用 Qwen 3.8FN IQ3_S 测试了 Strata 的路由优化在编程、数学和指令遵循上的表现
I tested Strata's routing optimizations with Qwen 3.8FN IQ3_S in coding, math, and instruction following
这是 r/LocalLLaMA 的一篇社区帖子,作者在自有机器的 Qwen 3.8 Flash Next IQ3_S 上测试 Strata 0.2.7.1 版本的两项路由优化。STRATA_ROUTE_PRIOR 会给已缓存于显存的专家加 1.5 的分数加成(约 4.48 倍有效系数),使分数接近时可用缓存中的专家替换原本会选中的专家;STRATA_ROUTE_TAIL_SKIP=7(默认值)则在某些专家不在显存时跳过第 7 至第 10 个专家的计算,从而丢弃次要专家的贡献。帖子给出关闭两项、仅尾跳、仅路由优先、两者同开四种配置在 IFEvalCode、AIME 2026、IFEval 上的解码速度与得分表格,并说明第二轮用更大思考预算重跑了首轮答案不同的题目。适合在本地运行 MoE 模型、关心显存受限下路由与专家缓存取舍的人阅读。
证明 Alpha:一家对冲基金如何衡量 AI 的投资回报——Hari Kumar,Contour Asset Management
Proving Alpha: How a Hedge Fund Measures AI's ROI - Hari Kumar, Contour Asset Management
Contour Asset Management 的 AI 负责人 Hari Kumar 介绍这家约 60 亿美元的基本面多空基金如何衡量 AI 投入的回报。内容包括对分析师研究工作进行有无 AI 工具的实时 A/B 测试、跟踪“每条有用洞察的成本”、用智能体在市场重新变得有趣时调出旧想法,以及把同样的思路延伸到交易、运营和合规环节。材料中附分章节时间线。
hanzohanzhe/Grandet
这是一个 GitHub 仓库,提供 Grandet Skill 和一个匿名 MCP 服务器,用于让 AI 智能体查找任意模型最便宜的 API 并接入使用,价格数据来自 grandet.ai 上 1,800 多家官方、推理与中转服务商的标价。README 给出了网站、远程 MCP 服务器地址(无需注册和 API 密钥)以及向 Codex、Claude Code、Cursor 等智能体安装技能的方式。
为一万到一万二千美元预算的本地 agentic coding 装机:1× 5090 对比 4× 3090、混合方案、PRO 6000、Mac Studio?
$10–12K build for local agentic coding: 1× 5090 vs 4× 3090 vs hybrid vs PRO 6000 vs Mac Studio?
r/LocalLLaMA 社区帖子。发帖者准备花约 1 万美元(必要时到 1.2 万)买硬件做本地 agentic coding,用途包括 agentic coding、偶尔 2–4 个并行 subagent 和逆向工程,可选需求是用 Hunyuan3D-2.1 做贴图生成(需 CUDA 和约 21GB 显存)。其列出正在考虑的方案:单张 RTX 5090、四张二手 3090、5090 + 2×3090 混合、Mac Studio M5 Ultra 256GB、超预算的 PRO 6000,并就长上下文中单 5090 与四 3090 的日常体验、3090 长上下文预填充表现、混合方案在 AM5 上以 x8/x8/x4 跑两个 vLLM 实例是否值得、以及是否该等 50 Super 或改装 4090 48GB 等问题征询意见。适合正在规划本地多卡推理/编码 agent 装机的人阅读。
Claude 抓到了 Claude 在浪费 token
Claude caught Claude wasting tokens
一篇 r/ClaudeAI 社区帖子,作者自建了一个语音触发 CLI 工具(STT→服务器→Claude Code→TTS),某次测试后由另一个 Claude 会话读取日志,发现模型首轮运行 72 秒、输出约 8000 个 token 的纯文本,内容几乎全是零宽 Unicode 字符,没有工具调用,因此用户什么也没听到。帖子记录了该轮日志约 8002 个输出 token、估算成本约 0.24 美元。适合用 Claude Code 搭建语音代理或关心 token 消耗排查的人阅读。
RTX 3080 20GB 解锁 reBAR 与 P2P:提示处理速度提升 70%
RTX 3080 20GB got reBAR and P2P unlock! +70% prompt processing speed
帖子称 RTX 3080 20GB 的 P2P 已解锁,在张量并行模式下提示处理速度大幅提升;发帖人转述原作者 u/nathannguyennng 的工作,并给出自己的测试环境(Proxmox 上双 RTX 3080 20GB、vllm 0.32.0、INT4 量化模型、张量并行等)以及原装、gpu-unlock、gpu-unlock+ReBAR+P2P 三种配置的对比。适合在本地多卡上运行大模型、关注vLLM 推理性能调优的人阅读。