内存BOM冲击已实际影响消费者

智能体工作负载正在悄然重塑推理经济学。我们从SemiAnalysis的43.2万个真实编码智能体请求中提取数据，发现中位数并非3.2万或6.4万，而是9.6万输入token。作为参考，这意味着在你输入问题之前，模型已处理了超过《了不起的盖茨比》全文长度的文本。（1/3）🧵

那不是"杰文斯悖论"。那是向下倾斜的需求曲线。

OpenAI的秘密武器刚刚亮相。Jalapeno，这款AI设计的芯片，每兆瓦token数超越Rubin，九个月内完成流片，还能运行Doom。 Myron和Bryan与@JordanNanos一起在SemiAnalysis Weekly上全面解析： - Jalapeno vs Rubin和GB300的InferenceX对比 - 为什么每兆瓦token数才是关键指标 - 三星HBM4的回归 - AI编写的RTL和内核 - CUDA护城河正在流失吗？ - Anthropic的A…

英伟达GB300 NVL72在长上下文智能体工作负载上，每美元性能比H200高出7倍💰💰，这得益于分离式预填充和宽专家并行优化，充分利用了NVL72的铜背板。

片外带宽一直是晶圆级芯片的短板。WSE-3 拥有惊人的晶圆上 SRAM 带宽，但一旦数据需要离开晶圆，一切都会变慢。这之所以重要，是因为晶圆仅能容纳 44GB 的 SRAM，因此大模型会被分散到多块晶圆上，而每增加一块晶圆，就意味着有更多数据需要穿越这条带宽受限的 I/O 路径。长上下文会让情况更糟，因为 KV 缓存会进一步推高所需晶圆数量。（1/3）🧵 图片来源：Cerebras

SemiAnalysis指出ABF载板供应链已无余量，2026年产能全部排满，六大供应商总交期长达12-14个月。更大芯片尺寸（9000-14000mm2）与更高层数（20-24L）推高单单位产线工时。交期超12个月促使客户寻求2029年后产能承诺，部分二线供应商已开始竞标出售产能，现货定价环境强劲，载板厂利润率看涨。

OpenAI Jalapeño：优于英伟达 Blackwell OpenAI 自研 ASIC 与 Rubin 对比，Jalapeño 的 TCO、每 MW 吞吐量，以及火辣细节 https://newsletter.semianalysis.com/p/openai-jalapeno-better-than-nvidia

我们看到超大规模厂商在资本上投入了大量资金。 他们正在购买土地、购买大量设备、在全球各地雇佣建筑承包商，而这笔投入明年将达到或超过一万亿美元的资本支出。

SemiAnalysis 预测，到今年年底 AI 累计资本支出将达近 $3T，2020 年代末将增至 $11T+，未偿 AI 债务将达 $7T+。2026 年 AI 债务融资将成为仅次于美国住宅抵押贷款的第二大资产相关债务市场，且是 AI 相关债务发行量低于美国固收发行总量 10% 的最后一年。

对即将加入OpenAI的团队成员，有什么关于如何最好地与俄亥俄州社区互动的建议吗？@TaylorLorenz