论文研究精选
智谱联合驭驯网络与清华提出ZCube组网架构,破解大模型推理网络瓶颈
原始标题:下一代大模型推理网络架构:ZCube如何有效破解网络瓶颈?
内容摘要
智谱、驭驯网络与清华大学联合提出并落地ZCube组网架构,以扁平化拓扑替代传统Clos/ROFT架构,从结构层面消除PD分离推理中的可避免拥塞。在GLM-5.1 coding生产环境千卡集群实测中,ZCube相比ROFT将GPU平均推理吞吐提升15%以上,TTFT P99降低40.6%,同时减少约三分之一的交换机与光模块成本。
综合分类、实体标签与信息来源匹配