AI圈报
观点 / 方法普通

vLLM 集成 Helion 线性后端:Hopper GPU 上部分负载吞吐提升超 10%

信息来源:PyTorch:Blog(RSS)·
原始标题:Building a High-Performance and Portable vLLM Linear Backend with Helion

内容摘要

vLLM 将 PyTorch 原生内核 DSL Helion 集成进线性后端,用单一 GEMM 实现覆盖 Standard GEMM、Split-K、Swap-AB 等变体,并按 shape 自动调优选择最优配置。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源PyTorch:Blog(RSS)
站内情报编号intel-454412eaa47ef4cb87c7ba52