观点 / 方法精选
LMSYS与Intel合作通过异构CPU+GPU EPD架构提升视觉语言模型服务性能
原始标题：Blog Heterogeneous CPU + GPU EPD Disaggregation to Boost VLM Serving TL；DR We enabled heterogeneous Encode-Prefill-Decode （EPD） disaggregation via Dynamo and SGLang for Vision-Language Models （VLMs）. By offloading vision encoding tasks to CPUs （the easiest-getting CPU… Intel & SGLang Team
内容摘要
LMSYS团队（Intel与SGLang）通过Dynamo和SGLang框架，为视觉语言模型（VLM）启用了异构编码-预填充-解耦（EPD）架构。该方案将视觉编码任务从GPU卸载至CPU（如Intel Xeon 6747P），与GPU协同工作。在Qwen3-VL-8B-Instruct模型的测试中，采用4 CPU + 1 GPU作为编码器、4 GPU作为预填充解码器（能力比R=12）的配置，在ISL/OSL 128/256、1080p 8张图像的负载下，实现了P99 TTFT和请求吞吐量约1.2倍至1.3倍的提升，并将P99 TPOT降低了约1.3倍至30倍。
内容分类AI 观点与方法
内容层级精选情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源LMSYS：Blog（Chatbot Arena 团队）
站内情报编号intel-77d51f0fbb841ec8ae131fd7