观点 / 方法精选
在单颗 AMD MI300X 上运行 DeepSeek V4 Flash
内容摘要
一个开源仓库提供了在单颗 AMD MI300X 上生产运行 DeepSeek-V4-Flash-0731 的完整配置与补丁,无需额外量化或权重卸载。该 304B 参数模型在 192 GB HBM 上实现单流 168.6 tok/s 解码、8 并发流 542 tok/s 聚合吞吐,并验证了 256K 上下文。
内容分类AI 观点与方法
内容层级精选情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源Hacker News 热门(buzzing.cc 中文翻译)
站内情报编号intel-409a2c29c3e4a55c30da8a83