AI圈报
观点 / 方法普通

小红书与NVIDIA联合发布GR-Inference推理引擎,优化生成式召回

信息来源:公众号:小红书技术(dots.llm)·
原始标题:GR-Inference:让搜索生成式召回更高效

内容摘要

小红书与NVIDIA联合构建GR-Inference,一个面向长Context、短Decode、大Beam的生成式召回专用推理引擎,覆盖KV抽象、连续批处理、专用Decode Attention、受限生成与CUDA Graph等优化。
内容分类AI 观点与方法
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源公众号:小红书技术(dots.llm)
站内情报编号intel-32e1ac319fa7d0a4302c062c