模型发布 / 更新精选
NSA：硬件对齐的稀疏注意力新机制
原始标题：🚀 Introducing NSA： A Hardware-Aligned and Natively Trainable Sparse Attention mechanism for ultra-f…
内容摘要
NSA是一种硬件对齐且原生可训练的稀疏注意力机制，专为超快速长上下文训练与推理设计。其核心采用动态分层稀疏策略，结合粗粒度token压缩与细粒度token选择。通过针对现代硬件的优化，NSA在加速推理、降低预训练成本的同时不损失性能，在通用基准、长上下文任务及指令推理中匹配或超越Full Attention模型。
内容分类AI 模型发布与更新
内容层级精选情报
发布时间（北京时间）
本站收录时间（北京时间）
信息来源X：DeepSeek (@deepseek_ai)
站内情报编号intel-e12544852d7aafff2c7ff110