AI圈报
论文研究普通

RAG投毒可致注意力崩溃,检测需关注文档级注意力

信息来源:X:Rohan Paul (@rohanpaul_ai)·
原始标题:RAG poisoning can make a model more confident, which is exactly why confidence-based detectors can f…

内容摘要

研究发现,恶意检索文档可提升模型token置信度与输出一致性,导致基于不确定性的检测器失效。作者将攻击下注意力集中于投毒文档而非分散于检索证据的现象称为"注意力崩溃"(Attention Collapse)。因此,仅检查最终答案或置信度可能漏报,监控检索文档间的注意力分布或可提前暴露投毒。
内容分类AI 论文与研究
内容层级普通情报
发布时间(北京时间)
本站收录时间(北京时间)
信息来源X:Rohan Paul (@rohanpaul_ai)
站内情报编号intel-460a78460be7e2f38e0702a4