← 返回列表

@jeremyphoward: RT @haopeng_uiuc: Excited to share our new paper: RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably LLMs often fa…

@jeremyphoward 3 信息等级 3 1 噪音/剔除；2 较弱；3 普通事实；4 重要行业动态；5 极重大事件。该分数是信息显著性，不是投资建议。 发布：2026-05-19T22:47 抓取：2026-05-19 23:19
🔗 原文链接
AI 研究
摘要

伊利诺伊大学香槟分校研究人员发表论文，证明旋转位置编码（RoPE）在长上下文任务中既不能区分位置也不能区分token，对LLM长上下文理解提出挑战。

客观事实
  • 新论文证明RoPE在长上下文中无法区分位置和token
伊利诺伊大学香槟分校

原文

RT @haopeng_uiuc: Excited to share our new paper: RoPE Distinguishes Neither Positions Nor Tokens in Long Contexts, Provably

LLMs often fa…

likes: 114 | retweets: 22 | replies: 3 | views: 8340