关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者2360人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

春树导演制片人回应争议,否认靠卖惨打动白百何,短信内容曝光

扒虾侃娱 浏览 3533

陈伟霆的情史曝光:浪子脸下隐藏的情感真相!

小猫娱乐叭叭 浏览 3627

哈格里夫斯:枪手拥有英超最顶级的四名边卫,其中廷贝尔最强

懂球帝 浏览 2561

欧盟正式调查X平台,重点关注Grok是否导致有害内容传播风险显著上升

澎湃新闻 浏览 2480

谢孟伟拘留期满被释放,连发两条视频召集粉丝

娱慧 浏览 4129

虞书欣这剧真的很好看啊!

伊周潮流 浏览 2330

英国防大臣称想"绑架"普京 俄方:痴人说梦

界面新闻 浏览 2626

俄称击退乌军解围行动 乌称击退俄军进攻

国际在线 浏览 3293

专家:高市早苗跟台湾关系较密切 会让大陆比较担忧

澎湃新闻 浏览 6763

中马智库机构在吉隆坡举行交流座谈 探讨区域研究与合作

BT财经 浏览 1781

琼瑶女神摘下假牙,撕碎的是流量滤镜

大龄女一晓彤 浏览 3784

35岁男子回乡"崖下洞居" 创业失败家里没房欠银行35万

封面新闻 浏览 16290

日本在台附近部署进攻性武器 中方回应

环球网 浏览 3198

宇树科技更名!正在办理工商变更,已完成首期上市辅导

红星资本局 浏览 3558

澎湃OS优化进展公布,小米15手机相机体验等问题已修复

IT之家 浏览 2945

利空突袭!凌晨,全线大跌!

券商中国 浏览 2985

NASA局长:中国实力令人震撼 发展速度堪比SpaceX

澎湃新闻 浏览 30227

媒体:特朗普"急踩刹车"与伊朗停火 以方声明流露不满

新民晚报 浏览 57790

理想为什么不做轿车,有了解释……

道哥说车 浏览 228

郑丽文出席联合祭祖大典:盼未来中华儿女不再自相残杀

海峡导报社 浏览 18267

琉球群岛地位未定中方在联合国亮明态度 日媒破防

头条爆料007 浏览 34569
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1