关闭广告

中科大和华为联手破解大语言模型"注意力"背后的神秘规律

科技行者3344人阅读


这项由中国科学技术大学脑认知智能感知教育部重点实验室与华为技术有限公司、天津大学智能与计算学院联合完成的研究发表于2026年的国际学习表征会议(ICLR)。有兴趣深入了解的读者可以通过论文编号arXiv:2601.21709查询完整论文。

当我们阅读一篇文章时,眼球会在不同的词语之间跳跃,有时专注于某个关键词,有时快速扫过熟悉的内容。这个过程看似随意,实际上遵循着精妙的规律。令人惊讶的是,人工智能中的大语言模型在处理文字时,也展现出了类似的"注意力"模式。然而,长期以来,科学家们对这些模式为什么会出现、如何形成,一直缺乏统一的解释。

就好比我们知道鸟儿会迁徙,但不明白它们如何选择路线一样,研究人员发现大语言模型会表现出各种注意力模式——有的像聚光灯一样反复照亮某几个重要词汇,有的像扫描仪一样按序逐个关注,还有的像万花筒一样呈现周期性变化。但这些模式背后的形成机理却始终是个谜。

这项研究的突破在于,研究团队首次提出了一个名为"时间注意力模式可预测性分析"(TAPPA)的统一框架,从时间连续性的角度解释了为什么会出现这些看似迥异的注意力模式。更重要的是,他们发现了

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

陈伟霆何穗官宣当爸妈!圈内仅5位明星送祝福,女方为爱放弃事业

萌神木木 浏览 3864

ImageNet分数越高,生成反而越糊?iREPA给出解释

新智元 浏览 3808

28岁华裔天才成百亿富豪 却献计特朗普封锁中国AI技术

策略述 浏览 7182

鸿蒙智行全年累计交付589107台 12月单月交付89611台

网易汽车 浏览 3791

卖车卖到手软 MG4 5月销量突破15000台

网易汽车 浏览 657

这张外卡不白拿,40岁瓦林卡逆转取胜,最后一届澳网完美开局

网球之家 浏览 3466

3天6个瓜!鲜肉出轨,男星离婚,个个离谱

霁寒飘雪 浏览 4548

河南村庄设环保监测点发通知限制燃油车进村 当地回应

大风新闻 浏览 16673

吉利缤越L Battle版上市 售价9.78万元

车质网 浏览 3539

Meta被曝靠诈骗广告赚取巨额利润

北京商报 浏览 4387

领克900首搭千里浩瀚G-ASD 新增D2D领航驾驶辅助功能

网易汽车 浏览 3701

何赛飞用肥皂卸妆 网友:张晚意找到“同皂中人”

台州交通广播 浏览 3774

4-1!中国男足大反弹,一举终结2连败,15岁小将大四喜,出线有戏

侃球熊弟 浏览 4611

全球限量78台!莲花FOR ME黑金限量版63.8万起

网易汽车 浏览 1408

一汽丰田10月销售新车71407辆 今年累计销售65.8万辆

网易汽车 浏览 4341

特朗普得罪全球美国急告中国别捅刀 中方沉默震耳欲聋

梁讯 浏览 39552

港姐亚军自曝遭网暴!骚扰者竟是小区保安

TVB剧评社 浏览 4571

联盟各队在恐慌雷霆 战绩第一还手握快船2026年首轮签

仰卧撑FTUer 浏览 4137

这几件单品太火了,今年流行的风格都离不开它

LinkFashion 浏览 755

乌总统:美方28点计划已有所精简

每日经济新闻 浏览 4147

“小棕鞋”今年春天太流行了!这3双怎么搭都好看

LinkFashion 浏览 2691
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1