关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro2964人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

靠扒“脏”数据,这家公司干到估值数亿

虎嗅APP 浏览 3187

燃烧等离子体国际科学计划项目启动及研究计划发布

中安在线 浏览 3659

两种容量、最高纯电续航超320公里,极氪8X电池信息揭晓

IT之家 浏览 3241

这届双十一,充满了“AI味”与“本地生活味”

连线Insight 浏览 4075

集微咨询发布《2025中国电源管理芯片行业上市公司研究报告》

爱集微 浏览 3456

麻省理工学院发明“可注射”脑机芯片,有潜力用于治疗老年痴呆症

IT之家 浏览 3850

普通人穿衣没那么多花招!找到一些简单的搭配方式,舒适耐看

静儿时尚达人 浏览 849

《年少有为》追剧团 41岁叶祖新和31岁彭昱畅同框

往史过眼云烟 浏览 3023

消息称SK海力士与英伟达达成HBM4供应协议,价格较上代上涨50%

IT之家 浏览 3977

“纸质书+VR”开启科普新形态 《寻梦天宫:中国空间站建设纪实》在京发布

封面新闻 浏览 3341

日本开年密集外交搞了不少小动作 引发地区国家警惕

澎湃新闻 浏览 7525

视界大会后台社交名利场!欧豪起身主动接杨幂,剧组之间互相抱团

萌神木木 浏览 3894

巴特勒临时休战引热议!勇士官方评论区炸锅:被交易还是有急事?

罗说NBA 浏览 3144

整合再提速!“东方证券+上海证券”合并预案出炉

国际金融报 浏览 864

巴拉圭队身价:恩西索、迭戈-戈麦斯2500万最高,全队1.571亿

懂球帝 浏览 115

电商助力 四川会东石榴从深山走向全国市场

封面新闻 浏览 4821

上海海港三场亚冠比赛仅拿1分,进1球丢6球

懂球帝 浏览 4205

华为智慧屏新品MateTV Max今日预售,110英寸64999元

IT之家 浏览 3791

鲁豫想穿成她,章小蕙也爱她,152cm的她为什么能成为风格偶像?

黎贝卡的异想世界 浏览 2233

罗永浩炮轰电信宽带缩水:再不解决,就要在网上发疯了

观察者网 浏览 3499

小米YU7内掏出不明零件最新进展 市监局介入处理

网易汽车 浏览 4149
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1