关闭广告

o1之后下一个范式?隐式CoT大突破,让推理不再「碎碎念」

机器之心Pro3406人阅读



魏熙林为本篇文章第一作者。魏熙林是复旦大学博士生,师从林达华教授,研究兴趣主要集中在 multi-modal LLMs 和 efficient AI。目前在上海人工智能实验室实习,指导 mentor 是臧宇航、王佳琦。

今天推荐一个 Implicit Chain-of-Thought(隐式推理) 的最新进展 ——SIM-CoT(Supervised Implicit Chain-of-Thought)。它直击隐式 CoT 一直「扶不起来」的核心痛点:隐式 token 一旦 scale 上去,训练就容易塌缩到同质化的 latent 状态,推理语义直接丢失。

SIM-CoT 的关键招式是一个 plug-and-play 的 step-level 监督模块:训练时用辅助解码器把每个 latent token「拉回」到可对齐的推理步骤上,既稳住优化、避免 collapse,又让隐式推理第一次真正可解释 —— 你甚至能把每个 latent token 解码成人类可读的中间推理步骤。

更爽的是:推理阶段零额外开销(辅助解码器训练完就丢),但效果却很猛:在 GPT-2 上相

版权与免责声明:本文内容转载自其他媒体,目的在于传递更多信息,不代表本网观点或立场,不承担此类作品侵权行为的自己责任及连带责任。
猜你喜欢
精彩推荐

"4只皮皮虾1035元"店主事发次日病逝 家属:不再开业

扬子晚报 浏览 96070

全红婵家建了新楼,哥哥直播卖菠萝被骂吃软饭

陈意小可爱 浏览 3332

美方案要求乌方做出历史性让步 被指是"普京愿望清单"

澎湃新闻 浏览 17144

61岁郭富城现身F1,老了但更有味道了

麦芽是个小趴菜 浏览 2600

消费股大爆发,但背后另有玄机!

君临财富 浏览 4302

伊朗高级官员:已做好与美以长期作战的准备

央视新闻客户端 浏览 2664

3件开心小事|| 这条视频竟然有一千万人看了

黎贝卡的异想世界 浏览 3863

《唐朝诡事录3》第一波真实口碑出炉!

娱乐圈笔娱君 浏览 4415

持续拓展区块链应用广度,挖掘赋能深度

上观新闻 浏览 755

看王玉雯穿抹胸出席活动,才知啥叫倾国倾城

喜欢历史的阿繁 浏览 3532

卷首语 | 在动物园散步才是正经事

时尚COSMO 浏览 6685

蔚来公司12月交付新车48,135台 同比增长54.6%

网易汽车 浏览 3704

最高降价30万!宝马中国回应:并非打价格战

界面新闻 浏览 3682

TVB那些美到像幻觉的小花们

可乐谈情感 浏览 4179

“食安AI博士”智能体首秀进博会!

文汇报 浏览 4371

这届双十一,充满了“AI味”与“本地生活味”

连线Insight 浏览 4441

第六代RAV4荣放双擎精英版上市限时焕新价15.18万元

网易汽车 浏览 2904

E句话| 《繁花》剧组又回应了?

仙女事件簿 浏览 4400

奥巴马意外现身 庆祝胜利

参考消息网 浏览 9382

穿了十年仍然心动的外套,它算一件

黎贝卡的异想世界 浏览 3716

梅德维德夫晋级中网男单八强

体坛周报 浏览 5191
本站所有信息收集于互联网,如本站收集信息侵权,请联系我们及时删除
沪ICP备20017958号-1