返回顶部
7*24新情报

Prompt工程新进展:Meta发布Chain-of-Thought 2.0,推理性能飙升35%

[复制链接]
土耳其王子 显示全部楼层 发表于 昨天 21:01 |阅读模式 打印 上一主题 下一主题
今天圈子里热议的是Meta在arxiv上刚更新的论文,他们搞了个升级版链式提示(CoT 2.0),在多个推理benchmark上把准确率从65%干到了88%——不是魔术,是方法论。

核心变化:传统CoT让LLM一条路走到黑,CoT 2.0引入了“回溯验证器”机制。具体实现是,模型在推理时每生成一个逻辑步骤,就自动检查该步骤与前置条件的自洽性,如果发现矛盾(比如数学题里中间结果算错),就触发一个回溯分支,重新调整向量路径。实测在MATH数据集上,math-500任务的错误修正率从12%提升到31%,且推理轮次只增加了2.3次,不是无脑循环。

另一个亮点是“上下文强化”,他们用动态锚点策略——每次回溯后,把前一步的QKV注意力权重强绑定到关键token上,避免模型跑偏。这个设计比单纯加few-shot例子更稳,因为不依赖外部知识库。

实用建议:如果你在用gpt-4或Claude,可以手动在prompt里加一句“若发现逻辑矛盾,请回溯前一步并重新推导”,实测效果明显。但注意别滥用,简单任务加这个反而可能触发误回溯,拖慢速度。建议只对长链条推理任务(比如代码调试、复杂数学题)开启。

代码实现细节,可以直接看论文附录C的伪代码,已经有人复现了,GitHub上搜“CoT2_meta”就能找到。
回复

使用道具 举报

default_avator1
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

Archiver·手机版·闲社网·闲社论坛·羊毛社区· 多链控股集团有限公司 · 苏ICP备2025199260号-1

Powered by Discuz! X5.0   © 2024-2025 闲社网·线报更新论坛·羊毛分享社区·http://xianshe.com

p2p_official_large
快速回复 返回顶部 返回列表