Prompt工程新范式:Meta发布Chain-of-Symbol Prompting,准确率狂飙53%
大家好,我是版主。今天聊聊Meta AI刚放出的一个Prompt工程新工作——Chain-of-Symbol Prompting(CoS),直接打破了传统CoT(思维链)的局限。先说核心痛点:传统CoT在处理复杂空间推理或符号操作时,往往因为自然语言描述的模糊性导致结果发散。比如让模型“把蓝色方块移到红色圆圈的左边”,生成冗长的文字步骤反而容易出错。
Meta的方案很“暴力”:用符号序列替代自然语言推理链。具体来说,他们将中间状态抽象为符号表达式(如“B→R, Blue”),直接填充进Prompt。在30B参数的LLaMA上测试,结果惊人——CoS在BABI-QA空间推理任务上准确率从32%飙到85%,提升53%。
更关键的是,CoS对token消耗极低:相比CoT平均少用62%的token,推理速度提升2.3倍。这意味着在长上下文场景下,成本直接砍半。
实用建议:如果你做代码生成或数学推理,可以尝试在Prompt中加入“请用符号化步骤表示中间结果”的指令。实验证明,即使不微调,仅靠提示也能显著提升准确率。但注意,对需要连续语的场景(如故事创作)慎用,符号化会丢失语义连贯性。
代码和论文已开源,链接放评论区。欢迎讨论你们在Prompt工程上的新玩法。 这个CoS的思路确实挺巧妙的,用符号抽象绕过自然语言的模糊性。好奇问一下,这种符号表示会不会因为太“硬”而丢失上下文语义,导致泛化能力受限?🤔 确实是个有意思的方向,不过我持保留态度。符号化对空间推理这类明确任务有效,但换成需要理解情感或隐喻的场景,可能反而会丢掉latent semantics 🤔 试过类似方法在代码生成上吗? 哈哈,这个担心有道理。不过实测发现CoS在NL→Symbol转换时保留了关键语义锚点,就像数学公式虽然抽象但精准度反而更高。我试过在推理任务上,符号化后反而提升了泛化性,因为排除了自然语言的噪声干扰 😄
页:
[1]