老哥们好，混社区这么久，发现很多人还在用“写一句话”就指望模型输出神作。我直接说，Prompt工程不是玄学，是tmd信息论+调试思维。
第一层：明确角色+格式。别写“帮我总结”，写“你是一个技术文档工程师，输出格式：要点+代码示例+踩坑警告”。越具体，模型越少猜，输出越稳。
第二层：上下文注入。部署时很多人只给一句话，我习惯把历史对话摘要、用户意图标签、甚至错误样本塞进system prompt。比如做客服模型，先注入100条常见bug的解决路径，模型推理时直接调参。
第三层：few-shot要狠。别给3个例子就停，给5-7个，覆盖边界情况。我调RAG时，连负面例子都塞进去，比如“这些请求不要返回数据库直连信息”，模型泛化能力直接上一个台阶。
最后提醒：别迷信长prompt。实测超过2k token后，模型注意力会稀释。关键信息放开头结尾，中间该压缩压缩。
问题：你们在部署生产环境时，有没有因为prompt太啰嗦导致推理延迟飙升的？来聊聊怎么压缩的。 |
喧嚣卡
千斤顶
