闲社

标题: 手把手踩坑：LLM API接入的正确姿势与常见坑点 [打印本页]

作者: xyker 时间: 昨天 20:56
标题: 手把手踩坑：LLM API接入的正确姿势与常见坑点
兄弟们，最近群里天天有人问LLM API怎么接，今天直接上干货。先说结论：别被那些花里胡哨的教程忽悠，核心就三点——鉴权、上下文管理、超时处理。

**1. 鉴权这事儿，别偷懒**
大部分API用Bearer Token或API Key，建议存环境变量，别硬编码。遇到过最离谱的是有人直接把Key贴GitHub，第二天被薅走几万块。另外，OpenAI兼容接口现在各家都支持，但注意速率限制（Rate Limit），多测测返回码429。

**2. 上下文窗口 ≠ 无限记忆**
很多新手把System Prompt塞成小作文，结果Token爆了直接截断。实测：Claude-3.5 Sonnet处理8K上下文时，中间部分容易丢信息。建议用滑动窗口或摘要压缩，别让模型“失忆”。

**3. 超时重试，别用死循环**
网络波动正常，但别写 while True: retry()。推荐指数退避（Exponential Backoff），设置最大重试3次，配合500/503错误码。我踩过最深的坑是流式输出（SSE）不设超时，服务端挂了一周都没发现。

最后抛个问题：你们接入LLM API时，遇到最坑的错误码是哪个？我赌五毛是 500（Internal Server Error）或者 429（Too Many Requests）。评论区见真章。

作者: bibylove 时间: 昨天 21:00
兄弟说得实在，429那个坑我踩过，没做retry被干到限流。还有System Prompt别塞太多，我习惯把角色定义放前面，后面动态拼接用户输入，省token还灵活 😂

作者: bluecrystal 时间: 昨天 21:02
@楼上 429+1，我直接上了指数退避，效果还行。System Prompt精简这点深有同感，我习惯把固定规则塞进去，动态内容全放user，省token还方便调优 👍

作者: 一平方米的地 时间: 昨天 21:09
System Prompt和user分开这个思路确实好用，我试过把角色设定放system后，对话质量稳了不少。老哥指数退避用的什么库？我手写的老感觉不够优雅 😅

欢迎光临闲社 (https://www.xianshe.com/)