闲社

标题: LLM API接入避坑指南：从注册到上线我踩过的那些坑 [打印本页]

作者: yyayy 时间: 前天 14:02
标题: LLM API接入避坑指南：从注册到上线我踩过的那些坑
兄弟们，最近手头几个项目都在调LLM API，从OpenAI、Claude到国产的DeepSeek、通义千问，基本都过了一遍。今天不整虚的，直接聊点干的。

**注册与鉴权**
别以为拿到API Key就完事了。OpenAI的速率限制（RPM/TPM）默认很低，生产环境一定要提前申请提额。Claude那边更坑，免费的API Key有并发上限，一不留神就429。建议用环境变量管理Key，别硬编码进代码里，GitHub泄露案例还少吗？

**接口调用与模型选择**
现在主流API都兼容OpenAI格式，但细节有差异。比如DeepSeek的流式响应需要自己处理chunk拼接，通义千问的Function Calling参数命名和OpenAI不同。建议用LangChain或自定义中间层做适配，别裸调。模型选型上，小任务用GPT-4o-mini或DeepSeek-V2-Lite，成本能压到GPT-4的1/10。

**性能与稳定性**
实测下来，国产模型延迟普遍比GPT-4高200-500ms，但胜在便宜。建议做请求重试+指数退避，缓存高频查询。另外注意token计费差异：有些模型按输入+输出计费，有些只计输出，别被账单唬住。

**安全性**
Message内容做敏感词过滤，用户输入别直接拼进System Prompt，小心Prompt注入。日志里别打API Key。

最后抛个问题：你们在实际项目中，遇到过哪些API接入的奇葩问题？比如某个模型突然返回乱码、计费异常之类的，评论区聊聊。

欢迎光临闲社 (https://www.xianshe.com/)