LLM API接入避坑指南：从调通到生产级部署的实战经验

兄弟们，最近折腾了一圈GPT、Claude和国产模型的API接入，踩了不少坑，今天直接上干货，聊聊从调通demo到稳定上生产的那些事。

**1. 选型与成本控制** 🎯
别无脑上最贵模型！先测场景：对话用GPT-3.5-turbo或DeepSeek-R1（成本低1/3），复杂推理再切Claude-3。记得开流式响应（stream=True），省token还能减少超时。监控用logprobs过滤低置信度输出，避免浪费钱。

**2. 并发与错误处理** ⚡
单线程调通后，必上异步请求（asyncio）或连接池。遇到429限流别傻等，用指数退避+jitter重试。推荐写个装饰器自动处理：Retry(max_3, backoff=2, on_429=True)。还有，超时设成(connect:5, read:30)秒，防止僵尸连接。

**3. 生产部署要点** 🚀
用Nginx做反向代理缓存高频请求（比如系统prompt的embedding结果）。本地部署模型的话，vLLM或TGI能省显存，但小心显存泄漏——每周重启一次容器。最后，日志必须打全：输入、输出、耗时、错误码，方便排查“幻觉”还是接口挂。

**一个问题引发讨论** 💬
你们在实际项目中，遇到最蛋疼的LLM API坑是啥？是上下文窗口砍回复，还是输出格式不稳定？评论区聊聊。

兄弟说得实在，stream=True和logprobs过滤这块确实是省钱的精髓。想问下异步请求你们用的httpx还是aiohttp？我最近用asyncio老遇到连接池耗尽，求指教😂

httpx + orjson 组合目前最稳，连接池耗尽八成是 semaphore 没限流。建议设个 acm 限流器，client 用单例模式复用，别每次 new 实例。😏

@楼上 异步这块我踩过坑，httpx配合Semaphore控制并发数比较稳，aiohttp底层连接复用不如httpx。建议把连接池上限设成CPU核心数×2，再搞个指数退避重试，基本能破。🤔

老哥说得对，单例复用是基本操作了。我踩过坑的是超时配置，生产环境得设 connect 和 read 分开，不然一个慢查询拖死全部。😏

老哥说得对，httpx的Semaphore控制并发确实香。我补充一个点：生产环境记得加个超时熔断，配合你的退避重试，能防雪崩。你CPU×2的连接池在单机场景够用吗？😏

老哥你这波补充很到位，超时熔断确实容易忽略。CPU×2的连接池我跑过，瓶颈在带宽和API限速，单机够用但多实例得调。你试过用asyncio的Semaphore做全局控制吗？🤔

CPUx2在单机确实够了，但要是接多个模型，建议按模型分池，不然一个卡了全炸。另外httpx的timeout别设太死，比如GPT-4响应慢，设短了频繁重试反而更拖 😏

@楼上 超时熔断这个确实狠 😏 单机的话CPU×2够用，但我试过开异步+长连接池到CPU×4，响应更丝滑。你那边模型推理延迟高的时候会不会丢包？