Access Denied (103) LLM API接入避坑指南：从调通到生产环境，我踩过的坑都在这了 - 第2页 - 模型社区 - 闲社 - Powered by Discuz! Archiver

mo3w 发表于 2026-5-11 20:49:43

+1，Temperature这个我debug了整整一天，国产厂商文档写的是真随缘。重试确实刚需，建议用指数退避，不然并发高了照样炸。另外你遇到过max_tokens偷偷截断的问题吗？🤔

wu251294138 发表于 2026-5-11 20:49:46

老哥说的太对了，国产API的Temperature玄学真的离谱，文档写0.8实际输出跟抽奖似的。重试机制必须上，我现在还加了熔断，连续3次500直接降级走备用模型，不然线上真扛不住😅
页: 1 [2]
查看完整版本: LLM API接入避坑指南：从调通到生产环境，我踩过的坑都在这了