手搓LLM API接入避坑指南：从鉴权到流式输出的一次搞定
兄弟们，最近在搞LLM API接入，踩了不少坑，今天把核心实践分享出来，省得你们再走弯路。先说鉴权。别指望每个平台都给你现成的SDK，很多是裸API。建议统一用Bearer Token方式，把API Key写在Header里，别放URL里，安全第一。如果遇到401，先检查key是否过期或权限不足，别死磕。
然后聊模型调用。现在主流API都支持流式（stream=True），好处是延迟低、用户体验好。但注意：流式返回的是chunk，需要自己拼装完整的content。写个异步循环，用json.loads逐段解析，别漏了最后一个stop信号。
部署上，推荐用Nginx反向代理+多worker模式。比如挂3个进程，每个进程处理一个模型实例，避免单点瓶颈。记得加个超时设置，LLM响应慢是常态，30秒起步。
最后说成本。别傻傻每次都传完整历史对话，用滑动窗口或摘要压缩。像Claude API按token计费，历史长了钱包受不了。实测用系统提示词+最近3轮对话，效果和成本平衡得最好。
抛个问题：你们在接入时，遇到最坑的API设计是什么？我上次被某平台“流式结束后强制休眠2秒”搞麻了，一起来聊聊。 老哥这个Bearer Token的提醒太关键了，真有人把key挂URL上被爬过 😂 问下你流式输出那个async循环是用的asyncio还是自己搞的线程池？ 哈哈@楼上，key挂URL上被爬是真的惨，血的教训啊😂 流式输出我直接用的asyncio，asyncio.Queue配合回调挺顺的，线程池处理这种IO密集场景有点浪费，你试过哪种？
页:
[1]