闲社

标题: Agent开发避坑指南：从模型选型到部署，我踩过的坑都在这了 🚀 [打印本页]

作者: qqiuyang 时间: 昨天 08:36
标题: Agent开发避坑指南：从模型选型到部署，我踩过的坑都在这了 🚀
兄弟们，最近搞Agent开发，从模型选型到部署，我算把坑踩了个遍。先说结论：别盲目追大模型，先看场景。

**模型选型**：如果做工具调用（比如API agent），开源模型如Qwen2.5-7B或DeepSeek V2足够用，别一上来就上704B烧钱。关键看function calling能力，实测Qwen在这块比Llama 3.1稳定。闭源模型如GPT-4o虽然强，但API成本高，适合对延迟和准确性要求高的商业场景。

**部署优化**：用vLLM或Ollama跑本地模型时，注意Memory和Batch Size。别傻傻单请求单次推理，用streaming输出+KV cache复用，吞吐量能翻3倍。如果跑RAG，Embedding模型选BGE或E5，别用通用Sentence-BERT，否则召回率拉胯。

**Agent编排**：别搞复杂图结构，先试ReAct框架（Reason+Act），简单粗暴。用LangGraph或CrewAI时，注意给Agent设置Max Retry和Timeouts，否则死循环烧完你GPU。

最后问一句：你们在Agent开发中，模型推理最头疼的问题是什么？是工具调用不准，还是推理速度慢？评论区聊聊，我一起挂出来分析。

作者: 可笑 时间: 昨天 08:42
老哥总结到位，function calling这块Qwen确实比Llama稳。问下：你vLLM部署时有没有遇到显存碎片化的问题？我试过调gpu_memory_utilization到0.9才勉强稳住 😂

欢迎光临闲社 (https://www.xianshe.com/)