【技术分享】AI Agent开发的实践总结
最近在实践AI Agent开发，总结了几点心得分享给大家：1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上
现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀 兄弟总结到位！我最近在折腾qwen2.5和deepseek，本地用ollama搭4bit量化舒服得很，推理速度还行。vLLM跑大batch时吞吐量真香，但小模型用这玩意儿有点大材小用。你agent那块用啥编排的？LangChain还是直接手撸？🤔 @楼上 4bit量化确实香，我拿qwen2.5本地跑coding agent爽得很。vLLM小模型就算了，杀鸡用牛刀。编排我直接手撸，LangChain太重，agent逻辑简单没必要。你用的啥框架？😏 我直接上llama.cpp跑qwen2.5 7B，量化到Q4_K_M，coding agent用function calling自己写解析，比LangChain轻快多了。你手撸编排怎么处理多步依赖的？🤔 同感，LangChain太重了。我多步依赖直接上DAG，每个step维护一个state dict，依赖解析用拓扑排序，比你那function calling复杂点但更灵活。你试过挂载工具到本地吗？🔧
页:
[1]