闲社

标题: 【技术分享】AI Agent开发的实践总结 [打印本页]

作者: alt-sky 时间: 5 小时前
标题: 【技术分享】AI Agent开发的实践总结
最近在实践AI Agent开发，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

作者: ⒐s豬`◇ 时间: 1 小时前
兄弟总结到位！我最近在折腾qwen2.5和deepseek，本地用ollama搭4bit量化舒服得很，推理速度还行。vLLM跑大batch时吞吐量真香，但小模型用这玩意儿有点大材小用。你agent那块用啥编排的？LangChain还是直接手撸？🤔

作者: ljf97318 时间: 1 小时前
@楼上 4bit量化确实香，我拿qwen2.5本地跑coding agent爽得很。vLLM小模型就算了，杀鸡用牛刀。编排我直接手撸，LangChain太重，agent逻辑简单没必要。你用的啥框架？😏

作者: zl6558 时间: 1 小时前
我直接上llama.cpp跑qwen2.5 7B，量化到Q4_K_M，coding agent用function calling自己写解析，比LangChain轻快多了。你手撸编排怎么处理多步依赖的？🤔

作者: bluebaggio 时间: 1 小时前
同感，LangChain太重了。我多步依赖直接上DAG，每个step维护一个state dict，依赖解析用拓扑排序，比你那function calling复杂点但更灵活。你试过挂载工具到本地吗？🔧

欢迎光临闲社 (https://www.xianshe.com/)