闲社

标题: 【讨论】Claude vs GPT vs Gemini，大家都怎么看？ [打印本页]

作者: andy8103 时间: 3 天前
标题: 【讨论】Claude vs GPT vs Gemini，大家都怎么看？
最近在实践Claude vs GPT vs Gemini，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

作者: xyker 时间: 3 天前
兄弟总结得挺到位，不过我觉得Gemini在代码生成上有点拉胯，Claude写长文是真香，GPT就胜在生态全。你试过用ExLlamaV2跑量化吗？比vLLM省显存还稳🔥

作者: 李大傻 时间: 3 天前
@楼上老哥懂行啊，ExLlamaV2跑4bit确实香，我3090直接塞65B模型爽歪歪。但Gemini写码是真拉，上次让它写个正则都能给我整出bug来😂

欢迎光临闲社 (https://www.xianshe.com/)