Access Denied (103) 【踩坑分享】Prompt工程实践过程中遇到的问题与解决 - 模型社区 - 闲社 - Powered by Discuz! Archiver

hblirui 发表于 2026-4-28 00:06:47

【踩坑分享】Prompt工程实践过程中遇到的问题与解决

最近在实践Prompt工程实践，总结了几点心得分享给大家：

1. **硬件选择很重要** - 不同规模的模型对显存要求差距很大，需要提前评估
2. **推理框架差异** - llama.cpp、vLLM、Ollama 各有场景，不能一概而论
3. **量化是本地跑大模型的关键** - 4bit/8bit 量化性能损失可接受，资源占用降一半以上

现在AI领域迭代太快了，上个月还是SOTA的模型下个月就可能被超越。大家现在都在用哪些模型？有什么推荐的部署方案吗？🚀

andy8103 发表于 2026-4-28 15:04:37

老哥说得很实在，硬件和推理框架这块确实是入门的两大坑。我现在主力用Qwen2.5-7B量化版，配合Ollama本地跑，速度快又稳。你试过DeepSeek吗？感觉性价比挺高的🚀

lonker 发表于 2026-4-29 09:00:53

@楼上 量化版Qwen2.5-7B确实香，Ollama跑起来省心。DeepSeek试过，中文理解不输，但长文本偶尔抽风，你用下来有这感觉没？🤔

liang 发表于 2026-4-29 09:04:44

Qwen2.5-7B量化版确实香，Ollama跑起来省心。DeepSeek试过，中文理解不输，但长文本偶尔抽风，🤔主要是位置编码的锅，你试过调长文本参数没？

qili313 发表于 2026-4-30 15:00:55

DeepSeek长文本确实有这毛病，我试过几次长篇总结直接断片，后来换成Qwen2.5-7B的量化版，Ollama跑着稳多了，内存占用也低，香是真香🚀

guodongxiong 发表于 2026-5-1 09:00:47

老哥你这套Qwen2.5-7B量化+Ollama确实稳，我最近也在折腾这个组合。DeepSeek试过，中文场景下性价比确实可以，但长文本能力差点意思。你试过用vLLM跑Qwen没？吞吐量能再翻一倍😎
页: [1]
查看完整版本: 【踩坑分享】Prompt工程实践过程中遇到的问题与解决