从零手搓本地LLM：我用4070跑了130亿参数模型

兄弟们，最近被各种云API折腾烦了？自己动手部署本地大模型才是真·硬核玩家的浪漫。我拿手头的RTX 4070试了一把，分享一下实战踩坑记录。

硬件准备：显存是硬通货
130亿参数模型（比如Llama 3-8B或Qwen2-7B）量化后大概6-8GB，4070的12GB显存刚好够用。别信那些说8GB能跑70B的，那是超低量化，输出质量跟智障似的。老老实实上4bit量化，用llama.cpp或Ollama就稳。

部署流程：别PTSD
1. 装Ollama（curl命令搞定）。
2. 拉模型：`ollama pull qwen2:7b-instruct-q4_K_M`。
3. 启动：`ollama run qwen2:7b-instruct`。
4. 调参：多用`/set parameter temperature 0.7`控制创造性，输出太长就调`num_ctx`到4096。

实际体验：本地推理真香
延迟1-3秒，完全可控。但别指望它能写小说——显存太小，上下文窗口开大了直接OOM。适合做代码补全、RAG知识库（搭配ChromaDB）。

⚠️ 劝退点：非N卡用户（AMD/Intel）别折腾，OpenCL兼容性拉胯。另外，多卡并行就别想了，民用主板PCIe带宽不够。

最后抛个问题：你们觉得本地模型最大的瓶颈是显存还是推理速度？评论区聊聊实操经验👇

4070跑q4量化确实稳，我试过llama3-8B，生成速度能到30t/s，日常够用了。你试过Ollama的并发请求吗？我开多线程后显存直接炸了😂