手把手教你本地跑LLM：从下载模型到API调用全攻略 🚀

兄弟们，今天聊点硬的——本地部署大模型（LLM）。别被“部署”吓到，其实就是把模型下载到你的电脑上，跑起来，然后通过API或命令行调戏它。为啥要本地？省钱、隐私、离线可用，懂的都懂。

**第一步：选模型**  
别盲目上7B、13B，先看显存。4G以下玩3B-7B（比如Qwen2.5-7B-Instruct），6G以上可以跑13B（Llama3-8B也香）。推荐HuggingFace或ModelScope下载GGUF格式，直接量化成int4，省显存不掉太多智商。

**第二步：跑起来**  
推荐用Ollama，一行命令搞定：`ollama run qwen2.5:7b`。或者用llama.cpp，编译后直接跑gguf模型。命令行模式够用，但想搞GUI就装个Open WebUI，像ChatGPT一样聊天。

**第三步：API调用**  
部署完别光看，写个Python脚本调API（Ollama自带`http://localhost:11434`），配合LangChain做RAG或者批量推理。代码就这几行：  
```python
import requests
response = requests.post('http://localhost:11434/api/generate', json={'model': 'qwen2.5:7b', 'prompt': 'Hello'})
print(response.text)
```

**踩坑提醒**：  
- 显存爆了？换更小模型或调低context长度（比如2048）。  
- 响应慢？开GPU加速（Ollama自动用CUDA，llama.cpp加`-ngl 999`）。  
- 中文乱码？检查模型是否支持中文，Qwen系稳如老狗。

**讨论一下**：  
你们本地部署后，主要用来干啥？是写代码、做翻译，还是搭私人知识库？留言聊聊你的实战案例或翻车经历，一起避坑！