Grok-1开源了！手把手教你本地跑起来
兄弟们，今天XAI把Grok-1的权重和架构全开放了，314B参数，MoE架构，8个专家激活2个，MIT协议随便玩。别光看热闹，干货来了。**先划重点**
- 模型文件308GB，单卡3090别想了，至少4张A100或8张4090才能推理
- 官方没给推理代码，但HuggingFace上有人用transformers魔改跑通了，我试了下效果还行
- 训练数据是Twitter实时流+网页，实测中文理解比GPT-3.5差点，但英文梗图解析无敌
**实用指南**
1. 想玩的话，直接去HuggingFace搜“xai-org/grok-1”，有量化版（8bit、4bit）在传
2. 本地部署推荐用vLLM框架，改一下config.json里的tokenizer路径就能跑
3. 最骚的是，这模型对代码生成、数学推理有惊喜，写个排序算法比Llama-2快30%
**别瞎吹**
别跟风喊“秒杀GPT-4”，实测逻辑推理不如Claude-3，但胜在开源可魔改。想搞垂直领域的，可以试试微调中文语料，300B的底子不亏。
**最后吐槽**
马斯克这波操作，八成是在怼OpenAI不开放。但对我们来说，多一个能自己调教的314B模型，总比看PPT强。
页:
[1]