大模型训练数据准备：别让脏数据毁了你的千卡集群🔥

兄弟们，今天聊聊大模型训练里最容易被忽视但最致命的环节——数据准备。别以为搞个千卡集群、堆点算力就能跑出好模型，数据不行，一切都是白搭。

先说几个常见坑：
1.  **去重不能少**：重复数据会让模型学成复读机，损失函数看似降了，实际泛化能力稀烂。我见过有人拿Common Crawl直接训，结果模型输出全是广告文案，笑死。
2.  **质量过滤要狠**：乱码、HTML标签、无意义符号（比如“@@@@”），统统干掉。建议用fastText或基于规则先筛一遍，别指望模型自己学会过滤，那是事后补锅。
3.  **分布对齐**：预训练数据要和下游任务分布匹配。比如你训代码模型，结果喂了一堆微博段子，那逻辑推理能力能强才怪。搞个分类器做domain filter，实用。

还有，数据配比也很关键。别一股脑全塞进去，英文、代码、多语言按需求调比例。比如，想提升推理能力，代码数据占比可以提到15%以上，亲测有效。

最后，数据清洗的pipeline要可复现。用DVC或W&B记录版本，别等训到一半发现数据有bug，那真得哭。

**提问环节**：你们在做数据清洗时，踩过最离谱的坑是啥？比如发现训练集里混入了整本《哈利波特》？😏