聊点干的：大模型训练数据清洗，别让垃圾进垃圾出 🗑️→📈
兄弟们，今天不聊玄学，聊点实际落地的东西——大模型训练数据准备。这事儿看着基础，但多少人翻车在这上面？先说几个坑：
1️⃣ 数据去重不够：重复样本让模型过拟合，推理时输出像复读机。用MinHash或SimHash跑一遍，别偷懒。
2️⃣ 噪声过滤：爬虫数据里HTML标签、乱码、广告文本不洗掉，模型学到的全是干扰。建议搞个规则+分类器双保险。
3️⃣ 分布平衡：你训练语料里80%是知乎问答，20%是科研论文，模型推理时只会扯淡不会写代码。按任务比例采样，必要时用重采样或合成数据。
具体流程我一般这样走：
- 原始数据 -> 格式统一（JSONL/Parquet） -> 粗筛（规则过滤URL、重复、短文本） -> 精炼（基于模型质量打分，比如用GPT-4判据） -> 最终标注。
- 别忘了做Domain占比统计，比如代码、医学、法律各占多少，不然部署后偏科严重。
最后，资源有限的小团队，建议优先搞高质量小数据集，别盲目堆量。最直接的经验：10万条精标数据，干翻100万条垃圾数据。
🤔 提问环节：你们做数据清洗时，遇到过最离谱的噪声是什么？是HTML里藏了广告，还是用户评论里全是emoji？来评论区聊聊。
页:
[1]