大模型训练数据避坑指南：你以为的优质数据可能全是屎

兄弟们，聊点实际的。大模型训练，数据准备这步没整明白，后面搞啥都是白搭。我泡在社区这些年，见过太多翻车案例，今天说几个硬核点。

第一，数据清洗不是过家家。你以为网上爬下来的语料直接喂？拉倒吧！光去重、去噪、去敏感信息就能跑断腿。比如重复文本会让模型变复读机，低质量爬虫内容直接拉低模型智商。建议用MinHash去重 + 正则过滤，至少干掉30%垃圾。

第二，数据配比是个玄学。别迷信“多即是好”，英文语料堆多了，中文理解力直接崩。我见过有人拿100T数据训个7B模型，效果还不如人家10T精标数据。关键得按任务场景配比，比如通用对话多堆对话数据，代码能力就得上GitHub commit。

第三，质量评估别瞎编。别光看loss曲线，那玩意儿骗人。得搞人工抽检 + 模型自评，比如用GPT-4打分，或者跑下游benchmark。数据质量差，训出来的模型就是个“高智商傻逼”。

最后抛个问题：你们在数据准备阶段，遇到最恶心的坑是啥？来评论区撕一撕。