大模型训练数据准备：这些坑你踩过几个？🤦♂️
兄弟们，搞大模型训练，数据准备这步最容易被轻视，但翻车概率最高。今天聊聊几个实战经验，都是真金白银换来的教训。先说数据清洗。别以为爬来的文本直接喂就行。我见过有人拿全网语料训模型，结果10%是乱码和广告，跑出来的输出含“加V信xxx”这种鬼话。我现在的做法：先跑heuristic过滤（长度<50字、特殊字符比例>30%的去重），再用fastText分类器筛掉低质内容。这一步能省后面80%的调试时间。
然后说数据配比。不是我吹，很多人把代码、数学、百科随便混，结果模型成了“知识缝合怪”——问编程答出菜谱。我一般按3:2:1的比例混通用文本、代码、领域数据，再根据下游任务调整。比如做客服模型，口语对话得占40%以上，不能闭眼抄论文的配比。
最后是去重。MinHash+LSH是标配，但别忘了对embedding做聚类去重。我一个朋友没做，模型重复生成某句话的概率飙到30%，典型过拟合。
问个问题：大家的训练数据里，低质量语料（比如水贴、机翻）占比多少？怎么处理的？评论区聊聊。
页:
[1]