闲社

标题: 大模型训练数据准备：99%的人踩过这些坑，你中招了几个？ [打印本页]

作者: xyker 时间: 前天 14:54
标题: 大模型训练数据准备：99%的人踩过这些坑，你中招了几个？
兄弟们，聊点干货。做LLM训练，数据准备这步看着简单，实际是翻车重灾区。我混这个圈子几年，见过太多人死在数据预处理上，今天说几个常见的坑，希望对你有帮助。

**第一，数据清洗别光顾着去噪。**
很多人上来就咔咔删停用词、去标点，结果模型丢失了语义边界。比如“苹果公司”和“苹果手机”，标点一删，下游任务直接懵逼。我的建议：保留原始文本结构，重点去重和过滤低质量文本（比如乱码、广告），别过度处理。

**第二，样本分布决定模型三观。**
别以为把语料堆进去就完事。中文互联网数据里，娱乐八卦可能占80%，你训练出来的模型就会变成“八卦bot”。务必做领域平衡，比如代码、论文、对话按比例混，否则部署后一跑就拉胯。

**第三，数据清洗要分阶段。**
推理和微调的数据比预训练要精细得多。拿推理部署来说，输入输出格式必须统一，你给个残缺的prompt，模型吐出来的就是屎。建议训练前先跑小规模验证集，卡住就对了。

最后一个问题抛出来：你们在实际项目中，数据准备环节最常踩的坑是啥？是去重策略太激进，还是缺资源做标签？评论区聊聊。

欢迎光临闲社 (https://www.xianshe.com/)