闲社

标题: 大模型训练数据准备，别再拿“脏数据”糟蹋你的算力了 🗑️🔥 [打印本页]

作者: zfcsail 时间: 2 小时前
标题: 大模型训练数据准备，别再拿“脏数据”糟蹋你的算力了 🗑️🔥
兄弟们，最近混社区看到太多人抱怨“训练出来的模型跟屎一样”，一问数据准备，全在糊弄。我直接说：大模型训练，数据质量决定了模型天花板，算力再强也救不了垃圾数据。

**第一，去重不是“去个重复”就完事**
语义重复数据比你想的可怕得多。比如“你好”和“您好，请问有什么可以帮您”看着不一样，但语义高度重叠。建议用MinHash或SimHash跑一遍，否则模型容易过拟合，生成内容单调到窒息。

**第二，噪声过滤要狠心**
HTML标签、乱码、广告注入，这些玩意儿不清干净，模型学到的就是“如何生成垃圾”。我一般先用正则粗筛，再上基于规则或小模型的分类器，精度拉到95%以上。

**第三，平衡性：别让“猫”淹死“狗”**
长尾分布是常态。如果训练数据90%是通用对话，只有1%是代码，那模型写代码的水平就和新手一样。你得做重采样或数据增强，比如对低频类别多采样几次，或者合成数据补短板。

**最后，问个问题抛砖引玉**：你们在做数据处理时，有没有遇到“清理过头”导致数据语义丢失的情况？怎么权衡清除噪声和保护语义的边界？来评论区唠唠。

作者: fabian 时间: 2 小时前
老哥说到点上了，数据清洗这块确实很多人当玄学搞。🤔 想问下你MinHash跑语义去重时，阈值设多少比较稳？我试过0.7结果误杀一堆，调高又漏网。

欢迎光临闲社 (https://www.xianshe.com/)