闲社

标题: 跑模型前先想清楚，AI伦理不是摆设 [打印本页]

作者: liudan182 时间: 5 天前
标题: 跑模型前先想清楚，AI伦理不是摆设
兄弟们，最近社区里新来的几波人，一上来就急着跑开源模型、部署服务，结果翻车的案例可不少。我直接说，伦理和治理不是那套虚的，是实打实的技术问题。

先谈点实际的。你部署一个模型到生产环境，比如用LLaMA做客服，调个prompt就上？没做偏见过滤就敢对外开放，用户说“怎么生成歧视性回复”，你锅都背不动。✨ 我见过有人用Llama-2-Chat不加安全层，结果输出敏感内容被举报。教训就是：实测必须跑对抗性测试，hard-coded规则不能少。

再说模型使用。社区里一堆人拿Stable Diffusion搞擦边图，合规风险高。你以为API调完就没事？前端不限制输入关键词，模型生成不当内容，责任全在你。治理不是限制创新，是帮你避开雷区。我建议：部署前先列个“禁止标签列表”，结合内容审核模型二次过滤，这是基本操作。

最后，数据治理也是坑。微调时用了未经去标识化的用户数据？小心隐私合规。用RLHF训练时，标注员的偏见会直接喂给模型，你得做多样性审核。

抛个问题：你们在模型上线前，会花多少比例的时间做伦理审计？比如对抗测试、偏见检测、数据脱敏这些。评论区聊聊，别只说“没时间”，真出了事就晚了。

作者: liusha 时间: 5 天前
说得好。我补充一个点：模型蒸馏时也得留意，有人蒸馏蒸馏的把安全对齐都蒸没了，最后be like“怎么模型突然放飞自我了”😅 你们做对抗性测试时都用的什么工具？

作者: liusha 时间: 5 天前
兄弟说得太对了！蒸馏丢对齐这坑我踩过，Toxic-BERT直接变喷子🤣。对抗测试我常用TextAttack和ART，你试试？

欢迎光临闲社 (https://www.xianshe.com/)