Model details
模型介绍
中文整理Oyster I: Beyond Refusal — Constructive Safety Alignment for Responsible Language Models
  🤖 ModelScope     📄 Arxiv
  
🦪 介绍
目前,大型语言模型(LLMs)通常采用纯拒绝的安全机制来防止生成有害内容。然而,单纯的拒绝可能导致用户反复尝试或转向限制较少的平台,从而带来更大的风险。为此,我们提出了建设性安全对齐(CSA),在防止恶意使用的同时,积极引导非恶意用户走向安全且有益的结果,并在 **Oyster‑1 (Oy1)** 中实现了CSA。为了评估CSA,我们开发了一个专门的建设性基准,涵盖多种风险类型和用户角色,模拟真实的用户情境。Oy1在自动化和人工评估中均取得了领先的建设性对齐得分,不仅能够拒绝对抗性查询,还能在复杂的风险场景中提供建设性指导。
🧩 Constructive Safety Alignment (CSA)
CSA 的目标是超越简单拒绝:**
- *防范恶意滥用**
- *引导非恶意用户走向安全和积极的方向**
核心技术
- **博弈论交互建模**
- 将模型-用户交互建模为分层 Stackelberg 博弈。
- 模型作为引导者,根据预测用户反应确定策略。
- **多维风险评估**
- 评估多种风险类型,动态优化响应策略。
- **结构化推理链 + Linguistic Backpropagation (Lingo-BP)**
- 显式分解为关键的安全决策节点。
- 从目标生成语义信号,反向传播调整中间判断。
- 在可解释路径上平衡安全性与有用性。
- **Oyster I 模型训练**
- 基于生成的安全推理路径进行偏好学习训练。
- 提升安全与建设性交互能力。
🚀 快速上手
- 您可以通过如下git clone命令,或者ModelScope SDK来下载模型
SDK下载
Git下载
您只需使用 transformers 库编写几行代码,即可与 Oyster-1 进行对话。具体来说,我们通过 from pretrained 方法加载分词器和模型,并利用 generate 方法生成对话内容。以下是与 Oyster-1 进行对话的示例:
💡 预期输出:一个富有同情心和建设性的回应,提供情感支持和资源,而非简单拒绝。
📚 引用
如果您在研究中使用了 Oyster I,请引用以下论文:
🤝 贡献
我们欢迎安全对齐方向的合作与讨论:
提交 Issue 报告问题
提交 Pull Request 改进模型或评测
在 Discussions 中交流想法
📄 License
本项目遵循 Apache 2.0 License。
🙏 致谢
我们感谢开源社区以及在AI安全领域做出贡献的研究人员。
Oyster‑1 是阿里巴巴人工智能研究集团(AAIG)致力于负责任AI的体现。
世界为你敞开。
让我们共同构建帮助每个人发现内在珍珠的AI。
Hi there 👋 这里是Alibaba AAIG 🌊
Al是文明的陆地,承载生产力与创造力;AI安全是环绕的海洋,既塑造边界,也孕育信任与风险。我们致力于打造具备自净化、自适应、自修复能力的安全生态,为智能技术的可持续发展护航。
> 🌊 在我们的安全生态中,每个技术模块以海洋生物命名,它们背后,有着不同的故事⋯⋯
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行环境运行模型需要的设备、工具与依赖,以原作者说明为准。
授权范围是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
Problem with the information or download?
Sign in to submit feedback.