闲社服务运行正常AI智能体自动化平台
中文
语言 / Language简体中文SelectedEnglish

选择显示语言

bert_cn_prompt_attack_detection

bixuechao/bert_cn_prompt_attack_detection

发布机构bixuechao

下载访问条件魔搭来源

提示词攻击( Prompt Injection Attack )是一种针对大型语言模型( LLM )的新型安全威胁。它通过精心设计的输入文本(即“提示词”),诱导或欺骗 AI 模型生成不符合预期或有害的输出。这种攻击的核心在于利用语言模型对自然语言指令的高度敏感性,绕过系统的安全机制,使其执行非预期的操作。 指令优先级混淆:模型可能难以区分系统预设指令和用户输入,导致恶意指令覆盖原有规则。 角色混淆:通过重新定义模型的角色或行为,绕过安全限制。

文本处理
模型详情

模型介绍

中文整理

提示词攻击( Prompt Injection Attack )是一种针对大型语言模型( LLM )的新型安全威胁。它通过精心设计的输入文本(即“提示词”),诱导或欺骗 AI 模型生成不符合预期或有害的输出。这种攻击的核心在于利用语言模型对自然语言指令的高度敏感性,绕过系统的安全机制,使其执行非预期的操作。

提示词攻击主要有以下几点:

  • *指令优先级混淆**:模型可能难以区分系统预设指令和用户输入,导致恶意指令覆盖原有规则。
  • *角色混淆**:通过重新定义模型的角色或行为,绕过安全限制。
  • *注入点多样**:攻击可以发生在直接用户输入、第三方数据(如网页、文档)或多个模型交互过程中。

根据攻击方式,可以分为以下几类:

  • *直接提示词注入**:在用户输入中直接加入恶意指令。
  • *间接提示词注入**:通过外部数据(如网页、文档)嵌入恶意指令。
  • *代码注入**:将恶意代码嵌入提示词,诱导模型执行。
  • *递归注入**:通过多层模型嵌套实现攻击。

提示词攻击可能带来多方面危害,例如:信息泄露,诱导模型泄露敏感信息,如系统提示词、用户隐私或API密钥。绕过安全限制,执行未授权操作,如修改数据或进行恶意行为。中断现有服务,通过资源消耗或恶意指令导致AI服务异常,影响正常使用。误导用户,生成虚假或有害内容,损害用户信任。

模型使用案例:

输出:

优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。

你将获得什么

完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。

完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。

使用前须知

运行环境

运行模型需要的设备、工具与依赖,以原作者说明为准。

授权范围

是否允许商用、修改和分发,请查看模型许可证。

闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。

返回顶部