模型介绍
中文整理# Dayhoff 模型卡片
## 概述
Dayhoff 是一个蛋白质序列数据与生成式语言模型的整合资源库。该项目整合了来自宏基因组和天然蛋白质序列(GigaRef)的33.4亿条序列(涵盖17亿个聚类)、来自结构衍生的合成序列(BackboneRef)的4600万条序列,以及来自开放蛋白质集(OpenProteinSet)的1600万条多重序列比对数据。
## 主要能力
该模型可实现以下功能:零样本预测突变对适应度的影响、通过进化或结构背景条件对结构基序进行支架设计、在指定家族内引导生成新型蛋白质。具体应用包括:蛋白质序列的无条件设计、在ProteinGym上实现零样本突变效应预测、在RFDiffusion和MotifBench上设计序列空间中的结构基序支架、以及使用Dayhoff-3b-GR-HM和Dayhoff-3b-GR-HM-c进行同源物条件化生成。
## 架构特点
Dayhoff 采用混合架构,融合了状态空间Mamba层与Transformer自注意力机制,并交错配置专家混合模块以在保持效率的同时最大化容量。模型原生支持长上下文处理,可同时处理单序列和展开的多重序列比对。采用N→C和C→N双向自回归目标进行训练,支持顺序无关的填充任务,参数规模可达数十亿。
## 输入输出
输入接受蛋白质序列或多重序列比对数据。输出为生成的蛋白质序列或同源蛋白质序列集。
运行要求
硬件环境方面,1.7亿参数模型需使用8块NVIDIA A100或8块NVIDIA H100 GPU进行分布式数据并行训练;30亿参数模型需使用176块NVIDIA H100 GPU采用混合分片模式的完全分片数据并行进行训练。软件环境需要PyTorch 2.7.1、CUDA 12.8及以上版本,并安装mamba-ssm、causal-conv1d和flash-attn等依赖包。建议使用uv工具创建干净的虚拟环境进行安装。
基本用法
最简便的使用方式是通过HuggingFace接口访问模型和数据。需先安装PyTorch 2.7.1,随后安装mamba-ssm、flash-attn、causal-conv1d及其依赖项。具体使用方法请参阅模型仓库中的README文档。
限制
本模型仅限生成蛋白质序列或同源蛋白质序列集,不得用于自然语言或其他生物序列(如DNA序列)的生成。不保证所有生成的序列均具有真实性。难以生成与任何天然序列无同源性的高质量序列。
许可证
MIT许可证
## 开发者
Kevin K. Yang、Sarah Alamdari、Alex J. Lee、Kaeli Kaymak-Loveless、Samir Char、Garyk Brixi、Carles Domingo-Enrich、Chentong Wang、Suyue Lyu、Nicolo Fusi、Neil Tenenholtz、Ava P. Amini
优先采用原作者提供的中文模型卡片;仅有英文说明时由闲社AI翻译整理。重要参数、许可证和商用范围请以原文为准。
你将获得什么
完整仓库方式包含该固定版本中的权重、配置、分词器及说明文件;指定版本方式只下载所选文件或整组分片。多模态模型的投影文件、配置等依赖,请按作者说明配齐。
完整仓库可能包含多个权重格式,因此需要的磁盘空间可能大于单一格式的模型大小。下载文件不等于完成模型部署。
使用前须知
运行模型需要的设备、工具与依赖,以原作者说明为准。
是否允许商用、修改和分发,请查看模型许可证。
闲社提供资料与镜像下载方法,不代表已运行模型或完成安全审计。下载的代码应先检查,再执行。
资料或下载有问题?
登录后可提交反馈。
