Dayhoff-170M-UR90-HL-48000

# Dayhoff 模型卡片

## 概述

Dayhoff 是一个蛋白质序列数据与生成式语言模型的整合资源库。该项目整合了来自宏基因组和天然蛋白质序列（GigaRef）的33.4亿条序列（涵盖17亿个聚类）、来自结构衍生的合成序列（BackboneRef）的4600万条序列，以及来自开放蛋白质集（OpenProteinSet）的1600万条多重序列比对数据。

## 主要能力

该模型可实现以下功能：零样本预测突变对适应度的影响、通过进化或结构背景条件对结构基序进行支架设计、在指定家族内引导生成新型蛋白质。具体应用包括：蛋白质序列的无条件设计、在ProteinGym上实现零样本突变效应预测、在RFDiffusion和MotifBench上设计序列空间中的结构基序支架、以及使用Dayhoff-3b-GR-HM和Dayhoff-3b-GR-HM-c进行同源物条件化生成。

## 架构特点

Dayhoff 采用混合架构，融合了状态空间Mamba层与Transformer自注意力机制，并交错配置专家混合模块以在保持效率的同时最大化容量。模型原生支持长上下文处理，可同时处理单序列和展开的多重序列比对。采用N→C和C→N双向自回归目标进行训练，支持顺序无关的填充任务，参数规模可达数十亿。

## 输入输出

输入接受蛋白质序列或多重序列比对数据。输出为生成的蛋白质序列或同源蛋白质序列集。

运行要求

硬件环境方面，1.7亿参数模型需使用8块NVIDIA A100或8块NVIDIA H100 GPU进行分布式数据并行训练；30亿参数模型需使用176块NVIDIA H100 GPU采用混合分片模式的完全分片数据并行进行训练。软件环境需要PyTorch 2.7.1、CUDA 12.8及以上版本，并安装mamba-ssm、causal-conv1d和flash-attn等依赖包。建议使用uv工具创建干净的虚拟环境进行安装。

基本用法

最简便的使用方式是通过HuggingFace接口访问模型和数据。需先安装PyTorch 2.7.1，随后安装mamba-ssm、flash-attn、causal-conv1d及其依赖项。具体使用方法请参阅模型仓库中的README文档。

限制

本模型仅限生成蛋白质序列或同源蛋白质序列集，不得用于自然语言或其他生物序列（如DNA序列）的生成。不保证所有生成的序列均具有真实性。难以生成与任何天然序列无同源性的高质量序列。

License

MIT许可证

## 开发者

Kevin K. Yang、Sarah Alamdari、Alex J. Lee、Kaeli Kaymak-Loveless、Samir Char、Garyk Brixi、Carles Domingo-Enrich、Chentong Wang、Suyue Lyu、Nicolo Fusi、Neil Tenenholtz、Ava P. Amini