laya

# Laya 模型卡片

模型用途

Laya 是一款多语言非自回归 System 1 决策模型。给定一个状态（文本、邮件、工单或 JSON）和带类型的问题，它能在单次前向传播中返回带数学校准概率的答案，延迟约 33 毫秒，支持 100 多种语言。模型通过针对严格 proper scoring rules 的强化学习（RLCD）训练，因此报告真实概率是获得最高奖励的唯一途径。该模型从不生成文本，无需解析，也不会产生幻觉。

## 主要能力

• **多语言支持**：支持 100 多种语言，Router 能自动检测脚本和语言
• **长文档处理**：laya-multilingual 最多可读取 8,192 个 token
• **概率校准**：返回数学校准的概率值
• **自动路由**：内置 Router 自动选择最优检查点
• **可微调**：支持针对特定领域进行微调以提升准确率

## 输入输出

• *输入**：状态对象（文本、邮件、工单或 JSON 格式）+ 带类型的问题

• *输出**：带概率的typed answers（类型化答案）

运行要求

• Python 3.10 或更高版本
• 可选依赖：laya[serve]（HTTP 服务器）、laya[mcp]（MCP 服务器）、laya[langchain]（LangChain 和 LangGraph）、laya[onnx]（ONNX Runtime）、laya[fast]（TileLang GPU 快速路径）
• 平台-specific 安装说明见 GitHub README

基本用法

安装命令：

```

pip install "laya[serve]"

```

启动服务：

```

LAYA DEVICE=cuda LAYA PRELOAD=1 laya-serve

```

API 调用示例：向 /v1/systemone 端点发送 POST 请求，传入 state 和 questions 参数。

限制

• **过度自信**：模型存在过度自信问题。在同一问题类型和选项数量下重新拟合温度参数可将平均 ECE 从 0.466 降至 0.081（laya）和从 0.314 降至 0.106（laya-multilingual）。建议在使用概率前自行在数据上进行校准。
• **action.act 概率无有效信号**：该概率对几乎所有输入都返回 1.0，其原始 logits 与正确性的相关性很低（AUROC 0.30）。建议使用置信度而非该概率进行筛选。
• **英语检查点仅支持英语**：根目录的英语检查点在非拉丁文字脚本上表现极差（如高棉语准确率为 0.000 但置信度高达 0.952）。英语之外请使用 laya-multilingual。

许可证

Apache 2.0