|
NVIDIA与印度理工学院马德拉斯分校（IIT Madras）的AI4Bharat团队于2026年10月16日公布一项印度语大模型预训练资源与数据生成流程。项目名为 Nemotron-pretraining-Indic-v1，语料规模约2.8万亿Token，覆盖印度宪法列出的22种语言：22种均提供本土文字数据，其中12种另有罗马字转写，共34种语言—文字配置。
这不等于2.8万亿个互不重复的原始文档，也不是模型训练预算：统计包含同一来源材料的翻译和文字变体。配套开放流程以英文来源文档为起点，进行文档级翻译、质量评估、低分样本修复，并保留来源标识；开发者可检查语料、调整提示词和质检流程，或替换为自己的来源材料。
实际价值在于为印度语模型预训练和多语种数据工程提供更大规模、可复用的起点。NVIDIA与AI4Bharat还报告，Nemotron 3.5 Super VL的一段继续预训练中使用了该语料的部分数据；五项印度语基准在这一阶段提高约4.98至9.82个百分点，但该比较混合了合成语料与自然文本，不能单独归因于这套语料。
使用边界也很重要：语料主要由英文材料翻译生成，不能替代本土原创文本，也不保证覆盖当地知识与文化；自动评估辅以抽样人工检查，作者特别指出部分语言仍需要更广泛的母语者验证。用于生产训练前，应先核对数据集卡、许可、来源和目标语言质量。
官方原文（NVIDIA与AI4Bharat）：https://huggingface.co/blog/nvidia/scaling-indic-pretraining |
0