|
OpenAI于10月19日发布一组面向低资源编程语言的编码评测,关注模型在COBOL、Fortran、Visual Basic等代码与文档相对稀缺语言中的表现。
其自建的MultiLangBench要求模型用20种语言从头实现兼容SQLite的数据库引擎。OpenAI称,GPT‑6 Astra在该测试上的平均通过率为87.4%,GPT‑5.6 Sol为26.8%;GPT‑6 Luna为40.3%,并称其估算API成本比GPT‑5.6 Sol低约78%。另一项COBOL迁移评测中,OpenAI报告GPT‑6.1 Sol在低推理档准确率为86.6%,高推理档为97.9%。
这些数字来自OpenAI公布的内部评测,不能直接等同于真实企业代码迁移的成功率。文章也提醒,生产迁移仍需专家审查,并以业务规则和依赖系统做测试。OpenAI同时公开了MultiLangBench的评测设置与测试套件,供开发者检查测试方法和结果。
来源:OpenAI,2026-10-19
https://openai.com/index/low-resource-programming-languages/ |
0