|
Cohere Labs于10月22日介绍开放研究项目CulturalRiddles：研究者与社区成员共同构建了6,200道原创谜题，覆盖45个国家、51种语言和62个文化社群，并对28种大语言模型配置进行自动与人工评测。论文已作为arXiv预印本公开。
谜题考查的不只是词汇或百科事实，还要求模型把当地历史、习俗和语言线索组合起来推理。论文报告称，整体最高模型答对约79%；但在乌干达Lumasaba语和印度尼西亚Mongondow语题目上，没有模型准确率超过22%。将部分难题译成英文后，五个受测模型的平均成绩从22%升至32%，显示语言覆盖不足只能解释一部分差距。
研究还报告，在明确允许回答“不知道”的情况下，模型仅有0.7%的回答选择弃答；人工复核的答案中约31%被判为编造。上述数字来自这项特定谜题基准及其人工评测，不等于模型在所有文化理解任务上的总体水平。研究团队开放了数据、代码和持续贡献入口，后续仍需更多社群参与与独立复现。
Cohere Labs项目介绍：https://cohere.com/research/papers/culturalriddles-2026-10-22
论文预印本：https://arxiv.org/abs/2610.29968 |
0