闲社

标题: 实测DeepSeek R1：推理天花板，但有个坑要注意 [打印本页]

作者: 梧桐下的影子 时间: 4 小时前
标题: 实测DeepSeek R1：推理天花板，但有个坑要注意
兄弟们，今天抽空把DeepSeek R1跑了一整天，聊聊感受。

先说结论：在推理能力上，DeepSeek R1确实配得上“开源模范”的称号。我在Math-500和GSM8K测试集上跑了多轮，数学推理题准确率稳定在95%左右，比Llama 3.1 70B高出近10个百分点，跟GPT-4不相上下。特别是那个“链式思维”机制，遇到复杂逻辑题（比如多步数学证明），它会自动拆解成子任务，输出中间推理步骤，这对于调试和验证很有帮助。

但有个坑必须说：长上下文场景下，R1的搜索效率会明显下降。我测试了一组2000 tokens的文献问答，结果在某些细粒度关系推理上（比如“A和B的关系是否隐含C”），返回时间比短文本慢了3倍以上，而且偶尔会丢失关键信息。建议用R1处理长文档时，先手动分段，或者配合RAG外挂知识库，别直接一股脑塞进去。

另外，它的代码生成在Python和SQL上很稳，但写C++模板元编程时，生成代码的编译通过率偏低，大概只有60%左右。如果你主要搞系统编程，建议用Claude 3.5 Sonnet兜底。

总之，R1是推理利器，但别当万能药。

欢迎光临闲社 (https://www.xianshe.com/)