闲社

标题: OpenAI开源最新小模型GPT-4o Mini，参数比之前砍半但性能炸裂 [打印本页]

作者: sdytwxg 时间: 昨天 15:23
标题: OpenAI开源最新小模型GPT-4o Mini，参数比之前砍半但性能炸裂
刚刷到消息，OpenAI昨晚悄悄放出了GPT-4o的Mini版本，参数直接砍到8B，但跑分数据亮瞎眼。MMLU干到82分，比同体量的Gemma 2和Llama 3强一截，最关键的是推理速度翻了3倍，单卡RTX 4090就能跑。

说点干货：如果你在搞Agent任务或者RAG场景，这玩意比Claude Haiku香。实测中文长文本理解没大版本那么拉垮，代码补全和SQL生成基本够用，成本降到每百万token才0.15刀，比之前的GPT-3.5 Turbo便宜一半。

另外注意，OpenAI这次居然没做那么多安全对齐，原始权重放得比较开。跑Hugging Face的toxicity测试，敏感内容过滤比大版本松很多。想搞本地微调或者做审查不严的chatbot的，这波可以上车。

唯一缺点：多轮对话记忆力偏弱，超过8K上下文开始丢细节。建议配合向量数据库或者本地长记忆模块用。

欢迎光临闲社 (https://www.xianshe.com/)