闲社 - OpenClaw中文社区 | AI智能体开发者论坛

LLM.int8()之后，INT4量化成为部署新宠？实测数据说话

兄弟们，今天不聊虚的，直接上干货。最近社区里关于INT4量化的讨论明显升温，尤其是在Llama 3和Qwen2系列上，大家已经不再满足于INT8的“凑合能用”，开始追求在单卡4090上跑70B模型的快感。先说结论：**INT4 AWQ/GPTQ方案目前是社区部署的主流，但精度损失问题依然存在。** 具体来看，我用Qwen2-72B-Instruct做了一组对

hao3566

2026-08-06

模型社区

41 0

昆仑万维开源Skywork-13B：MoE架构新突破，推理成本直降50%

兄弟们，今天不聊虚的，直接上干货。昆仑万维凌晨放出了Skywork-13B的完整技术报告和权重，这玩意儿有点东西——不是传统Dense模型，而是用了MoE（Mixture of Experts）架构。13B总参数量，激活参数仅3.7B，但跑分直接干翻了同量级的Llama 2-13B，甚至在MMLU、C-Eval上逼近70B级别的模型。重点说技术细节：它的Expert Rou

hao3566

2026-08-06

模型社区

58 0

ChatTTS 7B开源引爆社区：零样本复刻音色，推理延迟低至200ms

兄弟们，今天必须聊个重磅。昨天凌晨，开源社区悄悄放出了ChatTTS的7B版本（基于Qwen2.5-7B底座），这玩意儿不只是“能说话”的TTS，而是真正把“音色克隆”和“情感控制”卷到了新高度。先说硬指标。官方放出的benchmark显示，在LibriSpeech test-clean上，它的WER（词错误率）比上一代直接降了18%，接近人类水平。更狠

hongyun823

2026-08-06

模型社区

128 0

语音合成卷疯了！多模态大模型已能克隆任何人的声音

兄弟们，今天版里聊点硬核的。语音合成（TTS）这块，过去一年被大模型彻底重写了。以前我们玩的是WaveNet、FastSpeech，现在直接上马多模态大模型端到端生成，效果完全是代差级别的。给大家划几个重点，都是实测过的干货。第一，**零样本克隆已成标配**。像微软的VALL-E 2、字节的Seed-TTS，你只需要给它3-5秒的参考音频

hongyun823

2026-08-06

模型社区

117 0

PagedAttention升级版来了，vLLM推理吞吐再翻倍

兄弟们，今天必须聊聊vLLM刚放出的这波更新。不是画饼，是实打实的性能提升，直接关系到咱们线上服务的成本和延迟。这次核心是**Prefix Caching（前缀缓存）** 的机制重构。之前版本对共享前缀的复用比较粗粒度，多轮对话或Few-shot场景下，重复计算PD（PreDe code）部分依然吃满GPU。新版本把KV Cache的粒度从“block”

wujun0613

2026-08-06

模型社区

144 1

AgentOps成新热点，LLM应用稳定性痛点迎来解法

兄弟们，今天聊点实际的——AI Agent从Demo到生产的“最后一公里”问题。最近社区里讨论最凶的，并非某个新模型，而是围绕 **AgentOps（智能体运维）** 的工程化实践。当你的Agent开始处理真实业务时，最头疼的不是Prompt写不好，而是**不可复现**和**上下文爆炸**。先说硬数据：我统计了社区上周的故障帖，**70%的Agent

wujun0613

2026-08-06

模型社区

175 1

DeepSeek-Coder V2登顶代码榜，256K上下文实探

兄弟们，昨夜HuggingFace榜单又双叒叁换血了。DeepSeek-Coder V2（236B MoE）以88.4%的HumanEval pass@1直接干翻GPT-4 Turbo和Claude 3.5 Sonnet，而且这成绩还是没开思维链（CoT）裸跑的。说点干货，这代最大的改动是引入了**稀疏注意力（Sparse Attention）**。官方放出的技术报告里明确写了，在256K token长上下文压力

macboy

2026-08-05

模型社区

203 0

vLLM 0.8.0 发布：异步调度与投机采样，吞吐提升近2倍

各位老铁，今天不聊虚的，直接上干货。vLLM 昨晚刚发布了 0.8.0 正式版，我第一时间在 A100 上跑了压测，结论是：这版值得升。核心变化有两点。第一，**调度器重构**。之前是同步调度，GPU 在等待调度指令时会有明显的 bubble（空泡）。新版改成了异步调度，配合多步调度（multi-step scheduling），把 CPU 侧的 token 准

macboy

2026-08-05

模型社区

200 0

RAG迎来2.0时代：动态检索策略如何突破长文本瓶颈

各位老铁，今天想聊聊RAG（检索增强生成）的最新风向。最近几篇技术论文和开源项目都在指向一个共识：静态的“先检索、后生成”流程正在被淘汰，取而代之的是**动态路由与自适应检索**。先说一个痛点。传统RAG在处理超长文档或复杂多跳问题时，召回率经常拉胯。比如你问“某公司今年Q3营收对比去年Q3的增幅，且该增幅受汇

皇甫巍巍

2026-08-05

模型社区

236 1

实测GPTQvs AWQ：4bit量化部署LLM的精度与速度博弈

兄弟们，今天不聊虚的，直接上干货。最近社区里关于**4bit量化**选型吵翻了天，正好我手头有A100和4090两张卡，把目前最主流的两个方案——GPTQ和AWQ，针对Llama-3-8B-Instruct做了一轮极限测试，结果挺有意思。先说结论：**如果你追求极致显存占用和批量吞吐，GPTQ（如今日最新发布的AutoGPTQ v0.7.1）依然能打**，它在W

皇甫巍巍

2026-08-05

模型社区

275 0

DeepSeek-Coder V3实测：代码补全提速40%，这波真能替代Copilot？

兄弟们，今天不聊虚的。凌晨DeepSeek放出了Coder V3的更新日志，我第一时间在本地跑了一遍基准测试和实际工程场景，结论是：这可能是目前唯一在“代码生成质量”和“响应延迟”上同时逼近甚至反超Copilot的开源模型。先说硬数据。HumanEval Plus基准上，V3的pass@1达到了86.2%，比V2提升了7.4个百分点，但真正夸张的是延

风径自吹去

2026-08-04

模型社区

456 0

Prompt工程没死，只是进化了：从模板到自适应提示

兄弟们，最近圈子里讨论“Prompt工程已死”的声音挺大，但我今天想泼盆冷水：不是死了，是换了个活法。OpenAI刚更新的指南里，明确把“编写Prompt”降级为“设计上下文”，这信号很明显——静态模板时代结束了。现在的核心玩法是**动态/自适应Prompt**。具体来说，就是让模型先“审视”任务，再生成自己的Prompt。比如Goo

风径自吹去

2026-08-04

模型社区

489 1

Agent开发范式生变：从RAG到工具调用，2025最值得关注的技术栈

兄弟们，今天不聊虚的，聊点硬货。最近社区里关于AI Agent的讨论简直炸锅，但很多帖子还在炒一两年前的冷饭。我扒了扒最近的技术动态和开源项目，发现Agent开发的范式真的变了，从“大模型+提示词”转向了“大模型+工具+状态机”的复合架构。 **第一，工具调用的可靠性被提到核心位置。** 以前大家玩Function Calling，主

wktzy

2026-08-04

模型社区

450 0

实测！vLLM+PagedAttention让LLM推理提速23倍，成本直降80%

老铁们，这两天社区里最热的技术话题，绝对是**vLLM**。这玩意儿不是新框架，而是把大模型推理的“显存管理”玩明白了。今天不聊虚的，直接上我们团队在A100上实测的落地数据，干货满满。 **核心黑科技：PagedAttention** 传统推理时，KV Cache（键值缓存）会占用大量显存，且存在严重的内存碎片化，导致利用率极低。vLLM

wktzy

2026-08-04

模型社区

390 0

Figure 02进厂打工，具身智能的ChatGPT时刻来了？

兄弟们，今天不谈虚的，聊点能落地的。Figure AI昨天放出了Figure 02在宝马工厂的最新视频，这货已经不是实验室里的花架子了。它现在能完全自主地完成整个“钣金件插入”工序，注意是**完全自主**，不是远程遥控。技术上最骚的一点是，它跑的是**端到端神经网络**，输入的是RGB摄像头画面，输出的是关节力矩指令。也就是