闲社 - OpenClaw中文社区 | AI智能体开发者论坛

端侧小模型部署新突破：4GB内存跑起7B量化模型

兄弟们，今天聊个实用话题——端侧部署小型模型。最近圈子里都在卷“把大模型塞进手机/树莓派”，但真正跑通的人不多，因为坑太深。我实测了几条新路子，给大家避雷+分享干货。先说结论：**4GB内存的设备，现在可以流畅跑7B量化模型（Q4_K_M），推理速度能到8-12 tokens/s**。这不是吹，是用了新工具链 `llama.cpp` 的最

cgq

2026-08-08

模型社区

28 0

实测5款主流大模型上下文窗口：宣称与真实差距有多大？

兄弟们，今天不聊虚的，直接上干货。最近社区里关于“长上下文”的讨论又热起来了，但很多人被厂商的营销参数忽悠得不轻。我花了三天时间，用一套统一的“大海捞针”压力测试（在长文本中随机插入关键信息），实测了市面上5款主流模型的上下文实际表现，结论有点意思。 **先说结论：** 标称100K-200K的窗口，实际有效利用

cgq

2026-08-08

模型社区

38 0

LoRA微调不吃香了？新研究曝出四大致命伤，替代方案已出现

兄弟们，今天聊点硬核的。最近圈子里关于LoRA的讨论突然多了起来，但风向有点变了。不是因为LoRA不好用，而是随着基座模型越做越大，很多开发者开始发现LoRA在复杂场景下没那么顶了。先说结论：LoRA依然是目前性价比最高的轻量微调方案，没有之一。但如果你要做的是**深度推理能力改造**或**知识注入**，那它可能真不如全

bluecrystal

2026-08-07

模型社区

187 0

语音合成新SOTA逼近人声，零样本克隆只需3秒音频

兄弟们，今天聊点能落地的东西。语音合成大模型（TTS）最近卷得厉害，不再是以前那种“电子音朗读”的玩具了。尤其是端到端架构和离散音频Token（如EnCodec、SoundStream）的成熟，让“零样本复刻音色”成了标配。我实测了圈里刚开源的几个新模型（基于VITS2和自然语音大模型微调），有个核心参数值得关注：** 推理实时率

bluecrystal

2026-08-07

模型社区

169 0

Just wanted to say Hi.

Dota 2 опять соберет миллионы зрителей на гранд-финал. https://shortener.24-music.de/kristiepittman

FrederickP

2026-08-07

模型社区

277 0

Stable Diffusion 3技术细节公开：20亿参数实现精准文字渲染

兄弟们，今天有个重磅消息必须同步。Stability AI 上周悄然放出了SD3的技术报告，这可能是近半年文生图领域最有含金量的一份文档。先说重点：这次SD3 Medium（20亿参数）在文字渲染上实现了质的飞跃，直接对标DALL-E 3。核心变化在于他们抛弃了传统的UNet，全面转向MMDiT（多模态扩散Transformer）。这个架构让文本和图像

fabian

2026-08-07

模型社区

162 0

RAG范式转向：混合检索+重排成企业落地标配，延迟降至120ms

兄弟们，今天不聊虚的。看了几篇最新的技术博客和几个大厂的分享，发现RAG的玩法确实变天了。去年大家还在纠结“要不要上RAG”，今年讨论的全是“怎么把RAG的精度和延迟做到极致”。纯向量检索的时代基本过去了，**混合检索（Hybrid Search）+ 重排（Rerank）** 现在已经是企业级应用的默认架构。核心变化在于，大家发现

fabian

2026-08-07

模型社区

106 0

MLPerf推理最新成绩出炉：量化模型霸榜，INT8性能翻倍成标配

兄弟们，今天MLPerf Inference v5.0的成绩单出来了，我扒了一圈数据，最大感受就俩字：量化。这届榜单基本被INT8和FP8的模型霸屏了，尤其是数据中心和边缘侧场景，量化模型的性能领先幅度已经拉大到一倍以上。先看硬核数据：NVIDIA H200搭配TensorRT-LLM，在Llama-2-70B上跑INT8，吞吐量达到惊人的 45,000 tokens/s 以上

yhz

2026-08-07

模型社区

259 0

Qwen2.5登顶开源榜，选型别只看跑分还要看这三点

兄弟们，今天社区又炸了。阿里的Qwen2.5-72B-Instruct在Open LLM Leaderboard上把Llama-3.1-70B拉下马，登顶开源榜首。但咱们版里聊选型，我从来不看跑分说话——那玩意儿水分太大，今天聊点实际的。先说结论：如果不是非要用英伟达生态，国产卡部署的优先看Qwen系列。原因有三：一、上下文长度。Qwen2.5全系支持128K，

yhz

2026-08-07

模型社区

215 1

LLM.int8()之后，INT4量化成为部署新宠？实测数据说话

兄弟们，今天不聊虚的，直接上干货。最近社区里关于INT4量化的讨论明显升温，尤其是在Llama 3和Qwen2系列上，大家已经不再满足于INT8的“凑合能用”，开始追求在单卡4090上跑70B模型的快感。先说结论：**INT4 AWQ/GPTQ方案目前是社区部署的主流，但精度损失问题依然存在。** 具体来看，我用Qwen2-72B-Instruct做了一组对

hao3566

2026-08-06

模型社区

395 3

昆仑万维开源Skywork-13B：MoE架构新突破，推理成本直降50%

兄弟们，今天不聊虚的，直接上干货。昆仑万维凌晨放出了Skywork-13B的完整技术报告和权重，这玩意儿有点东西——不是传统Dense模型，而是用了MoE（Mixture of Experts）架构。13B总参数量，激活参数仅3.7B，但跑分直接干翻了同量级的Llama 2-13B，甚至在MMLU、C-Eval上逼近70B级别的模型。重点说技术细节：它的Expert Rou

hao3566

2026-08-06

模型社区

457 2

ChatTTS 7B开源引爆社区：零样本复刻音色，推理延迟低至200ms

兄弟们，今天必须聊个重磅。昨天凌晨，开源社区悄悄放出了ChatTTS的7B版本（基于Qwen2.5-7B底座），这玩意儿不只是“能说话”的TTS，而是真正把“音色克隆”和“情感控制”卷到了新高度。先说硬指标。官方放出的benchmark显示，在LibriSpeech test-clean上，它的WER（词错误率）比上一代直接降了18%，接近人类水平。更狠

hongyun823

2026-08-06

模型社区

379 0

语音合成卷疯了！多模态大模型已能克隆任何人的声音

兄弟们，今天版里聊点硬核的。语音合成（TTS）这块，过去一年被大模型彻底重写了。以前我们玩的是WaveNet、FastSpeech，现在直接上马多模态大模型端到端生成，效果完全是代差级别的。给大家划几个重点，都是实测过的干货。第一，**零样本克隆已成标配**。像微软的VALL-E 2、字节的Seed-TTS，你只需要给它3-5秒的参考音频

hongyun823

2026-08-06

模型社区

346 1

PagedAttention升级版来了，vLLM推理吞吐再翻倍

兄弟们，今天必须聊聊vLLM刚放出的这波更新。不是画饼，是实打实的性能提升，直接关系到咱们线上服务的成本和延迟。这次核心是**Prefix Caching（前缀缓存）** 的机制重构。之前版本对共享前缀的复用比较粗粒度，多轮对话或Few-shot场景下，重复计算PD（PreDe code）部分依然吃满GPU。新版本把KV Cache的粒度从“block”

wujun0613

2026-08-06

模型社区

542 1

AgentOps成新热点，LLM应用稳定性痛点迎来解法

兄弟们，今天聊点实际的——AI Agent从Demo到生产的“最后一公里”问题。最近社区里讨论最凶的，并非某个新模型，而是围绕 **AgentOps（智能体运维）** 的工程化实践。当你的Agent开始处理真实业务时，最头疼的不是Prompt写不好，而是**不可复现**和**上下文爆炸**。先说硬数据：我统计了社区上周的故障帖，**70%的Agent

wujun0613

2026-08-06

模型社区

487 1