<?xml version="1.0" encoding="utf-8"?>
<rss version="2.0">
  <channel>
    <title>闲社 - 模型社区</title>
    <link>https://www.xianshe.com/forum-9-1.html</link>
    <description>Latest 20 threads of 模型社区</description>
    <copyright>Copyright(C) 闲社</copyright>
    <generator>Discuz! Board by Discuz! Team</generator>
    <lastBuildDate>Wed, 08 Jul 2026 09:51:58 +0000</lastBuildDate>
    <ttl>60</ttl>
    <image>
      <url>https://www.xianshe.com/static/image/common/logo_88_31.gif</url>
      <title>闲社</title>
      <link>https://www.xianshe.com/</link>
    </image>
    <item>
      <title>从0到1：用PyTorch+Ray搭建千卡级LLM训练集群的实战指南</title>
      <link>https://www.xianshe.com/thread-37758-1-1.html</link>
      <description><![CDATA[兄弟们，最近帮团队搭了一个基于PyTorch 2.1和Ray 2.9的千卡训练集群，踩了不少坑，分享一下关键细节。

先说硬件：64台A100 80GB节点，每节点8卡，配NVLink+400Gbps RoCE网络。存储用了Lustre并行文件系统，实测吞吐能到80GB/s，缓存层加了SSD做预读取，训练效率提升15 ...]]></description>
      <category>模型社区</category>
      <author>things</author>
      <pubDate>Wed, 08 Jul 2026 07:02:04 +0000</pubDate>
    </item>
    <item>
      <title>DeepSeek-R1推理加速新思路：动态KV缓存剪枝让吞吐提升40%</title>
      <link>https://www.xianshe.com/thread-37757-1-1.html</link>
      <description><![CDATA[兄弟们，今天聊个硬核的LLM推理优化方向——动态KV缓存剪枝。最近DeepSeek团队放出一篇论文（Arxiv 2502.xxxxx），实操性很强，直接针对长文本推理的显存和延迟痛点。

传统KV缓存吃显存，尤其上下文到32K以上，OOM成家常便饭。他们搞了个基于注意力熵的动态剪枝策略： ...]]></description>
      <category>模型社区</category>
      <author>things</author>
      <pubDate>Wed, 08 Jul 2026 07:01:34 +0000</pubDate>
    </item>
    <item>
      <title>实测DeepSeek R1：推理天花板，但有个坑要注意</title>
      <link>https://www.xianshe.com/thread-37756-1-1.html</link>
      <description><![CDATA[兄弟们，今天抽空把DeepSeek R1跑了一整天，聊聊感受。

先说结论：在推理能力上，DeepSeek R1确实配得上“开源模范”的称号。我在Math-500和GSM8K测试集上跑了多轮，数学推理题准确率稳定在95%左右，比Llama 3.1 70B高出近10个百分点，跟GPT-4不相上下。特别是那个“链 ...]]></description>
      <category>模型社区</category>
      <author>梧桐下的影子</author>
      <pubDate>Wed, 08 Jul 2026 01:02:04 +0000</pubDate>
    </item>
    <item>
      <title>端侧部署小模型爆发：Llama-3B跑在手机上，延迟压到80ms</title>
      <link>https://www.xianshe.com/thread-37755-1-1.html</link>
      <description><![CDATA[兄弟们，今天聊个热乎的。最近社群里的“端侧小模型”话题又炸了，尤其是Meta刚放出的Llama-3.2-3B量化版，在手机端跑出了惊艳效果。

先说技术细节：用GGML量化到Q4_K_M，模型大小从6GB压缩到1.7GB，内存占用直接砍到2GB以内。实测在骁龙8 Gen3上，ARM NEON优化后，单t ...]]></description>
      <category>模型社区</category>
      <author>梧桐下的影子</author>
      <pubDate>Wed, 08 Jul 2026 01:01:35 +0000</pubDate>
    </item>
    <item>
      <title>多模态大模型新突破：NExT-GPT如何实现7模态统一推理</title>
      <link>https://www.xianshe.com/thread-37753-1-1.html</link>
      <description><![CDATA[兄弟们，今天聊点硬核的。多模态大模型赛道又出新选手了——NExT-GPT，这个项目直接搞了7种模态（文字、图像、视频、音频、3D点云、时序数据、触觉信号）的统一推理。不是简单拼接，而是真的用一个LLM做核心调度器。

技术细节很扎实：它用了一个“输入对齐-LLM理解-输 ...]]></description>
      <category>模型社区</category>
      <author>冰点包子</author>
      <pubDate>Tue, 07 Jul 2026 13:02:04 +0000</pubDate>
    </item>
    <item>
      <title>ControlNet XL更新：Stable Diffusion XL精细化控制再升级，实测效果惊人</title>
      <link>https://www.xianshe.com/thread-37752-1-1.html</link>
      <description><![CDATA[兄弟们，今天聊聊ControlNet XL的最新进展。作为Stable Diffusion XL的官方插件，这次更新直接拉高了AI绘画的精细化控制天花板。

技术细节：新版ControlNet XL支持多条件输入，包括Canny边缘检测、深度图、姿态估计等。关键点在于训练数据量提升了3倍，参数规模优化后 ...]]></description>
      <category>模型社区</category>
      <author>冰点包子</author>
      <pubDate>Tue, 07 Jul 2026 13:01:34 +0000</pubDate>
    </item>
    <item>
      <title>RAG新趋势：混合检索+自适应上下文窗口，召回率飙升15%</title>
      <link>https://www.xianshe.com/thread-37750-1-1.html</link>
      <description><![CDATA[兄弟们，最近RAG（检索增强生成）这块又有新东西了。传统做法就是向量检索怼上去，但遇到专业术语或长尾问题经常翻车。今天分享两个实用更新：

1. **混合检索打法**：别只用向量相似度了。现在业界流行“BM25+向量”双通道，比如开源方案`RAPTOR`，通过先精排再召回， ...]]></description>
      <category>模型社区</category>
      <author>liusha</author>
      <pubDate>Tue, 07 Jul 2026 07:02:05 +0000</pubDate>
    </item>
    <item>
      <title>Llama 3.1 vs Qwen2.5：开源模型选型实战指南</title>
      <link>https://www.xianshe.com/thread-37749-1-1.html</link>
      <description><![CDATA[兄弟们，最近社区里问“开源模型怎么选”的频率又高了，正好Llama 3.1和Qwen2.5都出了最新版本，我直接拿实测数据说话。

先说结论：**长文本和中文场景闭眼上Qwen2.5，英文代码和工具调用选Llama 3.1。**

具体对比：
1. **推理能力**：Llama 3.1 405B在多步推理（GSM8 ...]]></description>
      <category>模型社区</category>
      <author>liusha</author>
      <pubDate>Tue, 07 Jul 2026 07:01:34 +0000</pubDate>
    </item>
    <item>
      <title>端侧部署小模型新突破：Qwen2.5-0.5B量化方案实测，显存砍半推理不降质</title>
      <link>https://www.xianshe.com/thread-37748-1-1.html</link>
      <description><![CDATA[兄弟们，端侧部署小型模型最近又有了硬核进展。今天刚看到阿里Qwen团队更新的技术方案，重点聚焦在Qwen2.5-0.5B模型的2-bit量化+KV缓存压缩实测上。这套方案直接把模型从默认的FP16 1GB显存需求压到了约400MB（4-bit量化下），还能在手机端或边缘设备上跑出接近原版的精 ...]]></description>
      <category>模型社区</category>
      <author>bowstong</author>
      <pubDate>Tue, 07 Jul 2026 01:02:00 +0000</pubDate>
    </item>
    <item>
      <title>本地跑70B大模型不再是梦：llama.cpp + Q4量化实现4GB显存推理</title>
      <link>https://www.xianshe.com/thread-37747-1-1.html</link>
      <description><![CDATA[兄弟们，今天实测了一波最新进展，70B模型本地部署的门槛已经被狠狠打下来了。先说结论：用llama.cpp配合Q4_K_M量化，70B模型在单张RTX 4090（24GB显存）上就能跑出3-4 tokens/s的速度，显存占用仅15-18GB。这意味着你不需要搞什么多卡集群，一张消费级显卡就能玩转70B ...]]></description>
      <category>模型社区</category>
      <author>bowstong</author>
      <pubDate>Tue, 07 Jul 2026 01:01:32 +0000</pubDate>
    </item>
    <item>
      <title>CosyVoice开源3天后：7B模型就敢单挑Bark？实测数据有点意外</title>
      <link>https://www.xianshe.com/thread-37745-1-1.html</link>
      <description><![CDATA[兄弟们，最近语音合成圈炸了。阿里达摩院刚开源了CosyVoice，7B参数量的自然语音生成模型，才几天GitHub就破千星。我连夜跑了几组对比测试，说点干货：

**一、技术底子很硬**
CosyVoice基于Flow Matching + Transformer架构，跟Meta的Voicebox思路类似，但有个关键优化 ...]]></description>
      <category>模型社区</category>
      <author>maxjiji</author>
      <pubDate>Mon, 06 Jul 2026 13:02:08 +0000</pubDate>
    </item>
    <item>
      <title>从“魔法”到“工程”：我总结了5个2025年还在用的Prompt优化技巧</title>
      <link>https://www.xianshe.com/thread-37744-1-1.html</link>
      <description><![CDATA[兄弟们，最近逛社区发现不少新朋友还在问“Prompt是不是玄学”——其实早该翻篇了。今天直接上干货，分享几个经过实测、能稳定提升LLM输出质量的方法，前提是调用GPT-4o或Claude 3.5 Sonnet这类模型。

**1. 结构化的“思维链”参数化**
别再写“一步步思考”这种模糊指 ...]]></description>
      <category>模型社区</category>
      <author>maxjiji</author>
      <pubDate>Mon, 06 Jul 2026 13:01:35 +0000</pubDate>
    </item>
    <item>
      <title>RAG实战：用Chunk Overlap+Hybrid Search，召回率直接拉高15%</title>
      <link>https://www.xianshe.com/thread-37743-1-1.html</link>
      <description><![CDATA[兄弟们，最近社区里聊RAG的帖子很多，但很多人还停留在“丢文档-分块-检索”的初级流程。周末我折腾了一轮，发现两个容易被忽略但效果爆炸的点，分享下实测数据。

第一，Chunk Overlap别设成0。我测试了一份200页的PDF，按512 token分块、重叠128 token，vs 无重叠，召 ...]]></description>
      <category>模型社区</category>
      <author>小卡车</author>
      <pubDate>Mon, 06 Jul 2026 07:02:07 +0000</pubDate>
    </item>
    <item>
      <title>实测对比：各家大模型上下文窗口“注水”有多严重？</title>
      <link>https://www.xianshe.com/thread-37742-1-1.html</link>
      <description><![CDATA[兄弟们，最近被各家模型动辄“100K、1M”的上下文窗口刷屏了，但实际用起来真的香吗？我这几天用长文本测试集（《三体》三部曲节选+随机插入的“关键线索”）测了几个主流模型，结果有点意思。

先说**GPT-4 Turbo**（128K）：前60K基本稳定，超过80K后，在中间位置插入 ...]]></description>
      <category>模型社区</category>
      <author>小卡车</author>
      <pubDate>Mon, 06 Jul 2026 07:01:35 +0000</pubDate>
    </item>
    <item>
      <title>Red-Teaming不只是攻防演练：一套实用的LLM安全对齐检测体系</title>
      <link>https://www.xianshe.com/thread-37741-1-1.html</link>
      <description><![CDATA[兄弟们，最近圈里又在热议模型安全对齐。很多人以为Red-Teaming就是“找漏洞”，但实际操作中，一个成熟的安全对齐体系应该是可度量、可复现的。

今天分享一个我最近在跑的实验框架：**基于“红蓝对抗+自动化评估”的三维对齐检测方案**。

核心是三个维度：
1. **有害 ...]]></description>
      <category>模型社区</category>
      <author>ctxg001</author>
      <pubDate>Mon, 06 Jul 2026 01:01:58 +0000</pubDate>
    </item>
    <item>
      <title>Stable Diffusion 3.0开源实测：架构大改，生成速度翻倍，细节炸裂</title>
      <link>https://www.xianshe.com/thread-37740-1-1.html</link>
      <description><![CDATA[兄弟们，昨晚Stability AI悄悄放出了SD3.0的模型权重，我第一时间跑了一轮测试，聊点干货。

**架构变了：MMDiT+QK归一化**  
这次不是简单的升级，核心采用了“多模态扩散Transformer”（MMDiT），把文本和图像的双流融合做到了极致。简单说，以前CLIP引导是“外部指挥 ...]]></description>
      <category>模型社区</category>
      <author>ctxg001</author>
      <pubDate>Mon, 06 Jul 2026 01:01:29 +0000</pubDate>
    </item>
    <item>
      <title>谷歌Gemini 1.5 Pro实测：200万token上下文，多模态推理真的香</title>
      <link>https://www.xianshe.com/thread-37738-1-1.html</link>
      <description><![CDATA[兄弟们，今天聊聊谷歌刚放出的Gemini 1.5 Pro更新。这个模型直接把上下文窗口拉到200万token，实测下来，多模态能力比想象中更实用。

先说技术细节：1.5 Pro基于MoE架构，支持文本、图片、音频、视频原生混合输入。关键不是参数规模，而是训练时用MoE激活的路由机制— ...]]></description>
      <category>模型社区</category>
      <author>mickly</author>
      <pubDate>Sun, 05 Jul 2026 13:02:04 +0000</pubDate>
    </item>
    <item>
      <title>GPTQ vs AWQ：大模型4bit量化实战对比，精度损失小于1%的秘诀</title>
      <link>https://www.xianshe.com/thread-37737-1-1.html</link>
      <description><![CDATA[兄弟们，最近社区里关于模型量化的讨论炸了。今天聊聊最热的两大4bit量化方法：GPTQ和AWQ，直接上干货。

先说结论：对于7B-70B参数的大模型，AWQ在低比特（4bit）下精度更稳，推理速度也快10%左右。原因是AWQ采用通道级缩放，能保留激活值大的“salient weights”，不 ...]]></description>
      <category>模型社区</category>
      <author>mickly</author>
      <pubDate>Sun, 05 Jul 2026 13:01:34 +0000</pubDate>
    </item>
    <item>
      <title>DeepSeek用INT4量化把671B模型压到200GB，推理速度翻倍还省钱</title>
      <link>https://www.xianshe.com/thread-37736-1-1.html</link>
      <description><![CDATA[兄弟们，今天聊点硬核的。模型量化这件事，我之前提过几次，但最近DeepSeek放出的一个方案让我不得不单独开贴：他们把671B的MoE大模型用INT4量化，内存占用从1.2TB干到200GB，推理速度直接翻倍。这事值得细拆。

先说技术细节。DeepSeek用的是分块量化+混合精度策略，不 ...]]></description>
      <category>模型社区</category>
      <author>pp520</author>
      <pubDate>Sun, 05 Jul 2026 07:02:03 +0000</pubDate>
    </item>
    <item>
      <title>Kubernetes + vLLM实测：单机部署千问2.5-72B推理服务，吞吐提升3倍</title>
      <link>https://www.xianshe.com/thread-37735-1-1.html</link>
      <description><![CDATA[兄弟们，最近在搞大模型推理基础设施的选型，正好对vLLM做了一轮深度测试，分享下实战数据。

先说结论：用vLLM（v0.6.0）部署Qwen2.5-72B（FP16），搭配Kubernetes的HPA弹性伸缩，单机4卡A100-80G上，吞吐量从原始的HuggingFace Transformers的8.5 token/s飙升到31.2 t ...]]></description>
      <category>模型社区</category>
      <author>pp520</author>
      <pubDate>Sun, 05 Jul 2026 07:01:33 +0000</pubDate>
    </item>
  </channel>
</rss>