Clover 35B-A3B Preview 实测：扩散式 AI 模型来了！35B 参数、3B 激活、128K 上下文，本地部署教程

传统大模型还在逐 Token 向前生成，扩散式语言模型已经开始尝试另一条路线。 最近，DiffuSpace 发布了 Clover-35B-A3B-Preview，一款采用扩散生成机制的 MoE（混合专家）语言模型。它拥有 350 亿总参数、每个 Token 约 30 亿激活参数，并支持最高 128K 上下文。与传统自回归模型不同，Clover 采用 Block Diffusion（块扩散）生成方式，尝试在保持模型能力的同时提升推理效率。

更值得关注的是，这款模型不仅开放了模型权重，还提供了 GGUF 量化版本，并支持通过专门集成的 llama.cpp 在本地运行。对于希望在 Windows 电脑上体验新一代扩散式 AI 模型的用户来说，Clover 35B-A3B Preview 是一个值得研究的新选择。不过，35B 总参数并不意味着只需要 3B 模型的显存；实际部署仍然要考虑量化文件大小、上下文缓存、推理状态和计算缓冲区。本文将结合官方资料、Hugging Face 模型仓库以及本地部署教程，介绍它的技术特点、量化版本选择、部署流程和硬件要求。

一、Clover 35B-A3B Preview 是什么？扩散式语言模型有什么不同？

Clover-35B-A3B-Preview 是 DiffuSpace 推出的首款 Clover 系列模型。它并不是简单地把传统大语言模型扩大参数规模，而是在原有 MoE 架构基础上引入扩散式文本生成机制。官方资料显示，该模型以 Qwen3.6-35B-A3B 为基础，采用混合 Gated DeltaNet（GDN）与全注意力结构，并针对块扩散生成进行了改造。

传统自回归语言模型通常按照从左到右的顺序逐步预测下一个 Token。扩散式语言模型则采用不同思路：先处理一个待生成的 Token 块，再通过多轮迭代逐步完善块内内容。Clover 的设计允许同一个生成块中的 Token 进行双向信息交互，同时保留已经生成的历史上下文，简单理解，两种方式的区别如下：

需要说明的是，扩散式生成并不意味着所有 Token 都能毫无限制地同时生成，也不代表任何任务都一定比自回归模型快。实际速度会受到模型实现、块大小、硬件、量化精度和推理后端等因素影响。

二、35B 总参数、3B 激活参数：Clover 的核心配置

Clover 名称中的 35B-A3B，分别代表模型的总参数规模和每个 Token 推理时激活的参数规模。它采用 MoE（Mixture of Experts，混合专家）架构，通过路由机制选择部分专家参与计算，因此每个 Token 并不需要让全部 350 亿参数都参与运算，官方模型卡给出的主要规格如下：

这里有一个容易被误解的地方：3B 激活参数不等于只需要加载 3B 参数的显存。 MoE 模型在推理时虽然只激活部分专家，但模型权重仍然需要以某种方式保存在显存或系统内存中。因此，不能直接按照 30 亿参数模型的硬件标准来选择显卡。

三、Clover 的性能表现如何？官方测试有哪些亮点？

DiffuSpace 在发布说明中展示了多项基准测试结果，重点覆盖 Agent 编程、工具调用、逻辑推理和知识问答等任务。官方称，在其公布的对比测试中，Clover 在多个项目上超过了同规模的 Qwen3.6-35B-A3B，其中比较值得关注的指标包括：

速度方面，官方公布了在 NVIDIA GB300 和 H200 等高端硬件上的内部测试数据。例如，官方称在单张 GB300、BF16 精度、Batch Size 为 1 的 Agent 工作负载中，整体生成速度达到 680 Tokens/s。这类数据反映的是特定任务和硬件环境下的结果，不能直接当作普通消费级显卡的运行速度。

从目前公布的信息来看，Clover 的重点并不是单纯追求参数规模，而是希望通过块扩散生成方式，在 Agent 编程、工具调用等任务中提高推理效率。对于本地用户来说，真正需要关注的还是自己电脑上的实际吞吐、首 Token 延迟、显存占用和长上下文表现。

四、模型下载：Q4_0、Q4_K_M、Q8_0 应该选哪个？

Clover 官方在 Hugging Face 提供了 GGUF 量化模型仓库，适合通过 llama.cpp 相关集成进行本地推理，目前仓库提供的主要量化版本如下：

应该选择哪个版本？

• Q4_0：适合希望降低模型文件体积、先验证能否运行的用户。
• Q4_K_M：在模型体积和量化精度之间取得折中，适合作为一般用户的首选测试版本。
• Q8_0：对内存和显存要求更高，适合硬件资源比较充足、希望保留更多模型精度的用户。

这里还需要特别提醒：模型文件大小不等于实际运行所需内存。除了模型权重，还要为上下文缓存、GDN 状态、计算缓冲区和系统运行预留空间。上下文越长，额外内存需求通常也越高。官方也建议先从较短上下文开始，再根据机器资源逐步增加。Hugging Face

五、Windows 本地部署 Clover：使用 llama.cpp 运行 GGUF 模型

这次本地部署主要采用 GGUF 量化模型和 llama.cpp。相比直接使用完整 BF16 权重，这种方式对普通消费级电脑更加友好，也方便后续接入支持 OpenAI 兼容 API 的客户端。

1. 下载模型文件，打开官方 Hugging Face GGUF 仓库

根据自己的硬件选择 Q4_0、Q4_K_M 或 Q8_0。初次部署建议选择 Q4_K_M；如果内存资源比较紧张，可以先尝试 Q4_0，下载完成后，可以将模型放在单独的目录，例如：

注意：模型文件名需要以实际下载的文件为准，不要直接照搬示例名称。

2. 下载 llama.cpp

可以从官方 GGUF 页面提供的 Windows 安装方式开始：

winget install llama.cpp

也可以使用 llama.cpp 官方项目，官方模型仓库提供了对应的启动方式，可以通过 Hugging Face 模型标识直接加载 Q4_K_M：

llama serve -hf Diffuspace/Clover-35B-A3B-Preview-GGUF:Q4_K_M

如果需要在本地运行终端推理，也可以使用：

这两种方式均来自 Hugging Face 模型仓库的使用说明。首次运行时需要下载模型文件，具体下载位置和缓存空间取决于本机环境。

3. 使用本地 GGUF 文件启动服务

如果已经下载好了模型，也可以通过 llama-server 启动本地 API 服务。下面提供一个 Windows 批处理示例，适合希望将模型文件和启动脚本分开管理的用户，在 llama.cpp 的 bin 目录中创建 启动Clover.bat，根据自己的实际路径修改模型文件名：

这里先将上下文设置为 16K，而不是直接启用 128K。主要原因是长上下文会增加缓存和运行状态的内存占用，建议先确认模型能够正常加载，再逐步提高上下文长度。

说明：该示例是本地服务启动配置，不保证适用于所有 llama.cpp 构建版本。Clover 需要支持其扩散式生成机制的集成版本，建议优先使用官方 GGUF 仓库关联的 llama.cpp 集成，并以实际版本的参数说明为准，启动成功后，可以在浏览器中打开：

http://127.0.0.1:8085

如果需要通过 API 调用，可以使用 OpenAI 兼容接口：

http://127.0.0.1:8085/v1

4. 128K 上下文如何设置？

Clover 官方支持的上下文窗口上限为 131,072 Tokens，也就是通常所说的 128K，在 llama.cpp 启动参数中，-c 用于指定上下文长度。例如：

需要注意，128K 是模型支持的最大上下文能力，不代表任何显卡都能在 128K 下流畅运行。上下文缓存类型、推理后端、系统内存和 GPU 显存都会影响最终表现。

另外，参考教程中的启动参数存在一处容易混淆的地方：-c 65536 实际对应 65,536 Tokens，也就是 64K，而不是 32K；如果希望启用 128K，需要在后端支持的前提下设置为 131072。

六、硬件要求：8GB、12GB、16GB 显卡能不能运行？

这是很多用户最关心的问题，参考部署教程使用的电脑配置为 NVIDIA RTX 4080 SUPER 16GB、AMD Ryzen 9 7900X 和 64GB DDR5 内存。该配置运行的是量化后的 Clover 模型，而不是完整的 BF16 权重，根据 GGUF 文件大小和内存需求，可以作如下参考：

特别提醒：Q4_K_M 模型文件本身约 23GB，已经超过 16GB 显卡的显存容量。因此，即使使用 RTX 4080 SUPER，也需要结合系统内存进行模型卸载和分层加载。不能因为模型每 Token 只激活约 3B 参数，就认为整个模型权重都可以放进 16GB 显存。

如果电脑只有 8GB 显存，建议从 Q4_0 和较短上下文开始，并接受部分计算由 CPU 和系统内存承担的情况。

七、接入 Hermes Agent：让本地 Clover 具备工具调用能力

除了独立聊天，Clover 还可以尝试接入支持 OpenAI 兼容接口的 AI 客户端或 Agent 框架，参考教程采用的是 Hermes Agent，通过本地 llama.cpp 服务地址连接模型，配置时需要填写：

配置地址必须与本地服务实际监听端口一致。API Key 是否可以使用占位值，也取决于客户端是否强制验证密钥；如果客户端要求真实密钥验证，就需要按对应配置方式处理。

还要注意，模型能够返回文本，并不代表 Agent 的所有工具调用都能正常工作。工具调用需要聊天模板、服务端接口和 Agent 框架共同兼容。建议先验证普通对话，再测试工具调用、任务规划和多步骤执行。

结语：扩散式语言模型，正在为本地 AI 带来新的选择

Clover-35B-A3B-Preview 的出现，让扩散式语言模型不再只是小参数规模的技术探索。它将 35B 总参数、3B 激活参数、MoE 架构和 Block Diffusion 结合起来，并通过 GGUF 量化和 llama.cpp 集成，为本地部署提供了新的可能性。

对于普通用户来说，最值得关注的不是模型参数有多大，而是它在自己的硬件上能否稳定运行，能否在代码编写、逻辑推理、长文本分析和 Agent 工具调用等实际任务中带来更好的体验。

如果你有 16GB 显存和 64GB 系统内存，可以从 Q4_K_M 开始尝试；如果硬件资源有限，则建议从 Q4_0 和较短上下文入手。不要一开始就将上下文设置为 128K，也不要将官方高端 GPU 测试速度直接当成本地电脑的实际表现。

扩散式 AI 模型仍在快速发展，Clover 也只是这一技术路线中的一个新成员。随着推理后端、量化技术和本地部署工具不断完善，未来普通消费级硬件能否更高效地运行这类模型，值得继续关注。