Qwen3.8-27B 正式开源!这意味着现在任何人都可以直接下载模型,并将它部署到自己的电脑上运行。别看 Qwen3.8-27B 只有 270 亿参数,它并不是一款普通的小型语言模型,而是一款原生多模态稠密模型,在编程、办公、视觉理解以及 Agent 工作流等真实应用场景中,都展现出了相当强的综合能力。

更重要的是,Qwen3.8-27B 不仅拥有强大的基础性能,还原生支持 262K Token 上下文,配合 YaRN 技术后,理论上可以进一步扩展到 100 万 Token。对于需要处理超长代码、长文档以及大型项目的用户来说,这意味着我们可以把更多内容一次性塞进模型的上下文中,而不必频繁进行切分。与此同时,官方也同步提供了 GGUF 等量化版本,让普通消费级显卡也有机会在本地运行这款模型。

接下来,我们就实际部署一下 Qwen3.8-27B,看看它在本地电脑上的表现究竟如何。
部署教程
一、 Qwen3.8-27B 开源模型
目前量化的 Qwen3.8 27B 模型总共有21个,格式为GGUF,可以适配多种不同尺寸的显存大小,最低支持8G显存,当然如果你的显存是低于8G的,那么你可以直接跳到第四步,下载越狱的模型,越狱模型最低支持4G显存!
1、Huggingface 下载: 【点击前往】
2、网盘下载: 【点击前往】
| 量化 | 文件大小 | 权重(GiB) | 8K 上下文 | 32K 上下文 | 建议显卡 |
|---|---|---|---|---|---|
| UD-IQ2_XXS | 9.01 GB | 8.4 | 9.9 | 12.4 | 8~12G(3060 12G / 5070) |
| UD-IQ2_M | 10.3 GB | 9.6 | 11.1 | 13.6 | 12G(32K 需降 ctx) |
| UD-Q2_K_XL | 10.7 GB | 10.0 | 11.5 | 14.0 | 12G 极限 / 16G 舒适 |
| UD-IQ3_XXS | 11.9 GB | 11.1 | 12.6 | 15.1 | 16G(4060Ti 16G / 5060Ti 16G) |
| Q3_K_S | 12.6 GB | 11.7 | 13.2 | 15.7 | 16G |
| UD-Q3_K_XL | 13.4 GB | 12.5 | 14.0 | 16.5 | 16G 低显存首选 |
| Q3_K_M | 13.8 GB | 12.9 | 14.4 | 16.9 | 16G |
| IQ4_XS | 15.7 GB | 14.6 | 16.1 | 18.6 | 20G / 24G |
| Q4_K_S / Q4_0 | 16.1 GB | 15.0 | 16.5 | 19.0 | 20G(7900XT / 4000 Ada) |
| IQ4_NL | 16.3 GB | 15.2 | 16.7 | 19.2 | 20G |
| Q4_K_M | 17.1 GB | 15.9 | 17.4 | 19.9 | 24G |
| Q4_1 | 17.5 GB | 16.3 | 17.8 | 20.3 | 24G |
| UD-Q4_K_XL | 17.9 GB | 16.7 | 18.2 | 20.7 | 24G 全场最佳性价比 |
| Q5_K_S | 19.3 GB | 18.0 | 19.5 | 22.0 | 24G(3090 / 4090) |
| Q5_K_M | 19.8 GB | 18.4 | 19.9 | 22.4 | 24G |
| UD-Q5_K_XL | 20.2 GB | 18.8 | 20.3 | 22.8 | 24G 偏紧 / 32G 舒适 |
| Q6_K | 22.9 GB | 21.3 | 22.8 | 25.3 | 24G 仅短上下文 / 32G |
| UD-Q6_K_XL | 25.9 GB | 24.1 | 25.6 | 28.1 | 32G(5090) |
| Q8_0 | 29 GB | 27.0 | 28.5 | 31.0 | 32G 极限 / 48G |
| UD-Q8_K_XL | 31.5 GB | 29.3 | 30.8 | 33.3 | 48G(A6000 / 双卡 24G) |
| BF16(文件夹) | ~54 GB | ~50 | ~52 | ~54 | 80G 或双卡 48G |
二、下载llama.cpp
1、Github 下载:【点击前往】
2、网盘下载:【点击前往】

三、一键启动脚本
1、网盘下载:【点击前往】
该一键启动脚本可以自动识别你当前的电脑硬件配置,并根据你的配置帮你匹配合适的启动参数,同时支持加载多个模型,启动后可以自动切换你需要的模型,超级方便!

启动脚本后,它会自动弹出窗口进入到 llama.cpp 控制面板


四、越狱模型(无审查)
Qwen3.8-27B 现在已经推出了多个真正无审查的越狱模型,如果你想更自由,不受约束和限制,在本地使用越狱模型,那么下方的模型切勿错过!真正实现模型自由,几乎可以满足你任何的特殊需求。并且最低支持4G显存!
1、Huggingface 下载 【点击前往】

加载越狱模型以后,你就可以放飞自我了~~~,比如编写黑客、安全软件

比如编写“大人级”的小说

五、对接 Hermes Agent
1、官方下载:【点击前往】
2、备用下载:【点击前往】

安装hermes Agent 以后可以通过本地子托管形式进行对接,就可以讲Qwen 3.8 27 开源模型,在 Agent 中进行调用使用,完全免费

原创文章,作者:极客智库
,如若转载,请注明出处:https://www.jikezhiku.com/1397.html