部署教程

一、 Qwen3.8-27B 开源模型

目前量化的 Qwen3.8 27B 模型总共有21个，格式为GGUF，可以适配多种不同尺寸的显存大小，最低支持8G显存，当然如果你的显存是低于8G的，那么你可以直接跳到第四步，下载越狱的模型，越狱模型最低支持4G显存！

1、Huggingface 下载：【点击前往】

2、网盘下载：【点击前往】

3、备用下载：【点击前往】

Qwen3.8-27B 4位量化显存可以在大多数17-19GB显存设备上运行，比如RTX 5080、4090或配备24GB内存的Mac。表格：硬件需求（单位 = 总内存：RAM + 显存，或统一内存）

2位	3位	4位	6位	8位	BF16
11-13 GB	13-16 GB	17-19 GB	24 GB	31 GB	56 GB

量化	文件大小	权重(GiB)	8K 上下文	32K 上下文	建议显卡
UD-IQ2_XXS	9.01 GB	8.4	9.9	12.4	8~12G（3060 12G / 5070）
UD-IQ2_M	10.3 GB	9.6	11.1	13.6	12G（32K 需降 ctx）
UD-Q2_K_XL	10.7 GB	10.0	11.5	14.0	12G 极限 / 16G 舒适
UD-IQ3_XXS	11.9 GB	11.1	12.6	15.1	16G（4060Ti 16G / 5060Ti 16G）
Q3_K_S	12.6 GB	11.7	13.2	15.7	16G
UD-Q3_K_XL	13.4 GB	12.5	14.0	16.5	16G 低显存首选
Q3_K_M	13.8 GB	12.9	14.4	16.9	16G
IQ4_XS	15.7 GB	14.6	16.1	18.6	20G / 24G
Q4_K_S / Q4_0	16.1 GB	15.0	16.5	19.0	20G（7900XT / 4000 Ada）
IQ4_NL	16.3 GB	15.2	16.7	19.2	20G
Q4_K_M	17.1 GB	15.9	17.4	19.9	24G
Q4_1	17.5 GB	16.3	17.8	20.3	24G
UD-Q4_K_XL	17.9 GB	16.7	18.2	20.7	24G 全场最佳性价比
Q5_K_S	19.3 GB	18.0	19.5	22.0	24G（3090 / 4090）
Q5_K_M	19.8 GB	18.4	19.9	22.4	24G
UD-Q5_K_XL	20.2 GB	18.8	20.3	22.8	24G 偏紧 / 32G 舒适
Q6_K	22.9 GB	21.3	22.8	25.3	24G 仅短上下文 / 32G
UD-Q6_K_XL	25.9 GB	24.1	25.6	28.1	32G（5090）
Q8_0	29 GB	27.0	28.5	31.0	32G 极限 / 48G
UD-Q8_K_XL	31.5 GB	29.3	30.8	33.3	48G（A6000 / 双卡 24G）
BF16（文件夹）	~54 GB	~50	~52	~54	80G 或双卡 48G

1、Github 下载：【点击前往】

2、网盘下载：【点击前往】

1、国内网盘下载：【点击前往】

2、国外网盘下载：【点击下载】

2、备用高速下载：【点击前往】

该一键启动脚本可以自动识别你当前的电脑硬件配置，并根据你的配置帮你匹配合适的启动参数，同时支持加载多个模型，启动后可以自动切换你需要的模型，超级方便！

启动脚本后，它会自动弹出窗口进入到 llama.cpp 控制面板

Qwen3.8-27B 现在已经推出了多个真正无审查的越狱模型，如果你想更自由，不受约束和限制，在本地使用越狱模型，那么下方的模型切勿错过！真正实现模型自由，几乎可以满足你任何的特殊需求。并且最低支持4G显存！

1、Huggingface 下载【点击前往】

2、备用下载：【点击前往】

1、官方下载：【点击前往】

2、备用下载：【点击前往】

安装hermes Agent 以后可以通过本地子托管形式进行对接，就可以讲Qwen 3.8 27 开源模型，在 Agent 中进行调用使用，完全免费