Qwen团队发布Qwen3-14B和Qwen3-32B的AWQ和GGUF量化模型

Qwen团队表示将在未来几天内发布Qwen3的量化模型。今天，他们发布了Qwen3-14B和Qwen3-32B的AWQ和GGUF量化模型，这些模型能够在显存存有限的情况下使用。

• Qwen3-32B-AWQ: https://huggingface.co/Qwen/Qwen3-32B-AWQ
• Qwen3-32B-GGUF: https://huggingface.co/Qwen/Qwen3-32B-GGUF
• Qwen3-14B-AWQ: https://huggingface.co/Qwen/Qwen3-14B-AWQ
• Qwen3-14B-GGUF: https://huggingface.co/Qwen/Qwen3-14B-GGUF

请注意，在Ollama和LMStudio中使用GGUF模型时，要从思考模式切换到非思考模式，只需在输入末尾添加特殊令牌/no_think。