能在24GB显存显卡上运行的最佳模型是什么？

能在24GB显存显卡上运行的最佳模型是什么？

reddit上一位老哥kyazoglu，花了一个半月测试了在24GB显存显卡上运行的所有模型，得出来这张表。给希望本地运行大模型的朋友一些参考。

⭐表现最好的模型是 Qwen2.5-32B-Instruct-AWQ（尽管在BBH任务表现差）。

⭐意外发现：DeepSeek R1蒸馏版Qwen性能略低于原版，可能与测试任务选择有关。Phi-4数学能力极强，堪称怪物。

⭐避坑建议：避免极低量化（<Q4）：大模型低量化后性能崩坏。Mistral Nemo表现极差，粉丝慎用。模型无单一最优：绿色高亮的最佳结果分散在不同模型中，需按任务选择。

⭐所有测试均不关注代码能力。因为这位老哥觉得Qwen2.5-32B-Coder是唯一能塞进24GB显存的编码王者。