索尼 PlayStation 5 成功运行 270 亿参数 AI 模型，但需越狱及妥协调整

索尼 PlayStation 5 的 16GB GDDR6 内存和 448GB/s 带宽，对于运行本地 AI 模型而言，算是一份尚可的规格。有人真的将这一构想变成现实，虽然在过程中伴随了不少妥协。关键在于将原本由 CPU 承担的工作转移到 GPU 上，从而释放出足够的内存，最终成功运行了 270 亿参数的 Qwen 3.8-27B。此项目名为 “PS5LM“。

在起步阶段，Reddit 用户 u/metover 推出了非官方的 llama.cpp 移植版本，使 PlayStation 5 能够以 CPU 作为载荷来运行 AI 模型。但另一位用户 u/AdIllustrious7246 发现，这种做法将可用内存压缩到仅有 6GB，导致没有足够的帧缓冲留给更大的 AI 模型。因此，他借助 Mesa 的开源 AMD 驱动 RADV，通过 Vulkan 将 llama.cpp 打造成 PlayStation 5 的原生应用，使可用内存从 6GB 提升到 11.4GB，

这才为运行大幅量化版 Qwen 3.8-27B 提供了空间。

PS5LM 项目成功运行 Qwen 3.8-27B 模型

如果以 16 位精度运行，Qwen 3.8-27B 需要 54GB 内存，仅在配备多块 GPU，或单块 GPU 搭配大容量系统内存的机器上才有可能实现。PlayStation 5 显然不具备这类条件，因此只能采用量化版本 Qwen 3.8-27B-UD-IQ2_XXS，其权重约每个 2 比特，体积被压缩到 6.8GB。这样做的代价也很直接：量化程度越高，模型质量损失越明显，Qwen 3.8-27B 更容易出错，推理能力亦有所削弱。

在上下文窗口设为 64K 的情况下，内存占用率达到 91%。

速度表现则与内存带宽直接相关。得益于此，Qwen 3.8-27B 的输出速度达到 20.9 tok/s，此时 GPU 占用 100%，CPU 仅有 2%。若更换为更小的模型，成绩将更加亮眼：Gemma 4 E4B 达到 61 tok/s，Llama 3.2 3B 则冲到 124 tok/s。整机总功耗为 86W，温度保持在 54 摄氏度，对于一台本来只用来玩游戏的游戏机而言，这已经是相当不错的散热表现。

不过，这套方案的局限性也非常明显。16GB 内存意味着只能运行大幅量化的 27B 模型，或明显更小的模型，实际输出质量未必能达到预期。另外，要在 PlayStation 5 上运行原生的 llama.cpp 需要先越狱，这不仅会使保修失效，还可能招致在线游戏的封禁。顺带一提，如果觉得这件事已经足够惊人，还有消息称，另有人用包括 Samsung S24+ 在内的六台设备，运行了一个 120B 规模的 AI 模型。

项目	规格
内存	16GB GDDR6
带宽	448GB/s
功耗	86W
温度	54°C

利益声明：本文包含合作商户产品链接，如你通过链接购买，TechRitual 可能获得佣金收入，但不影响产品评价及推荐。详情请参阅隐私政策。