SONY PlayStation 5 führt 27-Milliarden-Parameter-KI-Modell erfolgreich aus, erfordert jedoch Jailbreak und Kompromisse

Der 16 GB GDDR6-Speicher und die 448 GB/s Bandbreite der SONY PlayStation 5 stellen für das Ausführen lokaler KI-Modelle eine durchaus brauchbare Spezifikation dar. Jemand hat diese Idee tatsächlich in die Realität umgesetzt, allerdings nicht ohne erhebliche Kompromisse. Der Schlüssel lag darin, die ursprünglich von der CPU übernommene Arbeit auf die GPU zu verlagern, wodurch genügend Speicher freigesetzt wurde, um schließlich das 27-Milliarden-Parameter-Modell Qwen 3.8-27B erfolgreich auszuführen. Das Projekt trägt den Namen “PS5LM“.

In der Anfangsphase veröffentlichte Reddit-Nutzer u/metover einen inoffiziellen llama.cpp-Port, der es der PlayStation 5 ermöglichte, KI-Modelle mit der CPU als Last auszuführen. Ein anderer Nutzer, u/AdIllustrious7246, stellte jedoch fest, dass dieser Ansatz den verfügbaren Speicher auf lediglich 6 GB reduzierte, sodass nicht genügend Framebuffer für größere KI-Modelle übrig blieb. Daher nutzte er mit RADV den Open-Source-AMD-Treiber von Mesa, um llama.cpp über Vulkan in eine native PlayStation-5-Anwendung zu verwandeln, wodurch der verfügbare Speicher von 6 GB auf 11,4 GB anstieg,

was erst den Spielraum für die Ausführung der stark quantisierten Version von Qwen 3.8-27B schuf.

PS5LM-Projekt führt Qwen 3.8-27B-Modell erfolgreich aus

Würde man Qwen 3.8-27B mit 16-Bit-Präzision ausführen, wären 54 GB Speicher erforderlich, was nur auf Maschinen mit mehreren GPUs oder einer einzelnen GPU in Kombination mit großem Systemspeicher möglich wäre. Die PlayStation 5 verfügt offensichtlich nicht über solche Voraussetzungen, weshalb man auf die quantisierte Version Qwen 3.8-27B-UD-IQ2_XXS zurückgreifen muss, deren Gewichte etwa 2 Bit pro Stück betragen und deren Größe auf 6,8 GB komprimiert wurde. Der Preis dafür ist unmittelbar: Je höher der Quantisierungsgrad, desto deutlicher der Qualitätsverlust des Modells; Qwen 3.8-27B neigt stärker zu Fehlern, und auch die Schlussfolgerungsfähigkeit wird geschwächt.

Bei einem Kontextfenster von 64K erreicht die Speicherauslastung 91 %.

Die Geschwindigkeitsleistung steht in direktem Zusammenhang mit der Speicherbandbreite. Davon profitierend erreicht Qwen 3.8-27B eine Ausgaberate von 20,9 tok/s, wobei die GPU zu 100 % ausgelastet ist, die CPU hingegen nur zu 2 %. Wechselt man zu kleineren Modellen, fallen die Ergebnisse noch beeindruckender aus: Gemma 4 E4B erreicht 61 tok/s, Llama 3.2 3B sogar 124 tok/s. Die Gesamtleistungsaufnahme des Systems beträgt 86 W, die Temperatur bleibt bei 54 °C – für eine Konsole, die ursprünglich nur zum Spielen gedacht war, eine durchaus beachtliche Kühlleistung.

Dennoch sind die Einschränkungen dieses Ansatzes offenkundig. 16 GB Speicher bedeuten, dass nur stark quantisierte 27B-Modelle oder deutlich kleinere Modelle ausgeführt werden können, wobei die tatsächliche Ausgabequalität nicht unbedingt den Erwartungen entsprechen dürfte. Hinzu kommt: Um natives llama.cpp auf der PlayStation 5 auszuführen, ist zunächst ein Jailbreak erforderlich, der nicht nur den Garantieanspruch erlöschen lässt, sondern auch zu Sperren bei Online-Spielen führen kann. Übrigens: Falls man dies bereits für ausreichend bemerkenswert hält, gibt es Berichte, dass jemand mithilfe von sechs Geräten – darunter ein Samsung S24+ – ein 120B-KI-Modell ausgeführt hat.

Eigenschaft	Spezifikation
Speicher	16 GB GDDR6
Bandbreite	448 GB/s
Leistungsaufnahme	86 W
Temperatur	54 °C

Offenlegung: Dieser Artikel enthält Partner-Links zu Produkten. Wenn du über diese Links einkaufst, erhält TechRitual möglicherweise eine Provision, dies beeinflusst jedoch nicht die Produktbewertungen und -empfehlungen. Details findest du in der Datenschutzerklärung.