SONY PlayStation 5 logra ejecutar un modelo de IA de 27.000 millones de parámetros, pero exige jailbreak y concesiones

La memoria GDDR6 de 16 GB y el ancho de banda de 448 GB/s de la SONY PlayStation 5 son unas especificaciones más que aceptables para ejecutar modelos de IA en local. Alguien ha convertido esa idea en realidad, aunque con bastantes concesiones por el camino. La clave está en trasladar a la GPU el trabajo que antes asumía la CPU, liberando así memoria suficiente para acabar ejecutando el Qwen 3.8-27B, de 27.000 millones de parámetros. El proyecto se llama “PS5LM“.

En la fase inicial, el usuario de Reddit u/metover publicó una versión no oficial del port de llama.cpp que permitía a la PlayStation 5 ejecutar modelos de IA usando la CPU como carga de trabajo. Pero otro usuario, u/AdIllustrious7246, descubrió que este planteamiento reducía la memoria disponible a solo 6 GB, lo que dejaba un búfer de fotogramas insuficiente para modelos de IA más grandes. Por eso, apoyándose en RADV, el controlador AMD de código abierto de Mesa, convirtió llama.cpp en una aplicación nativa de PlayStation 5 a través de Vulkan, elevando la memoria disponible de 6 GB a 11,4 GB,

y eso fue lo que abrió el espacio necesario para ejecutar una versión muy cuantizada de Qwen 3.8-27B.

El proyecto PS5LM logra ejecutar el modelo Qwen 3.8-27B

Si se ejecutara con precisión de 16 bits, Qwen 3.8-27B necesitaría 54 GB de memoria, algo que solo es posible en equipos con varias GPU, o con una sola GPU acompañada de una gran cantidad de memoria del sistema. La PlayStation 5 evidentemente no reúne esas condiciones, así que no queda otra que recurrir a la versión cuantizada Qwen 3.8-27B-UD-IQ2_XXS, cuyos pesos ocupan unos 2 bits cada uno y cuyo tamaño se comprime hasta los 6,8 GB. El precio a pagar es igual de directo: cuanto mayor es el nivel de cuantización, más evidente es la pérdida de calidad del modelo, y Qwen 3.8-27B falla con más facilidad y su capacidad de razonamiento también se debilita.

Con la ventana de contexto configurada en 64K, el uso de memoria alcanza el 91 %.

El rendimiento en velocidad está directamente ligado al ancho de banda de la memoria. Gracias a ello, Qwen 3.8-27B alcanza una velocidad de salida de 20,9 tok/s, con la GPU al 100 % y la CPU a solo el 2 %. Si se cambia a modelos más pequeños, los resultados son aún más llamativos: Gemma 4 E4B llega a 61 tok/s y Llama 3.2 3B se dispara hasta los 124 tok/s. El consumo total del equipo es de 86 W y la temperatura se mantiene en 54 grados centígrados; para una consola que en principio solo sirve para jugar, es un comportamiento térmico bastante bueno.

Sin embargo, las limitaciones de esta solución también son muy evidentes. Los 16 GB de memoria implican que solo se pueden ejecutar modelos de 27B fuertemente cuantizados, o modelos claramente más pequeños, y la calidad real de la salida no tiene por qué alcanzar lo esperado. Además, para ejecutar llama.cpp nativo en la PlayStation 5 hay que hacer jailbreak primero, lo que no solo anula la garantía, sino que también puede acarrear el baneo en los juegos en línea. Por cierto, si esto ya parece asombroso, hay quien asegura que otra persona ejecutó un modelo de IA de escala 120B usando seis dispositivos, entre ellos un Samsung S24+.

Elemento	Especificaciones
Memoria	16GB GDDR6
Ancho de banda	448GB/s
Consumo	86W
Temperatura	54°C

Declaración de intereses: este artículo incluye enlaces a productos de comercios asociados; si compras a través de ellos, TechRitual podría recibir una comisión, algo que no afecta a las valoraciones ni a las recomendaciones de productos. Para más detalles, consulta la política de privacidad.