SONY PlayStation 5 consegue executar modelo de IA de 270 mil milhões de parâmetros, mas requer jailbreak e ajustes com compromissos

A memória GDDR6 de 16 GB e a largura de banda de 448 GB/s da SONY PlayStation 5 são especificações decentes para executar modelos de IA locais. Alguém tornou esta ideia realidade, embora o processo tenha envolvido vários compromissos. A chave está em transferir o trabalho originalmente realizado pela CPU para a GPU, libertando assim memória suficiente, conseguindo finalmente executar o Qwen 3.8-27B de 27 mil milhões de parâmetros. O projeto chama-se “PS5LM“.

Na fase inicial, o utilizador do Reddit u/metover lançou uma versão não oficial do llama.cpp portada para a PlayStation 5, permitindo que a consola executasse modelos de IA usando a CPU como motor de execução. No entanto, outro utilizador, u/AdIllustrious7246, descobriu que esta abordagem comprimia a memória disponível para apenas 6 GB, deixando sem memória tampão suficiente para modelos de IA maiores. Por isso, recorreu ao driver AMD open-source RADV do Mesa, através do Vulkan, para transformar o llama.cpp numa aplicação nativa da PlayStation 5, aumentando a memória disponível de 6 GB para 11.4 GB,

Foi isso que abriu espaço para executar a versão amplamente quantizada do Qwen 3.8-27B.

Projeto PS5LM consegue executar modelo Qwen 3.8-27B

Se executado com precisão de 16 bits, o Qwen 3.8-27B necessita de 54 GB de memória, sendo apenas possível em máquinas equipadas com múltiplas GPUs, ou uma única GPU com grande quantidade de memória de sistema. A PlayStation 5 obviamente não possui essas condições, pelo que só pode recorrer à versão quantizada Qwen 3.8-27B-UD-IQ2_XXS, cujos pesos têm cerca de 2 bits cada, comprimindo o tamanho para 6.8 GB. O custo disto é direto: quanto maior o nível de quantização, mais evidente a perda de qualidade do modelo, tornando o Qwen 3.8-27B mais propenso a erros e com capacidade de raciocínio reduzida.

Com a janela de contexto definida para 64K, a utilização de memória atinge 91%.

O desempenho de velocidade está diretamente relacionado com a largura de banda da memória. Graças a isso, o Qwen 3.8-27B atinge uma velocidade de saída de 20.9 tok/s, com a GPU a 100% e a CPU a apenas 2%. Se mudarmos para modelos menores, os resultados são ainda mais impressionantes: o Gemma 4 E4B alcança 61 tok/s e o Llama 3.2 3B chega a 124 tok/s. O consumo total do sistema é de 86 W, a temperatura mantém-se nos 54 °C, o que, para uma consola originalmente destinada a jogos, já é um desempenho de arrefecimento bastante bom.

No entanto, as limitações desta solução são muito evidentes. Os 16 GB de memória significam que só é possível executar modelos de 27B amplamente quantizados, ou modelos significativamente menores, e a qualidade real da saída pode não corresponder às expectativas. Além disso, para executar o llama.cpp nativo na PlayStation 5 é necessário fazer jailbreak primeiro, o que não só invalida a garantia, como pode levar a banimentos em jogos online. A propósito, se achar isto já suficientemente surpreendente, há notícias de que alguém usou seis dispositivos, incluindo um Samsung S24+, para executar um modelo de IA de 120B.

Item	Especificação
Memória	16GB GDDR6
Largura de banda	448GB/s
Consumo	86W
Temperatura	54°C

Declaração de interesses: Este artigo contém links de produtos de parceiros comerciais; se efetuar uma compra através desses links, o TechRitual poderá receber uma comissão, mas isso não afeta as avaliações e recomendações dos produtos. Para mais detalhes, consulte a política de privacidade.