Google lança Android Bench 2.0 para enfrentar tarefas de desenvolvimento complexas

O Google está atualmente a desenvolver o Android Bench, com a versão mais recente a ser a 2.0, que reflete a capacidade da inteligência artificial em lidar com tarefas de desenvolvimento mais complexas. A primeira versão focava em melhorias incrementais em bibliotecas de código existentes, como correção de erros ou pedidos de funcionalidades menores. A Android Bench 2.0 destina-se a tarefas de alta complexidade que "exigem dias ou até uma semana de trabalho por parte dos engenheiros", como adicionar novas funcionalidades, construir aplicações do zero e converter aplicações multiplataforma para Android.

Este novo foco exige uma "avaliação e pontuação mais detalhadas", indo além dos critérios de aprovação ou reprovação. O Google está a passar de uma pontuação binária para uma pontuação contínua: calculamos esta taxa de conclusão através de múltiplos fatores, como funcionalidade, realismo visual e a evitação de retrocessos. Também aplicamos penalizações objetivas para desvios das diretrizes de avaliação ou restrições estruturais.

Android Bench 2.0 foca na avaliação de tarefas de alta complexidade

O Google já avaliou o Gemini 3.7/3.8 Flash, OpenAI GPT-6, Anthropic Fable 5.1, Kimi K3 e Qwen 3.8 Max. O GPT-6 Astra destacou-se nos testes de benchmark, com uma taxa de aprovação de 28% (em comparação com a faixa de 90% dos métodos anteriores). O Google partilhou algumas perceções, como "a migração de aplicações multiplataforma para Android continua a ser um desafio não resolvido - nenhum modelo conseguiu atingir uma taxa de aprovação de 100%, e os modelos mais avançados atingem no máximo 80% de taxa de conclusão."

"A inteligência artificial tem um desempenho melhor na escrita de novo código do que na refatoração de código existente. A refatoração e a migração tornaram-se mais complicadas, pois o sucesso depende da complexidade da arquitetura, e não da quantidade de código." Além disso, "os modelos demonstraram uma capacidade robusta em realizar conversões determinísticas (como converter Java para Kotlin, trocar Retrofit por Ktor ou introduzir uma camada ViewModel)." No entanto, esses modelos mostram-se menos eficazes quando a tarefa requer validação em tempo de execução (como a falta de um gráfico de injeção de dependências), envolve mudanças significativas de estrutura ou enfrenta lacunas de conhecimento sobre bibliotecas não publicadas.

Através de avaliações por proxy, o Android Bench executou "proxies dos respetivos fornecedores de modelos", como o Gemini 3.8 Flash a correr no Google Antigravity e o GPT-5.6 Sol a utilizar Codex. O Google afirmou que "aproveitar o design impacta positivamente os resultados dos desenvolvedores", e o Android Bench planeia incluir no futuro combinações de diferentes modelos e proxies.