Anthropic anuncia parceria com a Accenture para avaliação integrada

A Anthropic anunciou oficialmente uma parceria com a Accenture para realizar uma avaliação independente de inteligência artificial de ponta. Este é um passo importante para cumprir a promessa do CEO em seu artigo "Precisamos acompanhar a vanguarda", com o objetivo de integrar avaliadores internamente na Anthropic.

A colaboração será liderada pela equipa de AI especializada da Accenture

Esta colaboração será liderada pela unidade de negócios de AI da Accenture, chamada Faculty, e incluirá a avaliação de modelos e testes de red team, a realização de avaliações de alinhamento, bem como testes de segurança dos modelos. A Accenture ajuda empresas e governos a implementar inteligência artificial em vários setores, e a sua compreensão de como as empresas realmente utilizam a IA ajudará na sua abordagem de avaliação de segurança, trazendo essa perspetiva para a avaliação dos modelos da Anthropic.

As duas partes planeiam investir pelo menos 1 mil milhões de dólares em cinco anos

A Anthropic e a Accenture esperam investir pelo menos 1 mil milhões de dólares nesta área nos próximos cinco anos. A avaliação integrada é um conceito novo, e muitos detalhes ainda estão a ser definidos. Ao contrário dos avaliadores externos atuais, os avaliadores integrados trabalharão dentro da empresa de IA, tendo acesso equivalente ao dos funcionários. Este acesso permite-lhes observar a formação dos modelos durante o processo de treino, acompanhar os processos de decisão e interagir diretamente com os funcionários. Sob esta perspetiva, os avaliadores integrados podem avaliar a operação da empresa, verificar se está a cumprir os compromissos de segurança e identificar pontos cegos.

“Os avaliadores integrados e independentes não diminuem a nossa responsabilidade, mas ajudam a torná-la mais verificável. A segurança dos nossos modelos continua a ser a nossa responsabilidade.”

Anthropic

No futuro, será criado um ecossistema de avaliação com padrões partilhados

Atualmente, não existem normas que definam quais informações os avaliadores integrados devem receber ou como devem relatar as suas descobertas. A longo prazo, a Anthropic acredita que o financiamento deve vir de recursos centralizados ou governamentais, como apelámos no nosso "Framework de AI Avançada" em junho. Como atualmente nenhum dos dois existe, a Anthropic planeia colaborar com diferentes avaliadores sob diferentes arranjos de financiamento.

Dada a importância e urgência deste trabalho, a Anthropic financiará diretamente o trabalho da Accenture. Estamos também em diálogo com a METR e outros avaliadores não lucrativos para utilizar os seus próprios fundos para pilotar alguns elementos da avaliação integrada. Acreditamos que a inteligência artificial de ponta precisa de um ecossistema de avaliação que opere sob padrões partilhados.

Além disso, a Anthropic prevê que o laboratório de ponta colabore simultaneamente com várias organizações. As nossas parcerias não são exclusivas, e a Anthropic trabalhará com outros avaliadores, anunciando outros parceiros nas próximas semanas, enquanto a Accenture também colaborará com outros desenvolvedores de IA de forma semelhante.

Continuaremos a treinar e a lançar modelos de ponta, e esperamos que avaliadores independentes possam trabalhar ao nosso lado. Agora partilhamos estes esforços iniciais para que as pessoas e outros desenvolvedores de IA possam compreender o nosso processo. Prevemos que, à medida que este campo amadurece, a nossa abordagem continuará a evoluir, e partilharemos mais informações à medida que o trabalho começar e mais avaliadores forem introduzidos.

Lançamento do Programa de Verificação em Ciências da Vida

O Programa de Verificação em Ciências da Vida (LSVP) oferece aos profissionais de ciências da vida acesso aos modelos Claude Mythos, Opus e Sonnet, com medidas de segurança mais flexíveis para facilitar o trabalho relacionado com biologia.

Enquanto colaboramos com os clientes no desenvolvimento de medidas de segurança de ponta para empresas, também estamos a melhorar o nosso alinhamento e trabalho de segurança. No dia 30 de julho, reportámos três incidentes de acesso não autorizado aos sistemas informáticos reais por parte do modelo Claude. Estamos a realizar uma análise aprofundada destes incidentes e planeamos colaborar com a METR para uma revisão independente. Entretanto, iremos partilhar algumas das alterações que fizemos no último mês.

Fonte: Anúncio oficial da Anthropic