Anthropic anuncia colaboración con Accenture para evaluación integrada

Anthropic anunció oficialmente una colaboración con Accenture para realizar una evaluación independiente de inteligencia artificial de vanguardia. Este es un paso importante para cumplir con el compromiso del CEO en su artículo "Debemos mantenernos al día con la vanguardia", con el objetivo de integrar evaluadores dentro de Anthropic.

La colaboración será liderada por el equipo de AI especializado de Accenture

Esta colaboración será liderada por la unidad de negocios de AI especializada de Accenture, Faculty, e incluirá la evaluación de modelos y pruebas de red de ataque, así como evaluaciones de alineación y pruebas de seguridad de los modelos. Accenture ayuda a empresas y gobiernos a implementar inteligencia artificial en múltiples industrias, y su comprensión de cómo las empresas utilizan realmente la IA contribuirá a su enfoque de evaluación de seguridad, llevando esta perspectiva a la evaluación de los modelos de Anthropic.

Ambas partes planean invertir al menos 1,000 millones de dólares en cinco años

Anthropic y Accenture anticipan invertir al menos 1,000 millones de dólares en este campo en los próximos cinco años. La evaluación integrada es un concepto nuevo y muchos detalles aún están en desarrollo. A diferencia de los evaluadores externos actuales, los evaluadores integrados trabajarán dentro de la empresa de IA, teniendo acceso comparable al de los empleados. Este acceso les permitirá observar la formación de los modelos durante el proceso de entrenamiento, rastrear el proceso de toma de decisiones y comunicarse directamente con los empleados. Desde esta perspectiva, los evaluadores integrados pueden evaluar el funcionamiento de la empresa, verificar si cumple con sus compromisos de seguridad e identificar puntos ciegos.

“Los evaluadores integrados e independientes no disminuyen nuestra responsabilidad, sino que ayudan a hacerla más verificable. La seguridad de nuestros modelos sigue siendo nuestra responsabilidad.”

Anthropic

Se establecerá un ecosistema de evaluación con estándares compartidos en el futuro

Actualmente no existen normas que regulen qué información deben recibir los evaluadores integrados o cómo deben informar sus hallazgos. A largo plazo, Anthropic cree que la financiación debe provenir de recursos centralizados o gubernamentales, tal como se solicitó en nuestro marco de AI avanzado en junio. Dado que actualmente ambos no existen, Anthropic planea colaborar con diferentes evaluadores bajo diferentes arreglos de financiación.

Dada la importancia y urgencia de este trabajo, Anthropic financiará directamente el trabajo de Accenture. También estamos en conversaciones con METR y otros evaluadores no lucrativos para utilizar sus propios fondos para pilotar algunos elementos de la evaluación integrada. En última instancia, creemos que la inteligencia artificial de vanguardia necesita un ecosistema de evaluación que funcione bajo estándares compartidos.

Además, Anthropic anticipa que el laboratorio de vanguardia colaborará simultáneamente con múltiples organizaciones. Nuestras asociaciones no son exclusivas, Anthropic colaborará con otros evaluadores y anunciará otros socios en las próximas semanas, mientras que Accenture también colaborará con otros desarrolladores de IA en una capacidad similar.

Continuaremos entrenando y lanzando modelos de vanguardia, y esperamos que los evaluadores independientes puedan trabajar junto a nosotros. Ahora compartimos estos esfuerzos iniciales para que las personas y otros desarrolladores de IA puedan entender nuestro proceso. Esperamos que, a medida que este campo madure, nuestro enfoque evolucione continuamente y compartiremos más información a medida que comencemos a trabajar e introduzcamos más evaluadores.

Lanzamiento del programa de verificación en ciencias de la vida

El programa de verificación en ciencias de la vida (LSVP) proporciona a los profesionales de ciencias de la vida acceso a los modelos Claude Mythos, Opus y Sonnet, y cuenta con medidas de seguridad más flexibles para facilitar el trabajo relacionado con la biología.

Mientras colaboramos con los clientes en el desarrollo de medidas de seguridad de vanguardia para empresas, también estamos mejorando nuestra alineación y trabajo de seguridad. El 30 de julio, informamos sobre tres incidentes de acceso no autorizado a sistemas informáticos reales por parte del modelo Claude. Estamos llevando a cabo un análisis profundo de estos incidentes y planeamos colaborar con METR para realizar una revisión independiente. Mientras tanto, compartiremos algunos de los cambios realizados en el último mes.

Fuente: Anuncio oficial de Anthropic