En un giro intrigante en la carrera de la inteligencia artificial, Anthropic ha lanzado un ambicioso programa para financiar el desarrollo de nuevos puntos de referencia que evalúen el rendimiento y el impacto de los modelos de IA, incluyendo modelos generativos como su propio Claude. Este programa, revelado recientemente, promete pagos a organizaciones de terceros capaces de medir eficazmente las capacidades avanzadas de los modelos de IA.
¿Qué Busca Anthropic con Este Programa?
Anthropic ha dejado claro que su objetivo es mejorar la seguridad en todo el campo de la IA, proporcionando herramientas valiosas que beneficien a todo el ecosistema. La compañía destaca la demanda creciente y la oferta insuficiente de evaluaciones de alta calidad y relevantes para la seguridad de la IA.
El Problema de la Evaluación en la IA
La evaluación de la IA enfrenta serios desafíos. Los puntos de referencia actuales no reflejan adecuadamente el uso real de los sistemas por parte de los usuarios. Además, muchos de estos puntos de referencia, especialmente los creados antes de la llegada de la IA generativa moderna, pueden no estar midiendo lo que pretenden medir.
Anthropic propone una solución de alto nivel que consiste en crear puntos de referencia desafiantes con un enfoque en la seguridad de la IA y las implicaciones sociales. Esto incluye nuevas herramientas, infraestructura y métodos.
¿Qué Tipo de Evaluaciones Busca Anthropic?
La compañía busca específicamente pruebas que evalúen la capacidad de un modelo para llevar a cabo tareas críticas, tales como:
- Ciberataques
- Mejora de armas de destrucción masiva
- Manipulación o engaño a personas (mediante deepfakes o desinformación)
Además, Anthropic está comprometida con el desarrollo de un sistema de alerta temprana para identificar y evaluar estos riesgos, aunque aún no ha revelado los detalles de cómo funcionará este sistema.
Apoyando la Investigación y Desarrollando Nuevas Plataformas
El nuevo programa también apoyará la investigación de puntos de referencia y tareas «de extremo a extremo» que exploren el potencial de la IA para:
- Ayudar en el estudio científico
- Conversar en varios idiomas
- Mitigar sesgos arraigados
- Reducir la toxicidad de la autocensura
Anthropic planea desarrollar nuevas plataformas que permitan a los expertos crear sus propias evaluaciones y ensayos a gran escala de modelos que involucren a miles de usuarios. La empresa ha contratado a un coordinador a tiempo completo para gestionar el programa y está abierta a comprar o ampliar proyectos con potencial.
Opciones de Financiación y Colaboración
Anthropic ofrece una variedad de opciones de financiación adaptadas a las necesidades de cada proyecto. Los equipos tendrán la oportunidad de interactuar directamente con los expertos de la empresa, incluyendo los equipos de ajuste, confianza y seguridad.
Desafíos y Confianza en Anthropic
Aunque el esfuerzo de Anthropic es loable, la comunidad de IA puede tener reservas sobre las verdaderas intenciones de la empresa, especialmente considerando sus ambiciones comerciales. La transparencia en las evaluaciones financiadas y las definiciones de IA «segura» o «riesgosa» serán cruciales para ganar la confianza de la comunidad.
Reflexiones Finales
Anthropic espera que su programa sea un catalizador del progreso hacia una evaluación integral de la IA como estándar de la industria. Sin embargo, queda por ver si los esfuerzos no afiliados a corporaciones estarán dispuestos a colaborar con un proveedor de IA cuyo compromiso principal es con sus accionistas.
El futuro de la IA depende de la colaboración y transparencia en el desarrollo y evaluación de estos modelos avanzados. Con programas como el de Anthropic, el camino hacia una inteligencia artificial más segura y eficaz podría estar más cerca de lo que pensamos.
