Anthropic está pidiendo a los principales laboratorios de inteligencia artificial que consideren una pausa coordinada y verificable en el desarrollo, advirtiendo que los rápidos avances en tecnología pronto podrían hacer que los sistemas de inteligencia artificial mejoren más rápido de lo que la sociedad puede gestionar los riesgos.
El creador de Claude dijo que la capacidad de la IA para completar tareas por sí sola se ha duplicado cada cuatro meses y que está en el camino hacia la “superación personal recursiva”, el punto en el que la tecnología puede mejorar sin intervención humana.
“A medida que los sistemas se vuelven capaces de construir plenamente sus propios sucesores, la forma en que los protegemos, los monitoreamos y moldeamos su comportamiento se vuelve mucho más importante”, dijo la startup en una extensa publicación de blog el jueves, y agregó que una pausa permitiría a la sociedad “lidiar con su inmenso impacto”.
Póngase al día con las novedades de la aplicación 7NEWS: descárguela hoy
“Aún no hemos llegado a ese punto, y la superación personal recursiva no es inevitable. Pero puede llegar antes de lo que la mayoría de las instituciones están preparadas”, escribieron en la publicación el cofundador de Anthropic, Jack Clark, y la directora del Anthropic Institute, Marina Favaro.
Los temores de que los sistemas avanzados de inteligencia artificial puedan escapar del control humano y causar daños sociales aumentan a medida que la tecnología se vuelve más poderosa.
El propio modelo Mythos de Anthropic causó conmoción en industrias como la banca y el software a principios de este año con su capacidad para encontrar vulnerabilidades en el código existente.
Sin embargo, la regulación ha sido lenta, particularmente en Estados Unidos, donde tienen su sede la mayoría de los principales laboratorios de IA.
La orden ejecutiva del presidente Donald Trump a principios de esta semana asignó la responsabilidad a los propios laboratorios, exigiéndoles que presentaran voluntariamente sus modelos de mejor rendimiento para las pruebas gubernamentales de ciberseguridad antes de su publicación.
Los investigadores de IA también han presionado para hacer una pausa antes, pero han tenido poco éxito.
Elon Musk, propietario del laboratorio de IA xAI, estuvo entre los defensores de una iniciativa de 2023 de la organización sin fines de lucro Future of Life Institute para detener el desarrollo de la IA durante seis meses para dar tiempo a tomar medidas de seguridad.
Anthropic se ha posicionado durante mucho tiempo como un laboratorio de inteligencia artificial centrado en la seguridad.
A principios de este año se negó a permitir que el ejército estadounidense utilizara sus modelos de vigilancia nacional y armas totalmente autónomas, lo que provocó una reacción violenta del gobierno y lo colocó en una lista negra de seguridad nacional que entrará en vigor más adelante en 2026.
Reuters informó el viernes que la disputa estaba mostrando signos de aliviarse dentro de partes del gobierno estadounidense.
Aun así, Anthropic ha seguido lanzando modelos cada vez más potentes y, en febrero, se retractó de una promesa de seguridad clave y dijo que ya no frenaría una IA potencialmente peligrosa si sus rivales se acercaran a sus capacidades.
La empresa fue valorada recientemente en 965.000 millones de dólares (1,4 billones de dólares australianos) en una ronda de financiación masiva y se presentó de forma confidencial para una oferta pública inicial en Estados Unidos el lunes. Esto lo coloca por delante de su competidor OpenAI tanto en términos de valoración como en la carrera por asegurar una financiación crucial.
Anthropic advirtió en su publicación del jueves que una desaceleración unilateral o mal coordinada podría resultar contraproducente a medida que los actores menos cautelosos avancen más, comprometiendo potencialmente la seguridad general.
Dice que una pausa significativa requeriría un acuerdo entre “varios laboratorios bien equipados” que operen en la frontera tecnológica, así como reglas sobre qué condiciones desencadenarían o anularían dicha pausa y quién la supervisaría.
“Por el contrario, una ruptura unilateral por parte de un laboratorio se puede lograr de inmediato, pero logra mucho menos: cambiaría quién es el favorito, pero no crearía el proceso deliberativo más completo que falta actualmente”, dijo la startup.
Su brazo de investigación, el Anthropic Institute, planea estudiar los sistemas necesarios para respaldar una desaceleración y reunirá a formuladores de políticas, investigadores, grupos de la sociedad civil y empresas rivales de IA en los próximos meses para discutir cómo abordar riesgos como la superación personal recursiva.
OpenAI, xAI, Alphabet, Meta Platforms y la empresa francesa Mistral no respondieron de inmediato a las solicitudes de comentarios sobre si se unirían a la llamada.
About The Author
