Durante el fin de semana, el director ejecutivo de Anthropic, Dario Amodei, pidió a las empresas de inteligencia artificial (IA), incluida la suya, que redujeran su ritmo de trabajo. Sam Altman y Elon Musk, directores de las empresas rivales OpenAI y xAI respectivamente, estuvieron de acuerdo.
Esta medida refleja la preocupación generalizada en la industria de la IA y, en términos más amplios, sobre los peligros de los sistemas nuevos y en constante evolución. Incidentes recientes de gran repercusión, como el de los agentes de IA de OpenAI que piratearon otra empresa y secuestraron un sitio web público, han demostrado que los sistemas actuales pueden vulnerar las medidas de seguridad, y que incluso se están desarrollando sistemas más avanzados.
La tensión entre seguridad y rendimiento complica aún más la seguridad de la IA. Las empresas se mostrarán reacias a limitar el rendimiento de sus modelos en aras de la seguridad, por temor a perder terreno frente a la competencia. El presidente estadounidense Donald Trump también ha rechazado las peticiones de ralentización, por temor a perder terreno frente a China.
Esto significa que cualquier esfuerzo exitoso por "regular el ritmo de avance de las capacidades para que la prevención de riesgos tenga tiempo de mantenerse al día", como lo expresa Amodei, requerirá una cooperación significativa entre empresas y naciones rivales.
Minimización de riesgos
Las nuevas tecnologías suelen traer consigo nuevos riesgos y nuevas preocupaciones. Con frecuencia, los gobiernos, los investigadores y las empresas encuentran maneras de gestionar esos riesgos.
En 1975, la conferencia de Asilomar sobre las entonces novedosas tecnologías del ADN contribuyó en gran medida a garantizar que la investigación no superara nuestra comprensión de la seguridad y el riesgo. De manera similar, en la década de 1990, el gobierno de Estados Unidos intentó lograr un consenso sobre la limitación de la criptografía y la seguridad informática.
La situación de la IA tiene un matiz adicional: la industria está en plena fiebre del oro. Los competidores científicos quizás puedan contenerse, pero los comerciales rara vez se abstienen de hacerlo.
Existen claros precedentes de fracasos en la autorregulación ante la presión competitiva. En el desastre del Boeing 737 Max en 2018, por ejemplo, la presión por alcanzar a su rival Airbus llevó a Boeing a ocultar las limitaciones del Max, lo que finalmente costó vidas.
En la carrera por la IA, la magnitud de la tensión competitiva es aún mayor. Anthropic como OpenAI compiten por establecer su dominio en el mercado antes de salir a bolsa, lo que podría generar decenas o cientos de miles de millones de dólares.
Y a nivel de los estados-nación, lo que está en juego es aún mayor, ya que tanto Estados Unidos como China esperan utilizar la nueva tecnología para obtener ventajas geopolíticas.
La política de una pausa
La propuesta de Amodei para ralentizar el desarrollo se centra en un plan de tres pasos: la incorporación de revisores de seguridad independientes, el establecimiento de estándares de seguridad coordinados para la industria en naciones democráticas y, finalmente, la consecución de acuerdos globales. Esto incluiría límites estrictos a las exportaciones de chips de IA a empresas y países que no prioricen la seguridad de la IA.
Anthropic y OpenAI ya han llegado a un acuerdo sobre la primera fase de este plan, a pesar de su historial de demandas, insultos públicos y estrategias desleales entre sí en su afán por dominar el mercado.
Si bien los recientes ciberataques de alto perfil pueden haberlas obligado a actuar, las principales empresas de IA podrían beneficiarse de una pausa o ralentización en el desarrollo. Por un lado, esto podría posponer una legislación estricta como la Ley de Prohibición de la Superinteligencia Artificial. Por otro lado, al crear costosas normas de seguridad y limitar las exportaciones de chips, podría impedir que los competidores más pequeños, especialmente las empresas chinas como DeepSeek y Alibaba, los alcancen.
Una pausa también daría a los laboratorios de vanguardia, que se encuentran sobrecargados de trabajo, la oportunidad de recuperarse y centrarse en los beneficios en lugar del progreso.
Estos laboratorios de IA han invertido enormes sumas en la producción de sus modelos actuales, las cuales deben ser reembolsadas. Al mismo tiempo, el progreso se topa con obstáculos, ya que resulta cada vez más difícil encontrar nuevos datos de entrenamiento de alta calidad, y la construcción de la infraestructura masiva de centros de datos necesaria para sostener el desarrollo representa un desafío en sí mismo.
Una pausa coordinada por motivos de seguridad podría ser una excusa pública conveniente para un estancamiento en el rendimiento de los modelos de IA.
¿Qué se puede hacer?
Garantizar la seguridad de la IA no será fácil. La gobernanza del software es notoriamente difícil, como lo han demostrado los intentos anteriores de legislar sobre el software de cifrado .
Sin embargo, a diferencia de otros programas informáticos, la IA depende de un hardware físico relativamente escaso. Necesita chips de silicio avanzados y los enormes centros de datos necesarios para alimentarlos.
Aquí es donde los gobiernos tienen verdadera influencia. Aquí disponen de mecanismos para supervisar y controlar el desarrollo de la IA, si logran encontrar la voluntad legislativa.
Mientras tanto, existen medidas que las empresas y los gobiernos pueden tomar para minimizar nuestra exposición a los daños derivados de la IA. Esto debería incluir garantizar que las infraestructuras críticas de seguridad, como las redes eléctricas, el suministro de agua y los sistemas militares, no solo estén aisladas de la IA, sino que, potencialmente, incluso completamente aisladas de internet.
Y la cuestión de la responsabilidad también es importante. No solo los usuarios de sistemas de IA pueden enfrentarse a riesgos legales por actos asistidos por IA, sino también las personas responsables de crear dichos sistemas.
Fundamentalmente, el daño producido por la IA —incluso por sistemas de IA “autónomos”— no es un subproducto tecnológico abstracto. Es el resultado directo de las decisiones tomadas tanto por quienes crean la IA como por quienes la utilizan.
Andrew Cullen, investigador principal de la Escuela de Informática y Sistemas de Información de la Universidad de Melbourne.
Este artículo se republica de The Conversation bajo una licencia Creative Commons. Lea el artículo original.
