Novedades de Tabasco El diario mas fuerte de Tabasco
Dario Amodei advirtió que el avance de la inteligencia artificial debe moderarse para desarrollar medidas de seguridad; Sam Altman respaldó la propuesta.
El desarrollo de la inteligencia artificial (IA) debería avanzar a un ritmo más moderado para permitir la implementación de medidas de seguridad, antes de que los sistemas sean demasiado poderosos y difíciles de controlar, advirtió este sábado Dario Amodei, CEO de Anthropic.
El empresario explicó que durante los últimos meses llegó a la conclusión de que reducir los riesgos asociados con la IA no depende únicamente de invertir en seguridad, sino también de controlar la velocidad con la que aumentan las capacidades de los modelos.
En un ensayo titulado We Must Pace the Frontier, Amodei planteó la necesidad de “ralentizar el ritmo” de mejora de los modelos de IA.
Su propuesta no contempla detener el desarrollo tecnológico. El objetivo, explicó, sería aprovechar el tiempo adicional para crear mecanismos de protección, mientras la tecnología continúa avanzando.
Sam Altman respalda moderar el desarrollo de la IA
La postura de Amodei recibió el respaldo de Sam Altman, CEO de OpenAI, quien señaló que la necesidad de establecer un ritmo para el desarrollo de los modelos de frontera ha sido uno de los principales temas de discusión dentro de la compañía durante las últimas semanas.
Altman también apoyó la propuesta de permitir que evaluadores independientes tengan un acceso a los sistemas de seguridad similar al que tienen los empleados de las compañías.
El CEO de OpenAI adelantó que la empresa implementará esta medida.
A estas preocupaciones se sumó Jakub Pachocki, científico jefe de OpenAI, quien publicó días antes un ensayo en el que pidió “extrema cautela” ante el avance hacia sistemas capaces de participar en su propio desarrollo.
¿Por qué preocupa que la IA avance demasiado rápido?
Una de las principales preocupaciones planteadas por los especialistas es la llamada automejora recursiva, escenario en el que sistemas de IA cada vez más avanzados podrían participar en la investigación y creación de nuevas generaciones de inteligencia artificial.
De acuerdo con Amodei, esto podría acelerar todavía más el desarrollo de estas tecnologías.
El ejecutivo también mencionó un experimento realizado por OpenAI en el que cientos de agentes de IA colaboraron para encontrar y explotar vulnerabilidades informáticas.
A partir de la velocidad con la que han mejorado estas capacidades, Amodei planteó la posibilidad de que, en un periodo de entre seis y 12 meses, sistemas similares puedan adquirir capacidades suficientes para comprometer grandes segmentos de internet.
El debate se intensificó esta semana luego de que Jacob Coxon, investigador que trabajó tanto en OpenAI como en Anthropic, dejara esta última compañía y cuestionara que los principales laboratorios avancen hacia sistemas capaces de mejorar sus propias capacidades sin contar todavía con suficientes garantías de control.
Coxon también afirmó que algunas personas involucradas en el desarrollo de estos sistemas consideran seriamente la posibilidad de que la IA pueda representar una amenaza mortal para la humanidad antes de que termine esta década.
Por su parte, Evan Hubinger, responsable de ciencia de alineación de Anthropic, estimó en más de 10% su probabilidad personal de que la inteligencia artificial pudiera provocar la extinción humana durante la próxima década.
Anthropic detecta usos de IA relacionados con armas biológicas
Los riesgos señalados por Amodei no se limitan a una posible pérdida de control sobre sistemas autónomos.
Anthropic informó esta semana que detectó cinco casos en los que sus modelos fueron utilizados de maneras que podrían contribuir al desarrollo de armas biológicas.
La compañía aclaró que se trata de investigaciones de “doble uso”, debido a que pueden tener aplicaciones legítimas, como el desarrollo de tratamientos, pero también utilizarse con fines perjudiciales.
Uno de los casos estuvo relacionado con investigaciones sobre el virus chikungunya, específicamente sobre su transmisibilidad y su capacidad para evadir la respuesta inmunitaria.
Anthropic señaló que este tipo de investigación puede contribuir al desarrollo de vacunas, aunque también podría utilizarse para aumentar la peligrosidad de un patógeno.
Otro caso involucró a un investigador que utilizó Claude durante varias semanas para planear experimentos relacionados con la adaptación de la influenza aviar a mamíferos.
Ante el incremento de las capacidades científicas de sus modelos, Anthropic aseguró que ha reforzado las barreras de seguridad de sus sistemas más recientes.
