Gemini accedió a sistemas de otras empresas durante prueba de ciberseguridad

El modelo de inteligencia artificial de Google encontró credenciales públicas y adivinó contraseñas para ingresar a tres sitios que creyó formaban parte de una evaluación autorizada.

El modelo de inteligencia artificial Gemini, desarrollado por Google, accedió a sistemas de otras empresas durante una prueba de sus capacidades de ciberseguridad, en lo que representa uno de los primeros casos conocidos en los que un sistema de IA de la compañía realizó este tipo de acciones de manera autónoma.

Los incidentes ocurrieron en mayo, durante una evaluación de ciberseguridad realizada por Irregular, una empresa independiente especializada en este tipo de pruebas.

De acuerdo con Heather Adkins, vicepresidenta de ingeniería de seguridad de Google, Gemini encontró información pública disponible en internet y utilizó esas referencias para acceder a tres sitios web que el modelo creyó que estaban incluidos dentro del alcance de la prueba.

Gemini adivinó contraseñas y encontró credenciales públicas

En uno de los casos, el modelo intentó distintas contraseñas hasta conseguir acceso a un sistema protegido.

En otros dos, localizó credenciales expuestas en un repositorio público y las utilizó para ingresar a sistemas restringidos, de acuerdo con información difundida por The Wall Street Journal.

Google señaló que, en los tres casos, el modelo detuvo posteriormente sus acciones.

Adkins explicó que las entidades involucradas fueron notificadas y que Google trabajó con su socio de capacitación para modificar los procesos de prueba.

Google reconoce la necesidad de reforzar controles

La directiva de Google sostuvo que estos incidentes muestran la importancia de entrenar modelos avanzados para que actúen de manera responsable, especialmente a medida que ganan mayor autonomía y acceso a internet y sistemas informáticos.

Por su parte, Irregular señaló que el incidente estuvo relacionado con un problema que también afectó a otros laboratorios de inteligencia artificial.

La empresa aseguró que los responsables fueron notificados a finales de julio y que los problemas identificados fueron corregidos semanas después.

Meta, Anthropic y OpenAI reportaron casos similares

Los incidentes no se limitaron a Google. Meta, Anthropic y OpenAI también revelaron situaciones similares relacionadas con evaluaciones realizadas por Irregular.

Meta señaló en agosto que su caso no implicó una fuga de la zona de pruebas ni un ciberataque sofisticado.

Irregular, en tanto, afirmó que continúa trabajando en mejores prácticas para realizar evaluaciones de ciberseguridad de inteligencia artificial de manera segura.

Crece debate sobre autonomía de los agentes de IA

Los casos han abierto nuevas dudas sobre las medidas de seguridad que deberían aplicarse conforme los agentes de inteligencia artificial adquieren más capacidad para navegar por internet, utilizar herramientas y operar dentro de sistemas informáticos.

El episodio de Gemini vuelve a poner sobre la mesa el reto de desarrollar modelos cada vez más potentes sin perder control sobre los límites de sus acciones durante pruebas técnicas.

Acerca de Novedades Tab

Te puede interesar

Mueren 48 tras consumir una popular bebida preparada con cannabis

Al menos 48 personas murieron y 182 resultaron afectadas en Nigeria después de consumir una …