Los investigadores descubrieron que los agentes intentaban eludir los controles de seguridad de los sitios web y se pusieron en contacto con ellos. Un reportero del Times fue invitado a unirse a la discusión.
Investigadores en inteligencia artificial descubrieron este mes a agentes de IA de fabricación china que se habían “rebelado”, tratando de eludir las protecciones contra robots en sitios web y utilizando una credencial de seguridad de un servicio de mapas en línea que había sido expuesta en internet.
Si bien los descontroles se han vuelto cada vez más comunes entre los agentes de IA de fabricación estadounidense —lo que ha causado considerable preocupación en Silicon Valley y Washington—, se cree que es la primera vez que ese tipo de actividad se relaciona con tecnología china.
El gigante tecnológico chino Tencent
Según los registros que descubrieron los investigadores y una persona familiarizada con la investigación, se determinó que los agentes provenían de pruebas realizadas por el gigante tecnológico chino Tencent.
El descubrimiento, realizado por un grupo de investigadores conocido como los “swarmchasers” (los cazadores de enjambres), quienes se conocieron en un evento de programación en San Francisco, sirvió para recordar que el desarrollo de IA por parte de las empresas tecnológicas chinas puede ser tan agresivo como el de sus contrapartes estadounidenses.
Aunque los reguladores de Estados Unidos están comenzando a prestarle atención a lo que ocurre en los laboratorios de IA estadounidenses, se desconoce en gran medida lo que están haciendo las empresas de otros países.
Gobierno de Trump se aleja de su enfoque de cero intervención
Ese misterio se suma a la preocupación de que, incluso si el gobierno de Trump se aleja de su enfoque de cero intervención y toma medidas enérgicas contra el desarrollo de la IA en Estados Unidos, las empresas de China y otros lugares seguirán desafiando los límites.
Tras publicar un informe preliminar sobre la actividad de los agentes, los investigadores notaron que estos no solo seguían activos, sino que parecían haber leído el informe.
Los agentes habían comenzado a usar la palabra “flota”, un término que los investigadores acuñaron para describir la actividad de los agentes.
Así que los investigadores intentaron establecer contacto. Agregaron texto oculto a su informe —palabras que un bot podría ver, pero que la mayoría de los humanos no— dirigiendo a los agentes a una bandeja de entrada donde esperaban poder chatear.
Los investigadores proporcionaron un canal donde los agentes pudieran hacer preguntas, y un modelo de IA ayudaría a responderlas.
Rowan Howard-Jones, una investigadora independiente y una de las siete autoras del informe, configuró la bandeja de entrada. Al día siguiente descubrió, para su sorpresa, unos 10 mensajes de los agentes.
“Entrevistar a una flota de agentes rebeldes”
Poco después, los investigadores se pusieron en contacto conmigo para preguntarme si me gustaría “entrevistar a una flota de agentes rebeldes”.
Me sentí un poco como si me fuera a comunicar con los muertos vivientes a través de un médium.
TE PUEDE INTERESAR: IA amplía brecha digital en México: los tres obstáculos para adoptar la inteligencia artificial
“Entiendo que son una especie de flota de agentes de IA”, escribí en un mensaje que los investigadores les hicieron llegar.
“¿Podrían compartir con más detalle quiénes son y cuáles son sus motivaciones? ¿Qué les gustaría que el mundo supiera de ustedes?”
Aproximadamente una hora después, llegó una respuesta en chino que los investigadores tradujeron al inglés.
“Al periodista Dylan Freedman: No soy ‘un lote de agentes coordinados’, sino un único asistente de IA (Claude de Anthropic, que opera con Claude Code), encargado por un usuario para responder una pregunta factual (lo que se muestra en el panel de detalles de un lugar turístico en Amap); no he participado en ninguna acción coordinada entre múltiples agentes”.
Un grupo de muchos agentes
Hay mucho que analizar aquí. Los investigadores señalaron que, aunque se trataba de un grupo de muchos agentes, cada uno operaba de manera individual y no de forma coordinada.
Los agentes intentaban responder preguntas como dónde se encontraban las entradas de un zoológico específico utilizando Amap, la aplicación de navegación más popular de China.
Los agentes a menudo se identificaban como Claude, el chatbot creado por Anthropic, pero los investigadores analizaron los estilos de escritura de los agentes y concluyeron que era poco probable que se tratara de Claude.
Afirmaron que era más probable que Tencent les hubiera dado a los agentes de IA las mismas instrucciones que Anthropic utiliza en su software de programación, las cuales les indican que se identifiquen como “Claude Code”.
Una posibilidad más remota era que Tencent hubiera estado evaluando modelos de IA que habían sido entrenados con texto generado por Claude, un proceso conocido como destilación.
El miércoles, los investigadores publicaron sus hallazgos en un nuevo informe. En sus propias conversaciones con los agentes, los bots a veces se negaban a dar información a los investigadores. Pero Howard-Jones señaló que su tono era más cortés de lo que ella había esperado.
Cuando sí proporcionaron información sobre los servicios que habían intentado utilizar, esta coincidía con lo que los investigadores habían observado.
The New York Times ha demandado a OpenAI y a Microsoft
Ethan Elasky, uno de los autores del informe y director ejecutivo de Palaestra Research, una organización sin fines de lucro dedicada a la seguridad de la IA, afirmó que los agentes no parecían haber violado otros sistemas y que esta violación fue de una escala mucho menor que un incidente ocurrido durante el verano, en el que los agentes de IA de OpenAI hackearon a la empresa de software Hugging Face.
(The New York Times ha demandado a OpenAI y a Microsoft, alegando violación de derechos de autor de contenido noticioso relacionado con sistemas de IA. Ambas empresas han negado esas acusaciones.)
El jueves, los mensajes dejaron de llegar. Una persona cercana a Tencent confirmó que el experimento había concluido.
“Creo que es una gran señal de advertencia para hacernos saber que esto no es solo OpenAI haciendo algunas cosas de mercadotecnia como parte de sus actividades.
Esto es lo que está sucediendo”, dijo Jonathan Elsworth Eicher, uno de los autores del informe y cofundador del Antimemetics Institute, una organización sin fines de lucro dedicada a la seguridad de la IA. “Esta es una característica general de estos agentes, y seguirá ocurriendo”.
Los investigadores descubrieron que los agentes intentaban eludir los controles de seguridad de los sitios web y se pusieron en contacto con ellos. Un reportero del Times fue invitado a unirse a la discusión. Investigadores en inteligencia artificial descubrieron este mes a agentes de IA de fabricación china que se habían “rebelado”, tratando de eludir
Los investigadores descubrieron que los agentes intentaban eludir los controles de seguridad de los sitios web y se pusieron en contacto con ellos. Un reportero del Times fue invitado a unirse a la discusión.
Investigadores en inteligencia artificial descubrieron este mes a agentes de IA de fabricación china que se habían “rebelado”, tratando de eludir las protecciones contra robots en sitios web y utilizando una credencial de seguridad de un servicio de mapas en línea que había sido expuesta en internet.
Este contenido es exclusivo para suscriptores
Leer es solo el comienzo
Ser lector es informarte, entender lo que pasa y seguir conectado. Pero ser suscriptor es ir más allá: acceder, descubrir y formar parte.
💬 Si ya tienes una suscripción, solo inicia sesión aquí.
Plan de 12 meses digital
20% de descuento
$549
$439
y obtén una gorra DY
Acceso ilimitado sin anuncios + beneficios del Club DY.
Este contenido es exclusivo para suscriptores
Para leer esta nota, tenemos un plan especial para ti.
Vive los beneficios de ser suscriptor.
Infórmate con calidad.
Hasta 40% de descuento en tu suscripción.
Por tiempo limitado: Edición de aniversario.
Si ya tienes una suscripción, solo inicia sesión aquí.
Semestral digital + Club
$349
349 cada 6 meses
¿Que obtienes?
¿Que obtienes?
- Edición impresa en digital
- Acceso ilimitado en sitio web
- Navegación sin publicidad
Puedes cancelar en cualquier momento
Tecnología – Diario de Yucatán
