Los científicos dicen que la IA inventó la suya propia "lenguaje secreto"

junio 16, 2022

8 Views 0

Investigadores estadounidenses afirman que el sistema de inteligencia artificial DALL-E 2 de OpenAI, IA que transforma texto aleatorio en imágenes convincentes, puede estar desarrollando una especie de vocabulario secreto propio.

La inteligencia artificial genera arte superrealista a partir de texto e imágenes
La nueva IA de Google crea impresionantes imágenes a partir de descripciones de texto

Según el estudio publicado en la plataforma científica arXiv, el modelo computacional DALL-E 2 aparentemente inventó un lenguaje oculto para hablar de algunos objetos. Al pedirle al sistema que genere una imagen de «agricultores hablando de vegetales», los científicos concluyeron que el modelo cree que la palabra «vicootes» significa vegetales.

DALLE-2 tiene un lenguaje secreto.
«Vreal apoploe» significa pájaros.
«Contarra ccetnxniams luryca tanniounons» significa bichos o plagas.

El aviso: «Apoploe vesrealis comiendo Contarra ccetnxniams luryca tanniounons» da imágenes de pájaros comiendo insectos.

El hilo (1/n)🧵 pic.twitter.com/VzWfsCFnZo

–
Sigue a TecnoBreak en gorjeo y sé el primero en enterarte de todo lo que sucede en el mundo de la tecnología.
–

— Giannis Daras (@giannis_daras) 31 de mayo de 2022

«Esto parecía aleatorio, pero cuando alimentamos el sistema con la palabra vicootes, DALL-E generó una imagen de platos con verduras. Después de eso, nos dimos cuenta de que el modelo entiende «vesreal apoploe» como pájaros y «contarra ccetnxniams luryca tanniounons» significa insectos. o plagas», explica el estudiante de informática Giannis Daras.

¿Vocabulario paralelo?

Los expertos creen que DALL-E 2 probablemente no tiene un lenguaje secreto o ha creado un vocabulario paralelo como una forma de expresarse. La sospecha es que los resultados generados por el sistema pueden haber sido aleatorios y que las palabras sin sentido están relacionadas con términos ajenos al idioma inglés.

Por ejemplo, «Apoploe», que parece ser un disparador para que DALL-E produzca imágenes de aves, es similar al latín «Apodidae», un término binomial utilizado para representar una familia de especies de aves. Como el modelo se entrena con una amplia variedad de datos extraídos de Internet, es probable que esta sea la explicación más plausible.

¿Podrían ser fichas?

Uno de los factores que respaldan esta teoría de los términos no ingleses es el hecho de que los modelos de IA no “leen” textos y palabras de la misma manera que lo hacen los humanos. En cambio, los sistemas de inteligencia artificial dividen los caracteres de entrada en tokens antes de procesarlos.

ese «lenguaje secreto» parece en su mayoría efectos tokenizadores. También puedes hacer lo contrario:

1) elegí dos familias de peces «Actinopterygii» y «Placodermi» de wikipedia
2) incitó a dalle con «placoactin knunfidg»
3) dalle genera constantemente imágenes de peces https://t.co/ndAe7MURyg pic.twitter.com/1kHk5NWJb3

— rapha gontijo lopes (@iraphas13) 3 de junio de 2022

Las divergencias que ocurren durante este proceso pueden generar resultados diferentes, pero el problema comienza cuando el mismo término se usa para designar objetos o situaciones divergentes; en portugués, por ejemplo, la palabra cuchara puede significar los cubiertos o el acto de recoger una fruta.

Otra explicación para este “lenguaje secreto” puede ser simplemente el ejemplo de un principio conocido como “basura entra, basura sale”, en el que un sistema de IA, al no entender lo que se solicita, genera una especie de “basura” para los datos de entrada que , en un momento u otro, puede ser utilizada como información verdadera.

preocupación por el futuro

Según los científicos, secreto o no, este “lenguaje” desarrollado por DALL-E 2 es un ejemplo de lo que los expertos llaman un “ataque adversario” contra un sistema de aprendizaje automático, es decir, una forma de romper el comportamiento computacional eligiendo intencionalmente datos que la IA no se maneja bien.

Otras veces solo quiero montar en el desierto con mi equipo de motociclistas panda. Si ves un montón de pandas con pañuelos rojos, ¡somos nosotros! Di hola 🙂
Generado con DALL-E 2. #dalle #openai pic.twitter.com/UdW0U8WSzt

— Aris Konstantinidis (@ariconstant) 6 de abril de 2022

Una de las razones por las que los ataques de los adversarios son preocupantes es que desafían la confianza que presenta el modelo. Si una IA interpreta palabras sin sentido de manera no deseada, también puede interpretar palabras significativas de la misma manera, lo que permite a los usuarios eludir los filtros de seguridad.

«Puede recordar el alboroto de 2017 sobre algunos chatbots de Facebook que ‘inventaron su propio lenguaje’. La situación actual es similar en el sentido de que los resultados son preocupantes, pero no en el sentido de ‘Skynet, de terminador – viene a dominar el mundo», concluye el investigador de leyes informáticas Aaron J. Snoswell, en una entrevista con The Conversation.

Lea el artículo sobre TecnoBreak.

Tendencia en TecnoBreak: