LA MARCA DE AGUA

Los textos creados por Gemini, el modelo de inteligencia artificial generativa desarrollado por Google Deepmind, la empresa de IA del gigante tecnológico estadounidense, incluyen desde mayo una marca de agua invisible que facilita su identificación como contenido artificial. Se trata del mejor sistema de detección desarrollado hasta ahora a tal efecto, según un artículo que publica este miércoles la revista Nature, y representa un avance en cuanto a transparencia que se alinea con las exigencias de la ley europea, también conocida como AI Act. Aun así, el marcaje no es infalible y la detección falla si el usuario edita o parafrasea el texto generado.

La implementación de SynthID-text (el nombre con el que Google Deepmind ha bautizado al algoritmo de marcas de agua) no altera la calidad de los textos generados por Gemini ni requiere de demasiada potencia computacional para funcionar. Ambos factores han sido clave para su despliegue a gran escala. Por primera vez, aseguran sus desarrolladores en un artículo científico donde califican el avance como “un hito para un despliegue responsable y transparente de la IA”, una herramienta de estas características se ha integrado en una aplicación utilizada por millones de usuarios.

Las IA generativas son una especie de máquinas de probabilidad. Calculan qué palabras es más probable que respondan adecuadamente a nuestras preguntas, en base a todos los textos con los que han sido entrenadas. SynthID-text altera ligeramente este cálculo probabilístico, y cambia algunas de las palabras que el algoritmo usaría para responder por otras, siempre de forma que no afecten al sentido global de la respuesta. Estas variaciones, imperceptibles para el ojo humano, dejan un ruido estadístico, una especie de rastro que el sistema puede detectar posteriormente para identificar los textos creados artificialmente.

El éxito de la detección depende en gran medida de lo cerrado de la respuesta. Si la pregunta que hacemos a la IA es muy concreta y el sistema responde siempre del mismo modo, la marca de agua prácticamente no alterará el texto y, en consecuencia, SynthID no podrá detectar su origen artificial. En cambio, cuanto más amplia sea la cuestión y más factores aleatorios haya, mayor será la habilidad del sistema para detectarlo acertadamente, con tasas de éxito que rondan el 90%.

La herramienta mejora los estándares de calidad de otros productos similares desarrollados hasta ahora, y salva por primera vez la dificultad de la implementación a gran escala. Sin embargo, choca con otras barreras reconocidas por sus autores e identificadas ya en diciembre de 2023 por el Servicio de Investigación del Parlamento Europeo: no es infalible (especialmente en respuestas breves), y su potencial desaparece si el usuario edita o parafrasea el texto.

Identificar claramente si un contenido, sea escrito o audiovisual, tiene un origen artificial es uno de los grandes retos al que se enfrentan las IA generativas, que han sacudido, entre otros, al mundo educativo y la creación de contenido en internet.

“Actualmente, los sistemas para detectar si un documento ha sido generado por IA tienen bajos índices de acierto, por lo que tecnologías que faciliten la identificación de la autoría son muy necesarias”, apunta en declaraciones a Science Media Centre Pablo Haya, investigador del Laboratorio de Lingüística informática de la Universidad Autónoma de Madrid (UAM), que tampoco ha participado en el trabajo. Según él, el artículo presenta una solución técnicamente robusta al problema, pero no es la panacea, porque manipular el resultado es sencillo y común.

Otra cuestión a tener en cuenta es que el éxito de las marcas de agua depende de que las empresas usen sistemas estandarizados. Es decir, que el detector de Gemini pueda, por ejemplo, identificar textos generados por ChatGPT, la IA de OpenAI. “Haría falta que fuera un organismo independiente como la Oficina de IA de la UE, creada para la aplicación de la AI Act, la que realice una revisión de última generación en este campo y defina los estándares que todos los proveedores de IA generativa han de seguir estrictamente”, defiende Sabater. Pero la oficina de la IA de la UE como siempre va tarde en legislar, la tecnologia siempre les va por delante, de lo que parece razonable suponer que la marca del agua, se quedará indeleble en nada, o en poca cosa.