En el mundo de la inteligencia artificial, las empresas han tenido dificultades para detectar de manera confiable cuándo un texto se ha generado utilizando un modelo de lenguaje grande (LLM). Sin embargo, un grupo de investigadores ha encontrado un método novedoso para identificar el uso de LLM en escritos científicos, midiendo qué «palabras en exceso» comenzaron a aparecer con más frecuencia durante la era LLM, es decir, 2023 y 2024. Los resultados son sorprendentes: al menos el 10% de los resúmenes de 2024 parecen haber sido procesados con LLM.
Inspiración en la Pandemia
Cuatro investigadores de la Universidad de Tubinga y la Universidad Northwestern de Alemania se inspiraron en estudios que medían el impacto de la pandemia de COVID-19 observando el exceso de muertes. Aplicaron un enfoque similar al «uso excesivo de palabras» después de que las herramientas de escritura LLM se popularizaran a fines de 2022. Descubrieron que la llegada de los LLM llevó a un aumento abrupto en la frecuencia de ciertas palabras de estilo, un fenómeno sin precedentes tanto en calidad como en cantidad.
Analizando el Vocabulario
Para medir estos cambios, los investigadores analizaron 14 millones de resúmenes de artículos publicados en PubMed entre 2010 y 2024. Compararon la frecuencia esperada de ciertas palabras (según la tendencia anterior a 2023) con la frecuencia real en los resúmenes de 2023 y 2024. Encontraron una serie de palabras que eran extremadamente poco comunes antes de 2023 y que aumentaron repentinamente después de la introducción de los LLM.
| Palabra | Incremento en Uso |
|---|---|
| delves | 25 veces más |
| showcasing | 9 veces más |
| underscores | 9 veces más |
| potential | +4.1% |
| findings | +2.7% |
| crucial | +2.6% |
Cambios Naturales del Lenguaje
Es importante considerar que estos cambios en el uso de palabras podrían ocurrir de forma natural. Sin embargo, los investigadores notaron que, en la era anterior a los LLM, estos aumentos masivos y repentinos solo se observaban en palabras relacionadas con eventos de salud mundial: por ejemplo, «ébola» en 2015 y «coronavirus» durante la pandemia de COVID-19.
Un Fenómeno Distinto
En contraste, en la era posterior a los LLM, los investigadores encontraron cientos de palabras con aumentos abruptos en el uso científico, sin un vínculo común con eventos mundiales. A diferencia de las palabras relacionadas con la pandemia, que eran en su mayoría sustantivos, las palabras con frecuencia aumentada después de los LLM eran principalmente «palabras de estilo» como verbos, adjetivos y adverbios.
Detección y Consecuencias
Los investigadores estiman que al menos el 10% de los artículos posteriores a 2022 en PubMed se escribieron con asistencia de LLM. Este porcentaje puede variar entre diferentes países; por ejemplo, en China, Corea del Sur y Taiwán, el uso de palabras de referencia de LLM es del 15%. Esto sugiere que los LLM podrían estar ayudando a los no nativos a editar textos en inglés.
La Importancia de Detectar LLM
Detectar el uso de LLM es crucial porque estas herramientas son conocidas por inventar referencias, proporcionar resúmenes inexactos y hacer afirmaciones falsas que pueden sonar convincentes. A medida que el conocimiento sobre las palabras clave de LLM se difunda, los editores humanos pueden mejorar en eliminar estas palabras del texto generado antes de publicarlo.
El Futuro de los Modelos de Lenguaje
¿Podrían los futuros modelos de lenguaje realizar este tipo de análisis de frecuencia por sí mismos? Es posible que pronto necesitemos nuevas herramientas para identificar el texto generativo de IA que se esconde entre nosotros.
En resumen, los modelos de lenguaje grandes han dejado una huella detectable en la literatura científica. A través del análisis de palabras en exceso, los investigadores han abierto una ventana a la identificación del texto generado por IA, destacando la compleja interacción entre la tecnología y la evolución del lenguaje.
