Cada inteligencia artificial tiene su propio estilo: un artículo de una polaca en Scientific American

Al igual que los humanos, ChatGPT y Gemini AI tienen sus propios estilos de escritura distintivos, según una investigación polaca publicada el miércoles en Scientific American por la Dra. Karolina Rudnicka de la Universidad de Gdańsk.

«El estilo es el hombre» es la traducción al polaco del francés «Le style c'est l'homme». Se cree que estas palabras fueron pronunciadas por Georges-Louis Leclerc, conde de Buffon, en su discurso inaugural, «Discours sur le style», en 1753. Al parecer, la inteligencia artificial también puede tener su propio estilo.

La Dra. Karolina Rudnicka, lingüista de la Universidad de Gdansk, realizó una investigación sobre el estilo de los chatbots. Estudia la variación y el cambio lingüístico, especialmente bajo la influencia de las nuevas tecnologías y a lo largo del tiempo.

Los lingüistas saben que cada persona tiene una forma distinta de expresarse, dependiendo de su lengua materna, edad, género, educación y otros factores. Este estilo individual de habla se denomina "idiolecto". Este concepto es similar al de dialecto, que es una variedad del lenguaje utilizado por una comunidad, pero mucho más específico.

Los idiolectos son útiles en lingüística forense: para interrogar a sospechosos, asignar autoría a documentos y mensajes de texto, verificar el origen de los solicitantes de asilo y detectar plagio. Cada vez más personas, incluyendo docentes, se preocupan por el uso de modelos lingüísticos por parte de los estudiantes en detrimento de su educación, por ejemplo, al asignar tareas de escritura a ChatGPT.

La Dra. Rudnicka decidió analizar el lenguaje de ChatGPT, Gemini y Copilot para descubrir si tienen su propio idiolecto.

Estudios han demostrado que ChatGPT tiende a priorizar la gramática estándar y las expresiones académicas, evitando la jerga y los coloquialismos. En comparación con los textos escritos por personas, tiende a abusar de verbos y adjetivos ligeramente más sofisticados.

El autor analizó un conjunto de datos compilado por el informático Muhammad Naveed, que contiene cientos de textos breves sobre diabetes escritos por ChatGPT y Gemini. Los textos tienen prácticamente el mismo tamaño, por lo que pueden utilizarse para comparar y analizar el rendimiento de ambos modelos de IA a la hora de generar contenido informativo y coherente sobre un tema médico.

Una forma popular de atribuir la autoría es el método Delta, introducido por John Burrows en 2001. Este método compara la frecuencia de palabras de uso común en los textos: palabras que expresan relaciones con otras palabras (una categoría que incluye «y», «a», «con», «el», «eso» y «para»); y palabras de contenido, como «glucosa» o «azúcar».

De esta manera, el método Delta captura características que dependen de los idiolectos de sus autores. En concreto, genera números que miden las distancias lingüísticas entre el texto examinado y los textos típicos de un autor determinado. Cuanto menor sea la distancia, que suele ser ligeramente inferior o superior a 1, mayor es la probabilidad de que el autor sea el mismo.

Resulta que una muestra aleatoria del 10% de los textos sobre diabetes generados por ChatGPT tiene una distancia de 0,92 con respecto a todo el conjunto de datos de diabetes de ChatGPT y de 1,49 con respecto a todo el conjunto de datos de Gemini. De igual forma, una muestra aleatoria del 10% de los textos de Gemini tiene una distancia de 0,84 con respecto a Gemini y de 1,45 con respecto a ChatGPT. En ambos casos, la autoría resulta bastante clara, lo que indica que los modelos de ambas herramientas tienen diferentes estilos de escritura; por ejemplo, una prefiere escribir sobre "azúcar" y la otra sobre "glucosa".

Para comprender mejor estos estilos, puede seleccionar palabras características en grupos de tres relacionadas con la diabetes. Estas combinaciones se denominan "trigramas". Ver qué trigramas se usan con más frecuencia puede revelar una forma única de combinar palabras. La Dra. Rudnicka identificó y comparó los 20 trigramas más comunes para ChatGPT y Gemini.

Los trigramas ChatGPT en estos textos sugieren un idiolecto más formal, clínico y académico, con frases como "personas con diabetes", "niveles de glucosa en sangre", "desarrollo", "caracterizado por niveles elevados" y "riesgo elevado". En contraste, los trigramas Gemini son más conversacionales y explicativos, con frases como "forma de", "cascada", "no es", "nivel alto de azúcar en sangre" y "control de la glucemia".

Gemini usa la frase formal "niveles de glucosa en sangre" solo una vez en todo el conjunto de datos, por lo que la conoce, pero parece evitarla. Por otro lado, "nivel alto de azúcar en sangre" aparece solo 25 veces en las respuestas de ChatGPT, en comparación con 158 veces en las respuestas de Gemini. ChatGPT usa la palabra "glucosa" con más del doble de frecuencia que "azúcar", mientras que Gemini hace exactamente lo contrario: escribe "azúcar" con más del doble de frecuencia que "glucosa". Elegir palabras como "azúcar" en lugar de "glucosa" indica una preferencia por un lenguaje sencillo y accesible.

¿Por qué los LLM desarrollan idiolectos? Quizás se trate de elegir la forma menos exigente de completar una tarea. Una vez que una palabra o frase se incorpora a su repertorio lingüístico durante el entrenamiento, los modelos pueden seguir usándola y asociándola con expresiones similares, de forma similar a como los humanos tienen palabras o frases favoritas que usan con una frecuencia superior a la media al hablar o escribir.

También podría ser una forma de preparación, como cuando las personas escuchan una palabra y son más propensas a usarla. Quizás cada modelo se prepara de alguna manera con las palabras que usa repetidamente.

El hecho de que las herramientas basadas en LLM produzcan idiolectos distintivos —que pueden cambiar y evolucionar con el tiempo mediante actualizaciones o nuevas versiones— es relevante para el debate actual sobre qué tan cerca está la IA de alcanzar la inteligencia humana. Esto es importante si los modelos de chatbots no se limitan a promediar o replicar sus datos de entrenamiento, sino que desarrollan hábitos léxicos, gramaticales o sintácticos distintivos en el proceso, de forma similar a cómo las experiencias moldean a los humanos.

Por ahora, saber que los LLM escriben en idiolectos puede ayudarte a determinar si un ensayo o artículo fue creado por un modelo o una persona específica, tal como podrías reconocer el mensaje de un amigo en un chat grupal por su estilo distintivo.

Paweł Wernicki (PAP)

pmw/ barra/