¿Pueden los lingüistas diferenciar la escritura generada por ChatGPT/IA de la humana?

Datos del estudio

¿Pueden los lingüistas diferenciar la escritura generada por IA de la humana?
Título original: Can linguists distinguish between ChatGPT/AI and human writing?: A study of research ethics and academic publishing
Autores: J. Elliott Casal & Matt Kessler
Año: 2023
Revista / Editorial: Research Methods in Applied Linguistics
Palabras clave: ChatGPT, Ética en la investigación, Generación de textos

RESUMEN

En esta investigación realizadas desde la lingüística aplicada se explora si los lingüistas pueden distinguir entre la escritura generada por IA y la escritura humana, y se examinan cuestiones relacionadas con la ética de la investigación y la publicación académica.
Los resultados mostraron que los revisores tuvieron dificultades para distinguir entre la escritura generada por IA y la escritura humana, lo que sugiere que la escritura generada por IA puede ser indistinguible de la escritura humana
Casal & Kessler
(p. 11)
Reviewers attributed any writing flow or continuity issues to AI-produced writing, whereas they considered fluid, connected, and coherent compositions to humans
Casal & Kessler
(p. 6)

METODOLOGÍA

En este estudio, los autores utilizaron ChatGPT, una herramienta de inteligencia artificial respaldada por Large Language Model (LLM), para generar escritura en diferentes géneros, incluyendo resúmenes de investigación.

Los autores realizaron una tarea de valoración en la que los revisores leyeron una serie de resúmenes de investigación y tuvieron que determinar si cada uno fue generado por ChatGPT o escrito por un ser humano. Los autores también examinaron las razones que los revisores dieron para sus decisiones. Para esta tarea de juicio valorativo, los autores utilizaron 72 revisores de revistas de lingüística aplicada de alto nivel, que revisaron resúmenes de investigación generados por ChatGPT y resúmenes de investigación escritos por seres humanos. Los autores también realizaron entrevistas de seguimiento con algunos de los revisores para obtener más información sobre sus decisiones.

Por otra parte, en el artículo los autores se plantean algunas cuestiones éticas relacionadas con el uso de chatbots de IA en la investigación lingüística aplicada. Señalan que el uso de chatbots de IA plantea preguntas sobre la autoría y la originalidad, y que los investigadores deben ser transparentes sobre el uso de chatbots de IA en su trabajo.

En resumen, la metodología utilizada en este estudio incluyó el uso de ChatGPT para generar escritura en diferentes géneros, una tarea de juicio valorativo en la que los revisores leyeron resúmenes de investigación generados por ChatGPT y resúmenes de investigación escritos por seres humanos, entrevistas de seguimiento con algunos de los revisores y un examen de cuestiones éticas relacionadas con el uso de chatbots de IA en la investigación lingüística aplicada.

RESULTADOS PRINCIPALES

Los resultados de la investigación mostraron que los revisores tuvieron dificultades para distinguir entre la escritura generada por ChatGPT y la escritura humana en algunos casos. En la tarea de juicio valorativo, los revisores tuvieron una tasa de precisión del 52%, lo que sugiere que la escritura generada por IA puede ser indistinguible de la escritura humana.

Los autores también examinaron las razones que los revisores dieron para sus decisiones y descubrieron que los revisores a menudo se basaban en la presencia o ausencia de ciertos rasgos lingüísticos, como la coherencia y la cohesión, para determinar si un resumen fue generado por ChatGPT o escrito por un ser humano. Sin embargo, también encontraron que los revisores a veces se basaban en la especificidad o vaguedad de los detalles para tomar sus decisiones.

En cuanto a las cuestiones éticas relacionadas con el uso de chatbots de IA en la investigación lingüística aplicada, los autores señalaron que el uso de chatbots de IA plantea preguntas sobre la autoría y la originalidad, y que los investigadores deben ser transparentes sobre el uso de chatbots de IA en su trabajo.

En general, los resultados de la investigación sugieren que los lingüistas pueden tener dificultades para distinguir entre la escritura generada por IA y la escritura humana en diversos casos, lo que destaca la importancia de examinar críticamente el uso de chatbots de IA en la investigación lingüística aplicada y de ser transparentes sobre su uso.

RESUMEN DETALLADO

Este artículo es una investigación lingüística aplicada sobre el uso de chatbots de inteligencia artificial (IA) para la generación de textos. Los autores exploran si los lingüistas pueden distinguir entre la escritura generada por IA y la escritura humana, y examinan cuestiones relacionadas con la ética de la investigación y la publicación académica.

En el estudio, los autores utilizaron ChatGPT, una herramienta de IA respaldada por LLM, para generar escritura en diferentes géneros, incluyendo resúmenes de investigación. Los resúmenes de investigación son un género particularmente relevante y crítico porque juegan un papel importante en los procesos de toma de decisiones iniciales de los editores, las elecciones de los revisores para aceptar revisiones y en la promoción del trabajo de un autor.

Los autores realizaron una tarea de juicio valorativo en la que los revisores leyeron una serie de resúmenes de investigación y tuvieron que determinar si cada uno fue generado por ChatGPT o escrito por un ser humano. Los resultados mostraron que los revisores tuvieron dificultades para distinguir entre la escritura generada por IA y la escritura humana, lo que sugiere que la escritura generada por IA puede ser indistinguible de la escritura humana en algunos casos. Los autores también examinaron las razones que los revisores dieron para sus decisiones. Descubrieron que los revisores a menudo se basaban en la presencia o ausencia de ciertos rasgos lingüísticos, como la coherencia y la cohesión, para determinar si un resumen fue generado por IA o escrito por un ser humano. Sin embargo, también encontraron que los revisores a veces se basaban en la especificidad o vaguedad de los detalles para tomar sus decisiones.

Además de examinar la capacidad de los lingüistas para distinguir entre la escritura generada por IA y la escritura humana, los autores también exploraron cuestiones éticas relacionadas con el uso de chatbots de IA en la investigación lingüística aplicada. Señalaron que el uso de chatbots de IA plantea preguntas sobre la autoría y la originalidad, y que los investigadores deben ser transparentes sobre el uso de chatbots de IA en su trabajo.

En general, este artículo destaca la importancia de examinar críticamente el uso de chatbots de IA en la investigación lingüística aplicada y de ser transparentes sobre su uso. Los autores señalan que, si bien la escritura generada por IA puede ser indistinguible de la escritura humana en diversos casos, los lingüistas aún tienen un papel importante que desempeñar en la investigación lingüística aplicada y deben seguir siendo críticos y reflexivos en su trabajo.

Compártelo:
Twitter
LinkedIn
Email
WhatsApp
COLABORA

¿Quieres colaborar con esta iniciativa o preguntarnos algo?

PUES
Newsletter
Te enviaremos de vez en cuando (no nos gusta el spam!) una actualización con las novedades más interesantes

Al suscribirte aceptas nuestra 
Política de Privacidad