Speaker A
Ustedes saben que en Una Mirada hemos tratado recurrentemente el tema de la inteligencia artificial y como una de las herramientas de la inteligencia artificial, eh, pues se popularizó el chat GPT.
Análisis de tecnologías para detectar uso de GPT-3 en trabajos académicos y la necesidad de enfoques pedagógicos actualizados.
Key Takeaways
- Las herramientas actuales para detectar textos generados por IA no son completamente confiables, especialmente si el texto es modificado.
- Es fundamental actualizar los métodos pedagógicos y de evaluación para enfrentar el uso de IA en la educación.
- Las tasas de falsos positivos y negativos son críticas para evitar daños a estudiantes y mantener la integridad académica.
- La detección automática debe ser una alerta para análisis más profundos, no una prueba definitiva de mala conducta.
- La formación docente y el diseño de tareas inteligentes son clave para promover un aprendizaje auténtico y responsable.
Summary
- El video aborda el impacto del uso de chat GPT en la integridad académica y el temor a que los estudiantes evadan responsabilidades escolares.
- Se presentan diversas herramientas tecnológicas como Turnitin, GPTZero y Compilatio para detectar textos generados por IA.
- Investigaciones muestran que estas herramientas tienen dificultades para detectar textos generados por IA que han sido ligeramente modificados o parafraseados.
- El estudio involucró la creación de textos originales, generados por IA y modificados manualmente o con parafraseadores como QuillBot para probar la eficacia de los detectores.
- Las herramientas detectan con alta precisión textos escritos por humanos, pero fallan en identificar textos generados o alterados por IA.
- Expertos señalan que los métodos actuales de evaluación universitaria están desactualizados frente a estas tecnologías.
- Se enfatiza la importancia de conocer las tasas de falsos positivos y negativos para evitar acusaciones injustas o permitir trampas.
- OpenAI lanzó una herramienta propia para detectar texto generado por chat GPT, aunque con baja tasa de detección efectiva.
- Se destaca la necesidad de formar a docentes en tecnología y psicopedagogía para asignar tareas que permitan evaluar el aprendizaje real.
- Se recomienda complementar la evaluación escrita con métodos adicionales como cuestionamientos orales para validar conocimientos.
Full Transcript — Download SRT & Markdown
Speaker A
Tanto el chat GPT, tanto así que hubo una versión 3 y una versión 4 actualmente, con la popularización del chat GPT, pues se temió que utilizándolo tanto los estudiantes, pudiera constituirse esto en una herramienta para sin hacer el trabajo, hacer el trabajo en la escuela.
Speaker A
Así que una serie de plataformas tecnológicas recurrieron a la ayuda para detectar lo que se hacía.
Speaker A
Así que vamos a ver cómo funciona el chat GPT, cómo detectar en los estudiantes que lo usaron y que están evadiendo responsabilidades escolares, este es nuestro tema de hoy en Una Mirada.
Speaker A
Muchos estudiantes vieron en esta herramienta la posibilidad de cumplir con sus responsabilidades escolares, a veces sin hacer ningún tipo de investigación o estudio del tema asignado.
Speaker A
Por eso, se acrecentó el miedo a que se magnificara y se masificara el uso del chatbot para hacer redacciones aprobables con poco o ningún esfuerzo.
Speaker A
En respuesta a estos temores, algunas startups empezaron a crear productos que prometían detectar si el texto había sido escrito por un humano o por una máquina, el problema es que, según una investigación, es relativamente sencillo engañar a estas herramientas y evitar su detección.
Speaker A
Débora Weber, profesora de medios de comunicación e informática en la Universidad de Ciencias Aplicadas en Berlín, trabajó con un grupo de investigadores de diversas universidades para evaluar la capacidad de detectar texto escrito por chat GPT de OpenAI de 14 herramientas.
Speaker A
Entre ellas, Turnitin, GPTZero y Compilatio, la mayoría de estas herramientas buscan rasgos distintivos del texto generado por inteligencia artificial como la repetición y calculan la probabilidad de que el texto haya sido generado por inteligencia artificial.
Speaker A
Sin embargo, el equipo descubrió que todas las herramientas aprobadas y probadas tenían problemas para detectar el texto generado por chat GPT que había sido ligeramente modificado por humanos y trastocado por una herramienta de parafraseo, lo que sugiere que lo único que tiene que hacer un estudiante es adaptar ligeramente las redacciones generadas por la inteligencia artificial para burlar los detectores.
Speaker A
De paso aclaramos que no pretendemos dar ideas en este sentido a los estudiantes, estas herramientas no funcionan, afirma Weber, no hacen lo que dicen que hacen, no son detectores de inteligencia artificial.
Speaker A
Los investigadores evaluaron las herramientas escribiendo redacciones cortas de nivel universitario sobre diversos temas como la ingeniería civil.
Speaker A
Informática, historia, economía, lingüística y literatura, ellos mismos escribieron los ensayos para asegurarse de que el texto no estuviera ya en internet.
Speaker A
A continuación, el equipo utilizó chat GPT para generar dos textos adicionales cada uno, modificado ligeramente cuyo objetivo era el de ocultar que habían sido generados por IA, un conjunto fue editado manualmente por investigadores que reordenaron frases e intercambiaron palabras, mientras que el otro fue reescrito utilizando una herramienta de parafraseo de la inteligencia artificial llamada QuillBot.
Speaker A
Al final tenían 54 documentos para probar las herramientas de detección.
Speaker A
Descubrieron que si bien las herramientas identificaban bien el texto escrito por un humano con una precisión media del 96%, no lo hacían tan bien con el texto generado por la IA, especialmente cuando había sido modificado.
Speaker A
Este tipo de estudios también revela lo anticuados que están los métodos actuales de las universidades para evaluar el trabajo de estudiantes, afirma Vitomir Kovanovic, profesor titular que construye modelos de aprendizaje automático en la inteligencia artificial de la Universidad de Australia Meridional.
Speaker A
Daphne Ippolito, investigadora científica senior de Google, especializada en generación de lenguaje natural, quien no trabajó en el proyecto, plantea otra preocupación.
Speaker A
Dice, si se van a emplear sistemas de detección automática en entornos educativos, es crucial conocer sus tasas de falsos positivos, ya que acusar incorrectamente a un estudiante de hacer trampas puede tener consecuencias nefastas para su carrera académica y potenciales problemas legales para la universidad.
Speaker A
La tasa de falsos negativos también es importante porque si demasiados textos generados por IA pasan como escritos por humanos, el sistema de detección no es útil.
Speaker A
La detección de escritura proveniente de IA simplemente alerta al usuario de la presencia de una escritura, destacando las áreas en las que puede ser necesaria mayor discusión, no determina el uso apropiado o inapropiado de herramientas de escritura IA o si eso constituye trampa o mala conducta basada en la evaluación y la instrucción proporcionada por el profesor.
Speaker A
A principios de este año, OpenAI presentó una herramienta diseñada para detectar texto producido por chat GPT, admitiendo que solo marcaba el 26% del texto escrito como IA, como probablemente escrito con IA, entre comillas.
Speaker A
OpenAI señaló a que las herramientas diseñadas para detectar contenido generado por IA está lejos de ser infalibles, muchos de ellos no son muy precisos, pero tampoco son todos un completo desastre, por ejemplo, Turnitin consiguió alcanzar cierta precisión en la detección de una tasa de falsos positivos bastante baja.
Speaker A
Por un lado, queda la necesidad de crear mejores y más eficientes herramientas que permita a profesores y personal de evaluación educativa, detectar cuándo ha sido utilizada una IA en un texto, pero al final, lo urgente es la necesidad de tener maestros cada vez más actualizados con la tecnología, con mejores criterios psicopedagógicos y tecnológicos, a fin de que puedan ser capaces de asignar tareas inteligentes, evaluar la forma en que los estudiantes puedan demostrar lo aprendido de una manera en que en la que no solo el texto escrito entregado sea su forma de comprobación del conocimiento.
Speaker A
Debe fomentarse un auténtico enfoque pedagógico que incentive el aprendizaje de buenas prácticas de investigación, redacción, etcétera.
Speaker A
Corresponde a los centros escolares y a los profesores que califican los documentos analizados, validar o rechazar los conocimientos realmente adquiridos por el autor del documento en cuestión, por ejemplo, desarrollando formas adicionales de investigación como el cuestionamiento oral, preguntas adicionales en un entorno controlado en el aula, entre otros.
Topics:integridad académicachat GPTdetección IAeducaciónherramientas tecnológicasTurnitinGPTZeroparafraseoevaluación educativapsicopedagogía
![Wondimagegn chane [kumkumee] ወንድማገኝ ጫኔ |ኩምኩሜ| New Ethio… — Transcript](https://i.ytimg.com/vi/6G1d_D0c0iA/maxresdefault.jpg)
