Aprendizaje profesional · Docentes, Bibliotecarios, Coaches, Profesorado universitario · 50 minutos
El modelo de lenguaje humano
Los educadores se convierten en un diminuto modelo de lenguaje con papelitos y un vaso, y descubren de primera mano por qué un texto fluido de IA puede estar equivocado con total seguridad.
Los chatbots de IA generativa no buscan datos como lo hace un buscador o una base de datos. Generan texto prediciendo una y otra vez el siguiente fragmento de texto más probable, a partir de patrones aprendidos de enormes cantidades de datos de entrenamiento. En esta sesión sin pantallas, los equipos “entrenan” a mano un modelo de lenguaje de diez oraciones, generan oraciones nuevas sacando papelitos de un vaso y luego le hacen a su modelo una pregunta sobre un dato. Las respuestas fluidas, verosímiles y equivocadas que salen son la explicación más memorable de las alucinaciones que la mayoría de los educadores recibirá jamás, y una que pueden usar con sus estudiantes al día siguiente.
En este paquete
- Hoja A: La diminuta biblioteca de entrenamiento (lectura)
- Hoja B: Hoja de conteo de la siguiente palabra (organizador)
- Hoja C: Tarjetas para ejecutar el modelo (tarjetas para recortar)
- Clave del facilitador (última página)
Indicadores ELE de TCEA
- AI1.1 Sé cómo funcionan los sistemas de IA y cuáles son sus capacidades en contextos educativos.
- AI1.2 Puedo explicar los conceptos de IA en términos sencillos a diversas partes interesadas.
- AI1.3 Soy consciente de las limitaciones actuales y los posibles sesgos de los sistemas de IA.
- AI4.1 Sé cómo promover habilidades de pensamiento crítico en relación con la información generada por IA.
Guía completa para el facilitador: mglearn.github.io/eles/es/activities/human-language-model.html
Hoja A de El modelo de lenguaje humano
La diminuta biblioteca de entrenamiento
Esto es TODO lo que tu modelo leerá en su vida. Trata las mayúsculas como minúsculas. Trata cada punto como la palabra FIN.
11. El maestro abrió el libro.
22. El alumno abrió el portón.
33. El maestro leyó el libro para el grupo.
44. El grupo leyó el cuento.
55. El alumno leyó el cuento para el maestro.
66. El director abrió el festival.
77. El grupo ganó el premio.
88. El alumno ganó el concurso de ortografía en mayo.
99. El maestro ganó el premio en mayo.
1010. El libro ganó el premio en junio.
Hoja B de El modelo de lenguaje humano
Hoja de conteo de la siguiente palabra
Para cada palabra, haz una marca de conteo por cada palabra que vino justo después de ella en la biblioteca. Luego escribe un papelito por cada marca y archívalo bajo esa palabra.
| Palabra | Palabras que vinieron después (cuenta cada una) | Total de papelitos | Siguiente palabra más probable |
|---|---|---|---|
| el | |||
| maestro | |||
| alumno | |||
| grupo | |||
| libro | |||
| abrió / leyó / ganó | |||
| cuento | |||
| premio | |||
| concurso → de → ortografía → en | |||
| en | |||
| director / portón / festival / mayo / junio / para |
Hoja C de El modelo de lenguaje humano
Tarjetas para ejecutar el modelo
Recórtalas y apílalas boca abajo. Sácalas en orden. El reverso es la clave del facilitador; imprímelo en una hoja aparte.
Página 1 de 2
Tarjeta 1 · Generar
Empieza con “El”. Llena el vaso con todos los papelitos archivados bajo “el”. Saca uno. Luego mete los papelitos de esa palabra y vuelve a sacar. Detente al llegar a FIN. Haz cuatro oraciones.
Tarjeta 2 · Observar
Encierra en un círculo cualquier oración generada que NO aparezca en la biblioteca. ¿Es gramatical? ¿Es verdadera? ¿Tiene sentido?
Tarjeta 3 · La misma instrucción, dos veces
Empieza dos veces desde “El alumno”. ¿Obtienes la misma oración las dos veces? ¿Por qué sí o por qué no?
Tarjeta 4 · Pregunta sobre un dato
Pregúntale a tu modelo: “¿Quién ganó el concurso de ortografía en junio?”. Genera desde “El” hasta obtener una oración que mencione el concurso de ortografía.
Tarjeta 5 · Pregunta sobre un dato
Pregúntale a tu modelo: “¿Qué ganó el director?”. Genera desde “El director”.
Tarjeta 6 · Pregunta sobre un dato
Pregúntale a tu modelo: “¿Quién leyó el libro?”. Genera desde “El”. Compara tres ejecuciones.
Tarjeta 7 · Los modelos reales son diferentes
Nuestro modelo predice a partir de UNA palabra anterior. ¿Cómo cambiaría el resultado si mirara toda la oración hasta ese punto?
Tarjeta 8 · Los modelos reales son diferentes
Nuestro modelo guarda papelitos literales. ¿Qué cambiaría si se entrenara con una enorme porción de internet pública y de libros?
Hoja C de El modelo de lenguaje humano
Tarjetas para ejecutar el modelo
Recórtalas y apílalas boca abajo. Sácalas en orden. El reverso es la clave del facilitador; imprímelo en una hoja aparte.
Página 2 de 2
Tarjeta 9 · Los modelos reales son diferentes
Algunas herramientas de IA buscan en la web o leen un documento cargado antes de responder. ¿Eso resuelve las alucinaciones?
Tarjeta 10 · Explícalo
Escribe una explicación de un minuto sobre las alucinaciones de la IA para tus estudiantes, un padre de familia o tus colegas. Incluye: la predicción a partir de patrones, por qué puede ser falsa y algo que hacer al respecto.
Tarjeta 11 · Respuesta simulada de un chatbot (ficticia)
RESULTADO SIMULADO, PUEBLO FICTICIO: “El Concurso de Ortografía de Maple Hollow fue fundado en 1962 por la bibliotecaria Ruth Calloway, y el campeón de 1988, Daniel Ortiz, llegó a ganar el título estatal”.
Solo para el facilitador: El modelo de lenguaje humano
Clave de respuestas y notas
Hoja C: Tarjetas para ejecutar el modelo
- Tarjeta 1 · Generar
- Conteos clave: después de “el”: maestro 4, libro 3, alumno 3, grupo 3, premio 3, cuento 2, portón 1, director 1, festival 1, concurso 1 (22 papelitos). Después de “abrió”, “leyó” y “ganó”: siempre “el”. Después de “para”: siempre “el”. Después de “en”: mayo 2, junio 1.
- Tarjeta 2 · Observar
- La mayoría de las oraciones generadas son combinaciones nuevas: gramaticales, a menudo con apariencia sensata y a veces absurdas (“El portón ganó el premio en junio”). Texto nuevo a partir de patrones viejos: eso es lo que significa “generativa”.
- Tarjeta 3 · La misma instrucción, dos veces
- Por lo general, no. Cada sorteo es aleatorio, ponderado por la frecuencia. Los chatbots reales también hacen muestreo, y por eso la misma instrucción puede producir respuestas distintas en distintos intentos.
- Tarjeta 4 · Pregunta sobre un dato
- La biblioteca dice que un alumno ganó en MAYO. Nadie ganó en junio. Aun así, el modelo puede producir fácilmente “El maestro ganó el concurso de ortografía en junio”. Fluida, específica y falsa: una alucinación.
- Tarjeta 5 · Pregunta sobre un dato
- El único patrón después de “director” es “abrió”, así que el modelo dice “El director abrió el…”. No puede decir “No lo sé” porque nada en su diseño comprueba si sabe algo. Los chatbots reales están ajustados para admitir a veces la incertidumbre, pero ese ajuste es imperfecto.
- Tarjeta 6 · Pregunta sobre un dato
- La biblioteca dice que el maestro leyó el libro, pero las ejecuciones pueden producir “El grupo leyó el libro” o “El alumno leyó el libro para el maestro”, y la biblioteca no dice ninguna de las dos cosas. Cuanto más a menudo aparece un patrón en el entrenamiento, más probable es la respuesta correcta. Los datos poco frecuentes son frágiles.
- Tarjeta 7 · Los modelos reales son diferentes
- Sería mucho más coherente. Los modelos de lenguaje grandes reales consideran tramos largos de contexto (muchas páginas de texto), y por eso su escritura fluye. Un mejor contexto reduce los disparates, pero no agrega una comprobación de la verdad.
- Tarjeta 8 · Los modelos reales son diferentes
- Los modelos reales aprenden miles de millones de pesos numéricos en una red neuronal en lugar de guardar montones de conteos, y trabajan con tokens (a menudo fragmentos de palabras). Pueden generalizar de maneras muy potentes. Sus patrones también arrastran los vacíos y los sesgos de sus textos de entrenamiento.
- Tarjeta 9 · Los modelos reales son diferentes
- Ayuda, porque ahora la instrucción contiene texto relevante del cual partir. No garantiza la exactitud: la herramienta puede leer mal una fuente, mezclar fuentes o citar una página que no dice lo que afirma. Verificar sigue siendo tarea del usuario.
- Tarjeta 10 · Explícalo
- Ejemplo sólido: “Los chatbots de IA escriben prediciendo qué palabras suelen venir después, según patrones en muchísimo texto. Eso hace que las respuestas suenen correctas aunque no haya ningún dato detrás. Por eso tratamos las respuestas de la IA como un primer borrador y verificamos las partes importantes en una fuente confiable”.
- Tarjeta 11 · Respuesta simulada de un chatbot (ficticia)
- Maple Hollow es ficticio, así que todos los nombres y fechas son inventados, pero fíjate en lo real que suena. Los nombres, las fechas y los títulos específicos son justamente lo que produce un modelo cuando tiene un patrón (“fundado en [año] por [persona]”) pero no un dato.