Aprendizaje profesional · Líderes, Profesorado universitario, Coaches · 75 minutos
¿Dos niveles de grado? Afirmaciones de los proveedores frente a la evidencia
Los líderes rastrean el resultado estrella de un producto de IA hasta el estudio que lo respalda, leen los términos de servicio línea por línea y diseñan el piloto local que de verdad respondería a la pregunta "¿Funciona aquí?".
"¡Los estudiantes mejoraron dos niveles de grado!" es el tipo de afirmación que mueve presupuestos. También es una afirmación que rara vez se enseña a rastrear a los líderes. En esta sesión, los equipos leen la publicidad de un producto ficticio de tutoría con IA, el resumen de eficacia detrás del titular y extractos de sus términos de servicio. Clasifican afirmaciones en evidencia sólida, evidencia débil y alertas de privacidad, y luego aplican las mismas acciones en línea a un producto real que su distrito esté considerando. La sesión termina con el diseño de un pequeño piloto local, porque la pregunta que importa no es si un producto funcionó en algún lugar, sino si mejora el aprendizaje de sus estudiantes.
En este paquete
- Hoja A: Paquete del tutor StepUp AI Tutor (lectura)
- Hoja B: Clasificación ¿Evidencia o alerta? (clasificación de tarjetas)
- Hoja C: Libro de registro de afirmaciones y evidencia (organizador)
- Clave del facilitador (última página)
Indicadores ELE de TCEA
- L1.3 Conozco las tecnologías educativas emergentes y su posible impacto en la enseñanza y el aprendizaje.
- AI3.2 Puedo evaluar la eficacia de las intervenciones de aprendizaje enriquecidas con IA.
- L3.3 Conozco diversas herramientas digitales de evaluación y sus usos adecuados en la educación.
- AI2.3 Soy consciente de la importancia de la transparencia y la rendición de cuentas en los sistemas de IA.
Guía completa para el facilitador: mglearn.github.io/eles/es/activities/vendor-claims-vs-evidence.html
Hoja A de ¿Dos niveles de grado? Afirmaciones de los proveedores frente a la evidencia
Paquete del tutor StepUp AI Tutor
StepUp AI Tutor y NimbleNorth Learning son ficticios, creados para la capacitación. Resalte las afirmaciones (amarillo), la evidencia (verde) y los términos sobre datos de los estudiantes (rosa).
1De la página publicitaria: "StepUp AI Tutor: ¡Los estudiantes que usaron StepUp avanzaron DOS NIVELES DE GRADO en lectura en un semestre! Nuestra IA basada en la investigación y libre de sesgos se adapta a cada estudiante, para que ninguno se quede atrás. Con la confianza de más de 1,000 escuelas. Cumple plenamente con FERPA y COPPA. Sus datos nunca se venden."
2De la página publicitaria, continuación: "El motor patentado de StepUp se basa en la ciencia de la lectura y personaliza cada lección en tiempo real. A los maestros les encanta: '¡Mis estudiantes están tan motivados que piden usar StepUp en el recreo!' — una maestra de 5.º grado."
3Del Resumen de eficacia (un PDF de cuatro páginas enlazado al final de la página, titulado "Informe de investigación"): "En primavera, 40 estudiantes de 4.º a 6.º grado de una escuela asociada usaron StepUp 30 minutos al día como parte del programa de intervención intensiva en lectura de la escuela. Los estudiantes fueron seleccionados para la intervención porque obtuvieron puntajes por debajo del nivel de grado en la evaluación de referencia de otoño."
4Resumen de eficacia, continuación: "Los estudiantes presentaron la StepUp Reading Level Check al principio y al final del semestre. El nivel de lectura StepUp del estudiante promedio subió de 2.8 a 4.9, un avance de 2.1 niveles de grado. De los 52 estudiantes que empezaron, 40 completaron el programa. El estudio lo realizó el equipo de investigación de NimbleNorth Learning."
5Resumen de eficacia, continuación: "Los maestros informaron que los estudiantes estaban más motivados. Las investigaciones futuras incluirán más escuelas." No se menciona ningún grupo de comparación. El informe no dice si fue revisado por pares.
6De los Términos de servicio (sección 7.2): "NimbleNorth y sus afiliadas podrán usar el Contenido del usuario, incluidas las respuestas y los escritos de los estudiantes, para operar, mejorar y desarrollar nuestros productos y servicios, incluido el entrenamiento de nuestros modelos de IA. El contenido que se usa para mejoras se desidentifica."
7Términos de servicio, sección 7.5: "No vendemos información personal. Podemos compartir información con proveedores de servicios y afiliadas, y en relación con una fusión, adquisición o venta de activos."
8Términos de servicio, sección 11: "Podemos actualizar estos Términos en cualquier momento. Los cambios entran en vigor cuando se publican en esta página. El uso continuado del Servicio constituye su aceptación." Sección 9: "Los datos desidentificados podrán conservarse indefinidamente."
Hoja B de ¿Dos niveles de grado? Afirmaciones de los proveedores frente a la evidencia
Clasificación ¿Evidencia o alerta?
Clasifiquen cada afirmación. En el reverso de cada tira, escriban la pregunta que le harían al proveedor.
Evidencia sólida
Evidencia débil o ausente
Alerta de privacidad o de uso de datos
Hoja B de ¿Dos niveles de grado? Afirmaciones de los proveedores frente a la evidencia
Clasificación ¿Evidencia o alerta?: tarjetas para clasificar
Recorta las tiras. Coloca cada una en el tapete de clasificación y prepárate para explicar por qué.
Página 1 de 2
Los estudiantes avanzaron 2.1 niveles de grado en la StepUp Reading Level Check.
No se menciona ningún grupo de comparación.
Cuarenta estudiantes en una sola escuela.
Doce de los 52 estudiantes no completaron el programa y no se contaron.
El estudio lo realizó el propio equipo de investigación del proveedor.
"IA libre de sesgos"
"Con la confianza de más de 1,000 escuelas."
Una cita de una maestra sobre la motivación.
"Cumple plenamente con FERPA y COPPA."
Una evaluación independiente con un grupo de comparación de estudiantes parecidos, publicada con su metodología, que muestra avances en una evaluación estatal o con normas nacionales.
Las respuestas y los escritos de los estudiantes pueden usarse para entrenar modelos de IA.
La información puede compartirse en una fusión, adquisición o venta de activos.
Hoja B de ¿Dos niveles de grado? Afirmaciones de los proveedores frente a la evidencia
Clasificación ¿Evidencia o alerta?: tarjetas para clasificar
Recorta las tiras. Coloca cada una en el tapete de clasificación y prepárate para explicar por qué.
Página 2 de 2
Los términos pueden cambiar cuando se publican; el uso continuado significa aceptación.
Los datos desidentificados pueden conservarse indefinidamente.
Hoja C de ¿Dos niveles de grado? Afirmaciones de los proveedores frente a la evidencia
Libro de registro de afirmaciones y evidencia
Úsenlo primero para StepUp y luego para un producto real. Rastreen al menos una afirmación hasta su fuente.
| Afirmación del proveedor | Evidencia que nos convencería | Lo que el proveedor realmente ofrece | Brecha o pregunta para el proveedor | Medida del piloto local |
|---|---|---|---|---|
| "Dos niveles de grado en un semestre" | Estudio independiente, grupo de comparación, evaluación independiente, estudiantes parecidos | Estudio realizado por el proveedor, 40 estudiantes, prueba del propio proveedor, sin comparación | ||
| "Sus datos nunca se venden" | Términos del contrato que cubran el uso, el intercambio, el entrenamiento, la conservación y la eliminación de los datos | |||
Solo para el facilitador: ¿Dos niveles de grado? Afirmaciones de los proveedores frente a la evidencia
Clave de respuestas y notas
Hoja B: Clasificación ¿Evidencia o alerta?
| Elemento | Categoría | Por qué |
|---|---|---|
| Los estudiantes avanzaron 2.1 niveles de grado en la StepUp Reading Level Check. | Evidencia débil o ausente | La medida la creó el proveedor. Pregunten: ¿qué puntaje obtuvieron los estudiantes en una evaluación independiente? |
| No se menciona ningún grupo de comparación. | Evidencia débil o ausente | Los estudiantes en una intervención intensiva quizá habrían mejorado de todos modos. Pregunten: ¿cómo les fue a estudiantes parecidos que no usaron StepUp? |
| Cuarenta estudiantes en una sola escuela. | Evidencia débil o ausente | Una muestra pequeña de un solo entorno quizá no se pueda generalizar. Pregunten: ¿hay resultados de escuelas como la nuestra? |
| Doce de los 52 estudiantes no completaron el programa y no se contaron. | Evidencia débil o ausente | Dejar fuera a quienes no terminaron puede inflar los resultados. Pregunten: ¿cómo les fue a los 52 estudiantes? |
| El estudio lo realizó el propio equipo de investigación del proveedor. | Evidencia débil o ausente | No es automáticamente incorrecto, pero no es independiente. Pregunten: ¿alguien fuera de la empresa lo ha evaluado? |
| "IA libre de sesgos" | Evidencia débil o ausente | Ningún sistema de IA puede prometer esto. Pregunten: ¿cómo se ha revisado su desempeño con distintos grupos de estudiantes, incluidos los estudiantes multilingües? |
| "Con la confianza de más de 1,000 escuelas." | Evidencia débil o ausente | La popularidad no es eficacia. Pregunten: ¿qué resultados han visto esas escuelas? |
| Una cita de una maestra sobre la motivación. | Evidencia débil o ausente | Un testimonio anónimo sobre la motivación no dice nada sobre el aprendizaje. |
| "Cumple plenamente con FERPA y COPPA." | Evidencia débil o ausente | Una autodescripción. Pregunten: ¿firmarán el acuerdo de privacidad de datos de nuestro distrito? |
| Una evaluación independiente con un grupo de comparación de estudiantes parecidos, publicada con su metodología, que muestra avances en una evaluación estatal o con normas nacionales. | Evidencia sólida | Esto es lo que el paquete no contiene. Úsenlo como estándar. |
| Las respuestas y los escritos de los estudiantes pueden usarse para entrenar modelos de IA. | Alerta de privacidad o de uso de datos | El trabajo de los estudiantes se convierte en material para desarrollar productos. Pregunten: ¿puede el distrito excluirse de esto en el contrato? |
| La información puede compartirse en una fusión, adquisición o venta de activos. | Alerta de privacidad o de uso de datos | Los datos de los estudiantes podrían pasar a un nuevo dueño. Pregunten: ¿qué protecciones se mantienen después de una venta? |
| Los términos pueden cambiar cuando se publican; el uso continuado significa aceptación. | Alerta de privacidad o de uso de datos | Es posible que el distrito no note los cambios. Pidan aviso directo y un contrato que prevalezca sobre los términos publicados. |
| Los datos desidentificados pueden conservarse indefinidamente. | Alerta de privacidad o de uso de datos | Pregunten: ¿qué se desidentifica, se puede volver a identificar y cuándo se borran los datos después de que termina el contrato? |