Bồi dưỡng chuyên môn · Chuyên viên hỗ trợ, Giáo viên, Giảng viên, Lãnh đạo · 75 phút
AI có thực sự giúp ích không?
Các nhà giáo phân tích kỹ một bản báo cáo hư cấu kiểu "hiệu quả rồi!", sau đó thiết kế một cuộc tìm hiểu nhỏ, trung thực trong lớp học để thực sự cho thấy một nhiệm vụ có hỗ trợ của AI có cải thiện việc học hay không.
"Học sinh rất thích" và "điểm số tăng lên" là những bằng chứng thường được đưa ra nhất cho việc dùng AI trong lớp học, nhưng cả hai đều không cho thấy AI là nguyên nhân dẫn đến việc học. Quý vị không cần một khoản tài trợ nghiên cứu để làm tốt hơn. Trong buổi này, người tham gia phân loại các thiết kế nghiên cứu theo những gì chúng có thể kết luận một cách trung thực, phản biện bản báo cáo tìm hiểu của một giáo viên hư cấu, rồi lập kế hoạch một phép so sánh nhỏ, công bằng cho lớp học hoặc môn học của mình: một mục tiêu học tập, một phép so sánh công bằng nhất có thể trong thực tế, sản phẩm của học sinh được chấm mà không biết thuộc điều kiện nào, và một kế hoạch hành động dựa trên bất kỳ kết quả nào, kể cả "không giúp được gì."
Trong bộ tài liệu này
- Phiếu A: Phân loại: Chúng ta có biết được không? (phân loại thẻ)
- Phiếu B: Báo cáo tìm hiểu mẫu: Các lớp sinh học của cô Delgado (bài đọc)
- Phiếu C: Kế hoạch tìm hiểu nhỏ và trung thực (phiếu bài tập)
- Đáp án cho người điều phối (trang cuối)
Chỉ báo ELE của TCEA
- AI3.2 Tôi có thể đánh giá hiệu quả của các biện pháp can thiệp học tập được tăng cường bằng AI.
- AI4.3 Tôi nhận thức được các chiến lược phát triển kỹ năng giải quyết vấn đề liên quan đến AI.
- AI5.2 Tôi có thể sử dụng AI như một công cụ đổi mới trong các dự án giáo dục và nghiên cứu.
- AI3.1 Tôi biết cách khai thác các công cụ AI để cá nhân hóa và nâng cao trải nghiệm học tập.
Hướng dẫn đầy đủ cho người điều phối: mglearn.github.io/eles/vi/activities/did-the-ai-help.html
Phiếu A cho AI có thực sự giúp ích không?
Phân loại: Chúng ta có biết được không?
Mọi tình huống đều là hư cấu. Phân loại mỗi tình huống theo những gì nó có thể cho chúng ta biết một cách trung thực về việc AI có cải thiện việc học hay không.
Có thể cho thấy AI đã giúp việc học
Không biết được: có điều khác có thể giải thích
Đo việc sử dụng hoặc sự yêu thích, không phải việc học
Phiếu A cho AI có thực sự giúp ích không?
Phân loại: Chúng ta có biết được không?: thẻ cần phân loại
Cắt rời các dải giấy. Xếp từng dải vào đúng ô trên tấm phân loại và sẵn sàng giải thích lý do.
Học sinh đã dùng gia sư AI tổng cộng 400 phút trong tháng này.
87 học sinh đã bấm ngón cái lên cho tính năng nhận xét của AI.
Giáo viên nói chương học có hỗ trợ của AI "có cảm giác diễn ra tốt hơn."
Lớp tiết 2 dùng AI nhận xét còn lớp tiết 6 thì không; lớp tiết 2 đạt điểm cao hơn ở bài luận.
Học sinh đạt điểm cao hơn sau khi dùng gia sư AI so với trước đó, nhưng bài kiểm tra sau diễn ra sau thêm ba tuần giảng dạy.
Nhóm dùng AI có thêm một buổi học để chỉnh sửa; nhóm kia thì không.
Giáo viên tự chấm tất cả bài luận và biết bài nào có dùng AI nhận xét.
Những học sinh tình nguyện dùng thử công cụ AI đạt điểm cao hơn những bạn không dùng.
Cả hai lớp học Chương 1 với AI nhận xét và Chương 2 với bạn học nhận xét (rồi hoán đổi ở Chương 3 và 4); một đồng nghiệp chấm các bài luận đã được mã hóa mà không biết bài nào thuộc nhóm nào.
Trong cùng một lớp, học sinh được phân ngẫu nhiên bằng cách tung đồng xu để dùng câu hỏi luyện tập do AI tạo hoặc do giáo viên soạn trong một tuần, với thời gian bằng nhau, rồi làm cùng một bài kiểm tra ngắn.
Bản nháp thứ hai của học sinh sau khi nhận xét từ AI đã sửa được nhiều lỗi cụ thể theo bảng tiêu chí được chỉ ra ở bản nháp đầu hơn so với các bản nháp chỉ chỉnh sửa theo danh sách kiểm tra, do hai giáo viên chấm ẩn danh.
Trang web của nhà cung cấp nói rằng công cụ này giúp cải thiện điểm số ở các trường đối tác.
Phiếu B cho AI có thực sự giúp ích không?
Báo cáo tìm hiểu mẫu: Các lớp sinh học của cô Delgado
Giáo viên, trường học và dữ liệu đều HƯ CẤU, được viết để tập huấn. Hãy đọc với vai trò người bạn phản biện: điều gì làm tốt, điều gì khác có thể giải thích kết quả, quý vị sẽ thay đổi gì?
1Câu hỏi. Nhận xét của AI về bản nháp báo cáo thí nghiệm có giúp học sinh sinh học lớp 9 của tôi viết phần kết luận tốt hơn không? (Cô Delgado, Trường Trung học Cedar Ridge, hư cấu)
2Những gì tôi đã làm. Lớp tiết 3 của tôi (26 học sinh) nhận nhận xét của AI về bản nháp phần kết luận từ một chatbot được khu học chánh phê duyệt, dùng một câu lệnh do tôi viết theo bốn tiêu chí trong bảng tiêu chí của chúng tôi. Lớp tiết 5 của tôi (24 học sinh) thay vào đó thực hiện nhận xét chéo theo danh sách kiểm tra. Nhóm dùng AI có thêm một buổi học để chỉnh sửa vì lớp tiết 5 mất một ngày do buổi chào cờ toàn trường.
3Cách tôi đo lường. Tôi chấm mọi phần kết luận cuối cùng bằng bảng tiêu chí bốn mức của chúng tôi (luận điểm, bằng chứng, lập luận và giới hạn). Tôi tự chấm tất cả trong một ngày cuối tuần.
4Kết quả (dữ liệu hư cấu). Tiết 3 (AI nhận xét): điểm bản nháp trung bình 2.1, điểm bài cuối trung bình 2.9. Tiết 5 (danh sách kiểm tra nhận xét chéo): điểm bản nháp trung bình 2.0, điểm bài cuối trung bình 2.4.
5Kết luận của tôi. Nhận xét của AI hiệu quả hơn nhận xét chéo đối với phần kết luận báo cáo thí nghiệm. Tôi sẽ dùng nó với tất cả các lớp của mình vào học kỳ tới và giới thiệu nó cho tổ khoa học.
6Những gì tôi nhận thấy nhưng không đo lường. Một số học sinh lớp tiết 3 chép các câu gợi ý của AI vào phần kết luận gần như nguyên văn. Vài học sinh lớp tiết 5 nói rằng cuộc trao đổi với bạn đã giúp các em lần đầu tiên hiểu "lập luận" nghĩa là gì.
Phiếu C cho AI có thực sự giúp ích không?
Kế hoạch tìm hiểu nhỏ và trung thực
Lập kế hoạch cho một phép so sánh công bằng mà quý vị có thể thực hiện trong 4–6 tuần. Giữ cho nó nhỏ. Viết quy tắc quyết định TRƯỚC KHI xem bất kỳ kết quả nào.
Câu hỏi của tôi: ______ (nhiệm vụ có hỗ trợ của AI) có giúp học sinh của tôi ______ (một mục tiêu học tập cụ thể) tốt hơn ______ (phiên bản không dùng AI) không?
Phép so sánh: ai làm phiên bản nào, và khi nào? (hoán đổi, phân ngẫu nhiên trong một lớp, hoặc hai bài tập). Làm sao để thời gian và số lần chỉnh sửa bằng nhau?
Bằng chứng: tôi sẽ thu thập sản phẩm nào của học sinh, và tôi sẽ chấm theo những tiêu chí nào trong bảng tiêu chí hoặc danh sách kiểm tra?
Chấm ẩn danh: tôi sẽ che tên và điều kiện như thế nào? Ai sẽ chấm một phần hoặc toàn bộ sản phẩm cùng tôi?
Còn điều gì khác có thể giải thích sự khác biệt? (liệt kê ít nhất ba điều, và tôi sẽ làm gì với từng điều)
Đạo đức và quyền riêng tư: làm sao tôi bảo đảm không học sinh nào mất đi sự hỗ trợ mà các em được hưởng, và không có dữ liệu định danh nào được đưa vào công cụ AI?
Quy tắc quyết định, viết ngay bây giờ: Tôi sẽ GIỮ LẠI nếu… ĐIỀU CHỈNH nếu… BỎ nếu…
Câu hỏi của người bạn phản biện: "Còn điều gì khác có thể giải thích?"
Chỉ dành cho người điều phối, AI có thực sự giúp ích không?
Đáp án và ghi chú
Phiếu A: Phân loại: Chúng ta có biết được không?
| Mục | Xếp loại | Lý do |
|---|---|---|
| Học sinh đã dùng gia sư AI tổng cộng 400 phút trong tháng này. | Đo việc sử dụng hoặc sự yêu thích, không phải việc học | Thời gian dùng công cụ là việc sử dụng, không phải việc học. |
| 87 học sinh đã bấm ngón cái lên cho tính năng nhận xét của AI. | Đo việc sử dụng hoặc sự yêu thích, không phải việc học | Sự hài lòng quan trọng nhưng không cho thấy việc học. |
| Giáo viên nói chương học có hỗ trợ của AI "có cảm giác diễn ra tốt hơn." | Đo việc sử dụng hoặc sự yêu thích, không phải việc học | Một ấn tượng, không phải bằng chứng về việc học của học sinh. |
| Lớp tiết 2 dùng AI nhận xét còn lớp tiết 6 thì không; lớp tiết 2 đạt điểm cao hơn ở bài luận. | Không biết được: có điều khác có thể giải thích | Nhóm học sinh khác nhau, thời điểm trong ngày khác nhau. |
| Học sinh đạt điểm cao hơn sau khi dùng gia sư AI so với trước đó, nhưng bài kiểm tra sau diễn ra sau thêm ba tuần giảng dạy. | Không biết được: có điều khác có thể giải thích | Chỉ riêng việc giảng dạy cũng có thể giải thích sự tiến bộ. |
| Nhóm dùng AI có thêm một buổi học để chỉnh sửa; nhóm kia thì không. | Không biết được: có điều khác có thể giải thích | Thêm thời gian là một yếu tố gây nhiễu. |
| Giáo viên tự chấm tất cả bài luận và biết bài nào có dùng AI nhận xét. | Không biết được: có điều khác có thể giải thích | Kỳ vọng của người chấm có thể làm lệch điểm mà không ai cố ý. |
| Những học sinh tình nguyện dùng thử công cụ AI đạt điểm cao hơn những bạn không dùng. | Không biết được: có điều khác có thể giải thích | Học sinh tình nguyện có thể khác về động lực hoặc kỹ năng. |
| Cả hai lớp học Chương 1 với AI nhận xét và Chương 2 với bạn học nhận xét (rồi hoán đổi ở Chương 3 và 4); một đồng nghiệp chấm các bài luận đã được mã hóa mà không biết bài nào thuộc nhóm nào. | Có thể cho thấy AI đã giúp việc học | Hoán đổi cộng với chấm ẩn danh xử lý được những yếu tố gây nhiễu lớn nhất. |
| Trong cùng một lớp, học sinh được phân ngẫu nhiên bằng cách tung đồng xu để dùng câu hỏi luyện tập do AI tạo hoặc do giáo viên soạn trong một tuần, với thời gian bằng nhau, rồi làm cùng một bài kiểm tra ngắn. | Có thể cho thấy AI đã giúp việc học | Phân nhóm ngẫu nhiên và thời gian bằng nhau làm phép so sánh công bằng hơn; một tuần là một phép thử nhỏ nhưng trung thực. |
| Bản nháp thứ hai của học sinh sau khi nhận xét từ AI đã sửa được nhiều lỗi cụ thể theo bảng tiêu chí được chỉ ra ở bản nháp đầu hơn so với các bản nháp chỉ chỉnh sửa theo danh sách kiểm tra, do hai giáo viên chấm ẩn danh. | Có thể cho thấy AI đã giúp việc học | Bằng chứng cụ thể, dựa trên sản phẩm, có chấm ẩn danh. |
| Trang web của nhà cung cấp nói rằng công cụ này giúp cải thiện điểm số ở các trường đối tác. | Không biết được: có điều khác có thể giải thích | Thiết kế không rõ, trường được chọn lọc, và nhà cung cấp có lợi ích gắn với kết quả. |