Bồi dưỡng chuyên môn · Lãnh đạo, Giảng viên, Chuyên viên hỗ trợ · 75 phút
Tiến bộ hai cấp lớp? Lời quảng cáo của nhà cung cấp và Bằng chứng
Lãnh đạo lần theo kết quả nổi bật của một sản phẩm AI về nghiên cứu đằng sau nó, đọc kỹ từng dòng điều khoản dịch vụ, và thiết kế một chương trình thí điểm tại địa phương thực sự trả lời được câu hỏi "Nó có hiệu quả ở đây không?"
"Học sinh tiến bộ hai cấp lớp!" là loại tuyên bố có thể làm thay đổi ngân sách. Đó cũng là loại tuyên bố mà lãnh đạo hiếm khi được dạy cách truy nguồn. Trong buổi học này, các nhóm đọc tài liệu tiếp thị của một sản phẩm gia sư AI hư cấu, bản tóm tắt hiệu quả đằng sau tiêu đề đó, và các đoạn trích từ điều khoản dịch vụ. Các nhóm phân loại các nhận định thành bằng chứng mạnh, bằng chứng yếu và dấu hiệu cảnh báo về quyền riêng tư, rồi áp dụng các bước tương tự trên mạng với một sản phẩm thật mà học khu đang cân nhắc. Buổi học kết thúc bằng việc thiết kế một chương trình thí điểm nhỏ tại địa phương, bởi câu hỏi quan trọng không phải là sản phẩm có hiệu quả ở đâu đó hay không, mà là nó có cải thiện việc học cho học sinh của chính quý vị hay không.
Trong bộ tài liệu này
- Phiếu A: Bộ tài liệu Gia sư AI StepUp (bài đọc)
- Phiếu B: Phân loại Bằng chứng hay Dấu hiệu cảnh báo? (phân loại thẻ)
- Phiếu C: Sổ đối chiếu Tuyên bố và Bằng chứng (sơ đồ tổ chức)
- Đáp án cho người điều phối (trang cuối)
Chỉ báo ELE của TCEA
- L1.3 Tôi nhận thức được các công nghệ giáo dục mới nổi và tác động tiềm năng của chúng đến việc dạy và học.
- AI3.2 Tôi có thể đánh giá hiệu quả của các biện pháp can thiệp học tập được tăng cường bằng AI.
- L3.3 Tôi nhận thức được các công cụ đánh giá kỹ thuật số khác nhau và cách sử dụng phù hợp của chúng trong giáo dục.
- AI2.3 Tôi nhận thức được tầm quan trọng của tính minh bạch và trách nhiệm giải trình trong hệ thống AI.
Hướng dẫn đầy đủ cho người điều phối: mglearn.github.io/eles/vi/activities/vendor-claims-vs-evidence.html
Phiếu A cho Tiến bộ hai cấp lớp? Lời quảng cáo của nhà cung cấp và Bằng chứng
Bộ tài liệu Gia sư AI StepUp
StepUp AI Tutor và NimbleNorth Learning là hư cấu, được tạo ra để tập huấn. Tô màu các tuyên bố (vàng), bằng chứng (xanh lá) và điều khoản về dữ liệu học sinh (hồng).
1Từ trang tiếp thị: "Gia sư AI StepUp: Học sinh sử dụng StepUp đã tiến bộ HAI CẤP LỚP môn đọc chỉ trong một học kỳ! AI dựa trên nghiên cứu, không thiên kiến của chúng tôi thích ứng với mọi người học, để không học sinh nào bị tụt lại phía sau. Được hơn 1,000 trường tin dùng. Tuân thủ hoàn toàn FERPA và COPPA. Dữ liệu của quý vị không bao giờ bị bán."
2Từ trang tiếp thị, tiếp theo: "Công cụ đã được cấp bằng sáng chế của StepUp được xây dựng trên nền tảng khoa học về việc đọc và cá nhân hóa mọi bài học theo thời gian thực. Giáo viên rất yêu thích: 'Học sinh của tôi hứng thú đến mức xin được dùng StepUp cả trong giờ ra chơi!' — một giáo viên lớp 5."
3Từ Bản tóm tắt Hiệu quả (một tệp PDF bốn trang được liên kết ở cuối trang, có tên "Tóm tắt Nghiên cứu"): "Vào mùa xuân, 40 học sinh lớp 4–6 tại một trường đối tác đã dùng StepUp 30 phút mỗi ngày trong khuôn khổ chương trình can thiệp đọc chuyên sâu của trường. Học sinh được chọn vào chương trình can thiệp vì có điểm dưới chuẩn cấp lớp trong bài đánh giá mốc học kỳ mùa thu."
4Bản tóm tắt Hiệu quả, tiếp theo: "Học sinh làm Bài kiểm tra Trình độ Đọc StepUp vào đầu và cuối học kỳ. Trình độ Đọc StepUp trung bình của học sinh tăng từ 2.8 lên 4.9, tức tiến bộ 2.1 cấp lớp. Trong số 52 học sinh bắt đầu, có 40 em hoàn thành chương trình. Nghiên cứu do nhóm nghiên cứu của NimbleNorth Learning thực hiện."
5Bản tóm tắt Hiệu quả, tiếp theo: "Giáo viên cho biết học sinh hứng thú hơn. Nghiên cứu trong tương lai sẽ bao gồm thêm các trường khác." Không hề nhắc đến nhóm đối chứng. Bản tóm tắt không cho biết nghiên cứu có được bình duyệt hay không.
6Từ Điều khoản Dịch vụ (mục 7.2): "Nội dung Người dùng, bao gồm câu trả lời và bài viết của học sinh, có thể được NimbleNorth và các công ty liên kết sử dụng để vận hành, cải thiện và phát triển các sản phẩm và dịch vụ của chúng tôi, bao gồm việc huấn luyện các mô hình AI của chúng tôi. Nội dung được dùng để cải thiện đã được khử danh tính."
7Điều khoản Dịch vụ, mục 7.5: "Chúng tôi không bán thông tin cá nhân. Chúng tôi có thể chia sẻ thông tin với các nhà cung cấp dịch vụ và công ty liên kết, và trong trường hợp sáp nhập, mua lại hoặc bán tài sản."
8Điều khoản Dịch vụ, mục 11: "Chúng tôi có thể cập nhật các Điều khoản này bất cứ lúc nào. Các thay đổi có hiệu lực khi được đăng trên trang này. Việc tiếp tục sử dụng Dịch vụ đồng nghĩa với việc chấp nhận." Mục 9: "Dữ liệu đã khử danh tính có thể được lưu giữ vô thời hạn."
Phiếu B cho Tiến bộ hai cấp lớp? Lời quảng cáo của nhà cung cấp và Bằng chứng
Phân loại Bằng chứng hay Dấu hiệu cảnh báo?
Phân loại từng nhận định. Ở mặt sau mỗi dải, viết câu hỏi quý vị sẽ đặt ra cho nhà cung cấp.
Bằng chứng mạnh
Bằng chứng yếu hoặc thiếu
Dấu hiệu cảnh báo về quyền riêng tư hoặc sử dụng dữ liệu
Phiếu B cho Tiến bộ hai cấp lớp? Lời quảng cáo của nhà cung cấp và Bằng chứng
Phân loại Bằng chứng hay Dấu hiệu cảnh báo?: thẻ cần phân loại
Cắt rời các dải giấy. Xếp từng dải vào đúng ô trên tấm phân loại và sẵn sàng giải thích lý do.
Tờ 1/2
Học sinh tiến bộ 2.1 cấp lớp trong Bài kiểm tra Trình độ Đọc StepUp.
Không hề nhắc đến nhóm đối chứng.
Bốn mươi học sinh ở một trường.
Mười hai trong số 52 học sinh không hoàn thành chương trình và không được tính.
Nghiên cứu do chính nhóm nghiên cứu của nhà cung cấp thực hiện.
"AI không thiên kiến"
"Được hơn 1,000 trường tin dùng."
Một câu trích dẫn của giáo viên về sự hứng thú.
"Tuân thủ hoàn toàn FERPA và COPPA."
Một đánh giá độc lập có nhóm đối chứng gồm các học sinh tương tự, được công bố kèm phương pháp, cho thấy tiến bộ trong một bài đánh giá chuẩn hóa cấp tiểu bang hoặc toàn quốc.
Câu trả lời và bài viết của học sinh có thể được dùng để huấn luyện mô hình AI.
Thông tin có thể được chia sẻ trong trường hợp sáp nhập, mua lại hoặc bán tài sản.
Phiếu B cho Tiến bộ hai cấp lớp? Lời quảng cáo của nhà cung cấp và Bằng chứng
Phân loại Bằng chứng hay Dấu hiệu cảnh báo?: thẻ cần phân loại
Cắt rời các dải giấy. Xếp từng dải vào đúng ô trên tấm phân loại và sẵn sàng giải thích lý do.
Tờ 2/2
Điều khoản có thể thay đổi khi được đăng lên; tiếp tục sử dụng đồng nghĩa với chấp nhận.
Dữ liệu đã khử danh tính có thể được lưu giữ vô thời hạn.
Phiếu C cho Tiến bộ hai cấp lớp? Lời quảng cáo của nhà cung cấp và Bằng chứng
Sổ đối chiếu Tuyên bố và Bằng chứng
Dùng cho StepUp trước, sau đó cho một sản phẩm thật. Lần theo ít nhất một tuyên bố đến tận nguồn gốc.
| Tuyên bố của nhà cung cấp | Bằng chứng sẽ thuyết phục được chúng ta | Những gì nhà cung cấp thực sự đưa ra | Khoảng trống hoặc câu hỏi cho nhà cung cấp | Thước đo cho chương trình thí điểm tại địa phương |
|---|---|---|---|---|
| "Hai cấp lớp trong một học kỳ" | Nghiên cứu độc lập, nhóm đối chứng, bài đánh giá độc lập, học sinh tương tự | Nghiên cứu do nhà cung cấp thực hiện, 40 học sinh, bài kiểm tra riêng của nhà cung cấp, không có nhóm so sánh | ||
| "Dữ liệu của quý vị không bao giờ bị bán" | Điều khoản hợp đồng bao quát việc sử dụng, chia sẻ, huấn luyện, lưu giữ và xóa dữ liệu | |||
Chỉ dành cho người điều phối, Tiến bộ hai cấp lớp? Lời quảng cáo của nhà cung cấp và Bằng chứng
Đáp án và ghi chú
Phiếu B: Phân loại Bằng chứng hay Dấu hiệu cảnh báo?
| Mục | Xếp loại | Lý do |
|---|---|---|
| Học sinh tiến bộ 2.1 cấp lớp trong Bài kiểm tra Trình độ Đọc StepUp. | Bằng chứng yếu hoặc thiếu | Thước đo do nhà cung cấp tạo ra. Hỏi: học sinh đạt điểm bao nhiêu trong một bài đánh giá độc lập? |
| Không hề nhắc đến nhóm đối chứng. | Bằng chứng yếu hoặc thiếu | Học sinh trong chương trình can thiệp chuyên sâu có thể vẫn tiến bộ dù không dùng sản phẩm. Hỏi: những học sinh tương tự không dùng StepUp có kết quả ra sao? |
| Bốn mươi học sinh ở một trường. | Bằng chứng yếu hoặc thiếu | Một mẫu nhỏ từ một bối cảnh duy nhất có thể không khái quát được. Hỏi: có kết quả nào từ những trường giống trường chúng ta không? |
| Mười hai trong số 52 học sinh không hoàn thành chương trình và không được tính. | Bằng chứng yếu hoặc thiếu | Loại bỏ những người không hoàn thành có thể làm kết quả bị thổi phồng. Hỏi: cả 52 học sinh có kết quả ra sao? |
| Nghiên cứu do chính nhóm nghiên cứu của nhà cung cấp thực hiện. | Bằng chứng yếu hoặc thiếu | Không hẳn là sai, nhưng không độc lập. Hỏi: đã có ai ngoài công ty đánh giá sản phẩm này chưa? |
| "AI không thiên kiến" | Bằng chứng yếu hoặc thiếu | Không hệ thống AI nào có thể hứa hẹn điều này. Hỏi: hiệu năng đã được kiểm tra trên các nhóm học sinh khác nhau như thế nào, kể cả học sinh đa ngôn ngữ? |
| "Được hơn 1,000 trường tin dùng." | Bằng chứng yếu hoặc thiếu | Sự phổ biến không phải là hiệu quả. Hỏi: những trường đó đã thấy kết quả gì? |
| Một câu trích dẫn của giáo viên về sự hứng thú. | Bằng chứng yếu hoặc thiếu | Một lời chứng thực ẩn danh về sự hứng thú không nói lên điều gì về việc học. |
| "Tuân thủ hoàn toàn FERPA và COPPA." | Bằng chứng yếu hoặc thiếu | Một lời tự mô tả. Hỏi: quý công ty có ký thỏa thuận bảo mật dữ liệu của học khu chúng tôi không? |
| Một đánh giá độc lập có nhóm đối chứng gồm các học sinh tương tự, được công bố kèm phương pháp, cho thấy tiến bộ trong một bài đánh giá chuẩn hóa cấp tiểu bang hoặc toàn quốc. | Bằng chứng mạnh | Đây chính là điều mà bộ tài liệu không có. Hãy dùng nó làm tiêu chuẩn. |
| Câu trả lời và bài viết của học sinh có thể được dùng để huấn luyện mô hình AI. | Dấu hiệu cảnh báo về quyền riêng tư hoặc sử dụng dữ liệu | Bài làm của học sinh trở thành nguyên liệu phát triển sản phẩm. Hỏi: học khu có thể từ chối điều này trong hợp đồng không? |
| Thông tin có thể được chia sẻ trong trường hợp sáp nhập, mua lại hoặc bán tài sản. | Dấu hiệu cảnh báo về quyền riêng tư hoặc sử dụng dữ liệu | Dữ liệu học sinh có thể được chuyển sang chủ sở hữu mới. Hỏi: những biện pháp bảo vệ nào vẫn còn hiệu lực sau khi công ty bị bán? |
| Điều khoản có thể thay đổi khi được đăng lên; tiếp tục sử dụng đồng nghĩa với chấp nhận. | Dấu hiệu cảnh báo về quyền riêng tư hoặc sử dụng dữ liệu | Học khu có thể không nhận ra các thay đổi. Hãy yêu cầu thông báo trực tiếp và một hợp đồng có hiệu lực cao hơn điều khoản được đăng. |
| Dữ liệu đã khử danh tính có thể được lưu giữ vô thời hạn. | Dấu hiệu cảnh báo về quyền riêng tư hoặc sử dụng dữ liệu | Hỏi: những gì được khử danh tính, có thể bị tái nhận diện không, và khi nào dữ liệu bị xóa sau khi hợp đồng kết thúc? |