Bồi dưỡng chuyên môn · Lãnh đạo, Thủ thư, Chuyên viên hỗ trợ, Giáo viên · 60 phút
Danh Sách Kiểm Tra Hộp Kính
Các nhóm chất vấn bản thông tin sản phẩm bóng bẩy của một nhà cung cấp AI hư cấu, phân loại những câu hỏi thực sự quan trọng, và xây dựng một danh sách kiểm tra về tính minh bạch và trách nhiệm giải trình để dùng với các công cụ thật.
Các công cụ AI đến với trường học kèm theo những lời quảng cáo đầy tự tin: "an toàn", "không thiên vị", "dựa trên nghiên cứu", "cá nhân hóa". Minh bạch nghĩa là có thể nhìn thấy những gì đằng sau các từ ngữ đó: công cụ làm gì, dùng dữ liệu nào, thất bại ở đâu, và ai chịu trách nhiệm khi nó sai. Trong buổi này, các nhóm đọc một bản thông tin sản phẩm hư cấu của nhà cung cấp, phân loại một ngân hàng câu hỏi đánh giá, và xây dựng một danh sách kiểm tra ngắn giúp biến những lời trấn an mơ hồ thành các câu hỏi có thể trả lời được. Sau đó họ thử danh sách kiểm tra trên tài liệu công bố của một công cụ mà học khu đang dùng hoặc đang cân nhắc.
Trong bộ tài liệu này
- Phiếu A: Bản thông tin sản phẩm mô phỏng của nhà cung cấp: BrightPath Writing Coach (bài đọc)
- Phiếu B: Phân loại câu hỏi (phân loại thẻ)
- Phiếu C: Danh sách kiểm tra Hộp Kính khởi đầu (danh sách kiểm tra)
- Đáp án cho người điều phối (trang cuối)
Chỉ báo ELE của TCEA
- AI2.3 Tôi nhận thức được tầm quan trọng của tính minh bạch và trách nhiệm giải trình trong hệ thống AI.
- AI2.1 Tôi biết cách áp dụng các nguyên tắc đạo đức khi sử dụng hoặc phát triển AI cho giáo dục.
- AI1.3 Tôi nhận thức được những hạn chế hiện tại và các thiên kiến tiềm ẩn trong hệ thống AI.
Hướng dẫn đầy đủ cho người điều phối: mglearn.github.io/eles/vi/activities/glass-box-checklist.html
Phiếu A cho Danh Sách Kiểm Tra Hộp Kính
Bản thông tin sản phẩm mô phỏng của nhà cung cấp: BrightPath Writing Coach
SẢN PHẨM VÀ CÔNG TY HƯ CẤU, được viết cho mục đích tập huấn. Tô một màu cho các tuyên bố có thể kiểm chứng và màu khác cho các tuyên bố mơ hồ.
1BrightPath Writing Coach: Mọi học sinh đều là người viết tự tin. BrightPath sử dụng trí tuệ nhân tạo tiên tiến để mang đến cho mọi học sinh nhận xét tức thì, cá nhân hóa về bài viết của mình, 24 giờ mỗi ngày. Giáo viên tiết kiệm được hàng giờ mỗi tuần.
2Cách hoạt động. Học sinh dán hoặc gõ bài viết của mình. Công cụ AI độc quyền của chúng tôi phân tích bài viết và trả về nhận xét về bố cục, bằng chứng, ngữ pháp và văn phong, kèm theo điểm số dự đoán theo tiêu chí chấm. Nhận xét được tạo ra bởi một mô hình ngôn ngữ lớn được cấp phép từ một nhà cung cấp AI bên thứ ba và được tùy chỉnh bằng chuyên môn về viết của BrightPath.
3Dựa trên nghiên cứu. BrightPath được xây dựng trên nền tảng khoa học về dạy viết và đã được chứng minh là giúp học sinh tiến bộ nhanh hơn.
4An toàn và công bằng. BrightPath không hề thiên vị và phù hợp với mọi người học, kể cả học sinh đang học tiếng Anh và học sinh khuyết tật. AI của chúng tôi không bao giờ mắc lỗi mà giáo viên không phát hiện ra.
5Dữ liệu của bạn. Bài viết của học sinh được lưu trữ an toàn trên đám mây. Chúng tôi có thể sử dụng bài viết đã ẩn danh của học sinh để cải thiện dịch vụ và có thể chia sẻ dữ liệu với các đối tác đáng tin cậy. Có thể xóa tài khoản bằng cách liên hệ bộ phận hỗ trợ.
6Giáo viên kiểm soát. Giáo viên có thể xem mọi nhận xét dành cho học sinh trên bảng điều khiển. Điểm số dự đoán có thể được đồng bộ tự động vào sổ điểm của bạn.
7Độ tuổi. Thiết kế cho lớp 3–12. Cài đặt chưa đến 5 phút; học sinh đăng nhập bằng tài khoản của trường.
Phiếu B cho Danh Sách Kiểm Tra Hộp Kính
Phân loại câu hỏi
Cắt rời các dải. Xếp mỗi câu hỏi vào nhóm phù hợp nhất, rồi đánh dấu sao năm câu hỏi bắt buộc của bạn.
Cách hoạt động và giới hạn
Dữ liệu và quyền riêng tư
Trách nhiệm giải trình và khắc phục
Bằng chứng học tập
Phiếu B cho Danh Sách Kiểm Tra Hộp Kính
Phân loại câu hỏi: thẻ cần phân loại
Cắt rời các dải giấy. Xếp từng dải vào đúng ô trên tấm phân loại và sẵn sàng giải thích lý do.
Tờ 1/2
Loại AI nào tạo ra kết quả, và nhà cung cấp có cho biết phần nào do AI tạo ra và phần nào dựa trên quy tắc cố định không?
Nhà cung cấp công bố những giới hạn hoặc trường hợp thất bại đã biết nào?
Công cụ đã được kiểm thử xem nó hoạt động tốt đến đâu với học sinh đang học tiếng Anh, học sinh khuyết tật và các phương ngữ khác nhau chưa?
Công cụ có cho học sinh biết khi nào nội dung do AI tạo ra không?
Bài làm của học sinh có được dùng để huấn luyện hoặc cải thiện các mô hình AI không, và học khu có thể chọn không tham gia không?
"Các đối tác đáng tin cậy" là ai, và họ nhận được những gì?
Dữ liệu học sinh được lưu giữ trong bao lâu, và có tự động bị xóa khi hợp đồng kết thúc không?
Công cụ có đáp ứng các yêu cầu trong thỏa thuận bảo mật dữ liệu của học khu đối với hồ sơ học sinh không?
Ai chịu trách nhiệm khi nhận xét hoặc điểm số dự đoán bị sai: giáo viên, học khu hay nhà cung cấp?
Giáo viên có thể xem xét và thay đổi mọi điểm số trước khi chúng được đưa vào sổ điểm không?
Học sinh hoặc gia đình có thể chất vấn hoặc khiếu nại một quyết định chịu ảnh hưởng của AI bằng cách nào?
Nhà cung cấp thông báo cho nhà trường về những thay đổi đối với mô hình AI hoặc cách xử lý dữ liệu như thế nào?
Phiếu B cho Danh Sách Kiểm Tra Hộp Kính
Phân loại câu hỏi: thẻ cần phân loại
Cắt rời các dải giấy. Xếp từng dải vào đúng ô trên tấm phân loại và sẵn sàng giải thích lý do.
Tờ 2/2
Bằng chứng độc lập nào cho thấy khả năng viết của học sinh được cải thiện, chứ không chỉ là các em đã dùng công cụ?
Chính giáo viên của chúng ta sẽ thu thập bằng chứng nào để quyết định xem công cụ có giúp ích không?
Phiếu C cho Danh Sách Kiểm Tra Hộp Kính
Danh sách kiểm tra Hộp Kính khởi đầu
Gạch bỏ, bổ sung và viết lại các mục sao cho mỗi mục đều có thể trả lời được dựa trên tài liệu hoặc phản hồi của nhà cung cấp. Ghi chú nơi bạn tìm thấy mỗi câu trả lời.
| Có | Một phần | Không / Không tìm thấy | |
|---|---|---|---|
| Nhà cung cấp nêu rõ ràng AI làm gì và không làm gì. | |||
| Nhà cung cấp công bố những giới hạn và trường hợp thất bại đã biết. | |||
| Hiệu quả hoạt động đã được kiểm tra trên các nhóm học sinh khác nhau (ngôn ngữ, khuyết tật, phương ngữ), và kết quả được chia sẻ. | |||
| Học sinh có thể biết khi nào nội dung do AI tạo ra. | |||
| Dữ liệu học sinh không được dùng để huấn luyện mô hình AI, hoặc học khu có thể chọn không tham gia. | |||
| Tất cả các bên thứ ba nhận dữ liệu học sinh đều được nêu tên. | |||
| Thời hạn lưu giữ và xóa dữ liệu được nêu rõ. | |||
| Công cụ nằm trong phạm vi một thỏa thuận bảo mật dữ liệu của học khu. | |||
| Giáo viên xem xét và có thể thay đổi kết quả của AI trước khi chúng ảnh hưởng đến điểm số hoặc việc xếp lớp. | |||
| Trách nhiệm đối với sai sót được nêu rõ, và học sinh hoặc gia đình có cách để chất vấn kết quả. | |||
| Nhà cung cấp thông báo cho nhà trường về những thay đổi đối với mô hình hoặc cách xử lý dữ liệu. | |||
| Có bằng chứng, ngoài dữ liệu sử dụng, cho thấy công cụ cải thiện việc học, và chúng ta có kế hoạch tự thu thập bằng chứng. |
Ghi chú
Chỉ dành cho người điều phối, Danh Sách Kiểm Tra Hộp Kính
Đáp án và ghi chú
Phiếu B: Phân loại câu hỏi
| Mục | Xếp loại | Lý do |
|---|---|---|
| Loại AI nào tạo ra kết quả, và nhà cung cấp có cho biết phần nào do AI tạo ra và phần nào dựa trên quy tắc cố định không? | Cách hoạt động và giới hạn | Biết đó là một mô hình ngôn ngữ lớn giúp bạn lường trước những nhận xét trôi chảy nhưng đôi khi sai. |
| Nhà cung cấp công bố những giới hạn hoặc trường hợp thất bại đã biết nào? | Cách hoạt động và giới hạn | Một nhà cung cấp nêu rõ giới hạn đáng tin hơn một nhà cung cấp tuyên bố không có giới hạn nào. |
| Công cụ đã được kiểm thử xem nó hoạt động tốt đến đâu với học sinh đang học tiếng Anh, học sinh khuyết tật và các phương ngữ khác nhau chưa? | Cách hoạt động và giới hạn | "Không hề thiên vị" không phải là một tuyên bố có thể kiểm chứng; kết quả theo từng nhóm học sinh thì có. |
| Công cụ có cho học sinh biết khi nào nội dung do AI tạo ra không? | Cách hoạt động và giới hạn | Người dùng không thể vận dụng óc phán đoán với kết quả của AI nếu họ không biết đó là kết quả của AI. |
| Bài làm của học sinh có được dùng để huấn luyện hoặc cải thiện các mô hình AI không, và học khu có thể chọn không tham gia không? | Dữ liệu và quyền riêng tư | "Cải thiện dịch vụ" có thể bao gồm việc huấn luyện mô hình. |
| "Các đối tác đáng tin cậy" là ai, và họ nhận được những gì? | Dữ liệu và quyền riêng tư | Chia sẻ mà không nêu tên là một lỗ hổng về tính minh bạch. |
| Dữ liệu học sinh được lưu giữ trong bao lâu, và có tự động bị xóa khi hợp đồng kết thúc không? | Dữ liệu và quyền riêng tư | "Liên hệ bộ phận hỗ trợ" không phải là một chính sách lưu giữ dữ liệu. |
| Công cụ có đáp ứng các yêu cầu trong thỏa thuận bảo mật dữ liệu của học khu đối với hồ sơ học sinh không? | Dữ liệu và quyền riêng tư | Thỏa thuận của học khu đặt ra những quy định có tính ràng buộc mà điều khoản dành cho người tiêu dùng không có. |
| Ai chịu trách nhiệm khi nhận xét hoặc điểm số dự đoán bị sai: giáo viên, học khu hay nhà cung cấp? | Trách nhiệm giải trình và khắc phục | Trách nhiệm giải trình phải được xác định trước khi có sự cố. |
| Giáo viên có thể xem xét và thay đổi mọi điểm số trước khi chúng được đưa vào sổ điểm không? | Trách nhiệm giải trình và khắc phục | Đồng bộ tự động loại bỏ điểm ra quyết định của con người. |
| Học sinh hoặc gia đình có thể chất vấn hoặc khiếu nại một quyết định chịu ảnh hưởng của AI bằng cách nào? | Trách nhiệm giải trình và khắc phục | Khả năng khắc phục là điều làm cho tính minh bạch có ý nghĩa với người bị ảnh hưởng. |
| Nhà cung cấp thông báo cho nhà trường về những thay đổi đối với mô hình AI hoặc cách xử lý dữ liệu như thế nào? | Trách nhiệm giải trình và khắc phục | Mô hình được cập nhật; một công cụ được phê duyệt năm ngoái có thể hoạt động khác đi bây giờ. |
| Bằng chứng độc lập nào cho thấy khả năng viết của học sinh được cải thiện, chứ không chỉ là các em đã dùng công cụ? | Bằng chứng học tập | Số phút sử dụng không phải là bằng chứng học tập. |
| Chính giáo viên của chúng ta sẽ thu thập bằng chứng nào để quyết định xem công cụ có giúp ích không? | Bằng chứng học tập | Bằng chứng tại chỗ quan trọng hơn lời quảng cáo. |