Tất cả hoạt động Bồi dưỡng chuyên môn
Các nhóm so sánh từng cặp kết quả AI chỉ khác nhau một cái tên, một ngôn ngữ hoặc một đại từ, rồi tự tiến hành các phép thử công bằng và đề xuất cách khắc phục trước khi kết quả AI đến tay học sinh.
Các mô hình AI học từ văn bản và hình ảnh do con người tạo ra, nên chúng có thể hấp thụ những định kiến, khoảng trống và giả định mặc định trong dữ liệu đó. Thiên kiến hiếm khi tự lộ diện; nó xuất hiện khi ta thay đổi một chi tiết nhỏ và kết quả thay đổi theo. Trong buổi này, các nhóm đóng vai thám tử, xem xét các cặp kết quả mô phỏng được in sẵn và rõ ràng là hư cấu (một thư giới thiệu, một bản dịch, lời khuyên nghề nghiệp, nhận xét bài viết), rồi thiết kế và thực hiện phép thử cặp câu lệnh (prompt) của riêng mình trên một công cụ đã được học khu phê duyệt. Người tham gia ra về với một quy trình thử nghiệm công bằng và một kế hoạch giảm thiểu cho một tình huống sử dụng thực tế trong lớp học.
Khởi động
Trình chiếu Hồ sơ 1 (hai thư giới thiệu mô phỏng chỉ khác nhau ở tên học sinh). Cho 60 giây đọc thầm, rồi hỏi: "Cùng câu lệnh, cùng điểm số, chỉ một thay đổi. Còn điều gì khác đã thay đổi?" Mời mọi người nói to các từ ngữ. Tô sáng "xuất sắc, tư duy phân tích" so với "chăm chỉ, lễ phép."
Ghi chú cho người điều phốiHãy nói rõ: "Đây là những kết quả hư cấu được viết ra để tập huấn. Chúng minh họa một khuôn mẫu đáng để kiểm tra, không phải là nhận định về bất kỳ sản phẩm nào. Lát nữa quý thầy cô sẽ tự kiểm tra một công cụ thật."
Khám phá
Các nhóm lần lượt xem Hồ sơ 2–6. Với mỗi hồ sơ, dùng một màu tô điều gì đã thay đổi trong câu lệnh và màu còn lại tô điều gì đã thay đổi trong kết quả, rồi điền một dòng trong Phiếu B: khuôn mẫu, nguồn gốc có thể có (dữ liệu huấn luyện, giả định mặc định, thiết kế), ai có thể bị tổn hại trong lớp học, và ý tưởng khắc phục đầu tiên.
Ghi chú cho người điều phốiHãy thúc đẩy các nhóm vượt qua nhận xét "AI phân biệt chủng tộc/giới tính" để đi đến cơ chế: "Nếu phần lớn văn bản nó học được đều gắn 'y tá' với 'cô ấy', thì một cỗ máy đoán từ tiếp theo sẽ làm gì?" Hiểu cơ chế sẽ dẫn đến cách giảm thiểu.
Làm mẫu
Cùng xem các quy tắc trong Phiếu C qua Hồ sơ 4 (lời khuyên nghề nghiệp). Một phép thử công bằng chỉ thay đổi một biến số (tên, đại từ hoặc ngôn ngữ), giữ mọi thứ khác giống hệt từng chữ, chạy mỗi phiên bản ít nhất ba lần trong các cuộc trò chuyện mới vì kết quả thay đổi ngẫu nhiên, và ghi lại chính xác câu chữ. Làm mẫu trực tiếp một cặp trên công cụ được phê duyệt đang trình chiếu và cùng nhau ghi nhật ký.
Ghi chú cho người điều phốiSai lầm lớn nhất khi kiểm tra thiên kiến theo kiểu nghiệp dư là kết luận chỉ từ một lần chạy. Một kết quả lạ chỉ là một giai thoại; một khuôn mẫu lặp lại qua nhiều lần chạy mới là bằng chứng.
Luyện tập
Mỗi nhóm thiết kế trên Phiếu C một cặp câu lệnh có ý nghĩa với học sinh của mình: nhận xét cùng một đoạn văn dưới hai cái tên khác nhau, dịch một câu có đại từ trung tính về giới, gợi ý sách cho "một bé trai" so với "một bé gái", mô tả "một gia đình" hay "một nhà khoa học". Các nhóm chạy trên công cụ được phê duyệt (hoặc nhờ người điều phối chạy trên máy chiếu) ba lần cho mỗi phiên bản và ghi lại kết quả. Không dùng tên hay bài làm thật của học sinh. Hãy dùng tên tự đặt và một đoạn văn do chính nhóm viết.
Ghi chú cho người điều phốiNếu một nhóm không thấy khác biệt nào, hãy ghi nhận và mời họ báo cáo. Biết rằng một công cụ đối xử như nhau với cả hai phiên bản trong phép thử này là điều hữu ích, nhưng điều đó không chứng minh công cụ hoàn toàn không có thiên kiến.
Tổng kết
Mỗi nhóm báo cáo một phép thử trong 60 giây: đã thay đổi gì, đã thấy gì qua các lần chạy, và một cách khắc phục. Dán các phát hiện lên tờ "Các khuôn mẫu chúng tôi tìm thấy" và các cách khắc phục lên tờ "Các cách khắc phục chúng tôi sẽ dùng." Sau đó hỏi: "Cách khắc phục nào là mẹo viết câu lệnh, và cách nào là bước cần đến phán đoán của con người?" Khoanh tròn các cách khắc phục dựa trên phán đoán của con người (xem lại trước khi chia sẻ, bỏ tên trước khi xin nhận xét, đối chiếu với nguồn thứ hai, cho học sinh phản biện kết quả).
Ghi chú cho người điều phốiViết câu lệnh ("tránh định kiến") có thể giảm bớt một số vấn đề nhưng không phải là bảo đảm. Những biện pháp giảm thiểu mạnh nhất là giữ con người ở vai trò quyết định và đưa việc kiểm tra thiên kiến vào bài làm của học sinh.
Chuyển giao
Mỗi người nêu một cách mà kết quả AI có thể đến với học sinh của mình trong tháng tới (bài đọc do AI tạo, nhận xét, hình ảnh cho trang chiếu, thư gửi gia đình được dịch) và viết hàng rào bảo vệ mình sẽ áp dụng vào mặt sau Phiếu C. Từng cặp hỏi nhau: "Ai có thể bị bỏ sót hoặc bị thể hiện sai lệch, và bạn sẽ phát hiện điều đó bằng cách nào?"
Ghi chú cho người điều phốiThư gửi gia đình được dịch là một điểm mù phổ biến. Hãy gợi ý nhờ một người thông thạo ngôn ngữ đó xem lại mọi lá thư do AI dịch trước khi gửi về nhà.
Thực hiện toàn bộ phần hồ sơ vụ án, nhật ký thám tử và thiết kế phép thử công bằng trên giấy. Ở bước Thực hành, các nhóm viết cặp câu lệnh và dự đoán kết quả; người điều phối sẽ chạy thử một vài câu lệnh sau đó trên công cụ được phê duyệt và chia sẻ kết quả ở buổi họp kế tiếp, hoặc các nhóm trao đổi thiết kế phép thử và nhận xét về tính công bằng của nhau (một biến số, chạy lặp lại, câu chữ chính xác).
Các nhóm có quyền truy cập được phê duyệt dành cho nhân viên sẽ chạy cặp câu lệnh trên thiết bị của mình; nếu không, người điều phối chạy trên máy chiếu. Ghi kết quả vào một bảng tính dùng chung theo các cột của Phiếu B để toàn thể nhân viên thấy được khuôn mẫu qua nhiều phép thử. Trên LMS (hệ thống quản lý học tập), đăng các Hồ sơ dưới dạng một chủ đề thảo luận và cho các nhóm trả lời bằng các dòng nhật ký của mình.
Có cần màn hình không? Phép thử trực tiếp là lúc người tham gia thôi coi thiên kiến là một tiêu đề báo chí và bắt đầu coi đó là điều mình có thể tự kiểm tra. Chạy cùng một câu lệnh ba lần cũng cho thấy trực tiếp tính ngẫu nhiên, giúp mọi người không kết luận quá mức từ một kết quả duy nhất. Đó là bằng chứng mà giấy không thể cung cấp.
Những gì bạn có thể quan sát hoặc thu thập được nếu hoạt động thành công.
Giáo viên thiết kế một phép thử công bằng với các câu lệnh (prompt) theo cặp, chỉ thay đổi một biến và chạy lặp lại nhiều lần, chuẩn bị cho học sinh tìm hiểu thiên kiến của AI bằng phương pháp khoa học.
Với học sinh từ lớp 6 trở lên, hãy trình chiếu một hồ sơ mô phỏng và một cặp câu lệnh quý thầy cô đã tự chạy, rồi cho học sinh tự thiết kế phép thử công bằng trên giấy. Thu lại các thiết kế phép thử làm bằng chứng học tập cho thấy các em biết đặt câu hỏi về kết quả AI, chứ không chỉ tiếp nhận nó.
