Bồi dưỡng chuyên môn · Giáo viên, Thủ thư, Chuyên viên hỗ trợ, Giảng viên · 50 phút
Mô Hình Ngôn Ngữ Bằng Người
Các nhà giáo dục trở thành một mô hình ngôn ngữ tí hon với những mẩu giấy và một chiếc cốc, và tự mình khám phá vì sao văn bản AI trôi chảy vẫn có thể sai một cách đầy tự tin.
Chatbot AI tạo sinh không tra cứu thông tin theo cách một công cụ tìm kiếm hay cơ sở dữ liệu làm. Chúng tạo văn bản bằng cách liên tục dự đoán phần văn bản có khả năng xuất hiện tiếp theo, dựa trên các khuôn mẫu học được từ một lượng dữ liệu huấn luyện khổng lồ. Trong buổi không dùng màn hình này, các nhóm tự tay "huấn luyện" một mô hình ngôn ngữ gồm mười câu, tạo câu mới bằng cách rút mẩu giấy từ một chiếc cốc, rồi hỏi mô hình của mình một câu hỏi về sự thật. Những câu trả lời trôi chảy, nghe có lý nhưng sai được tạo ra chính là lời giải thích dễ nhớ nhất về "ảo giác" (hallucination) mà hầu hết nhà giáo dục từng được nghe, và là hoạt động họ có thể thực hiện với học sinh ngay ngày hôm sau.
Trong bộ tài liệu này
- Phiếu A: Thư viện huấn luyện tí hon (bài đọc)
- Phiếu B: Phiếu đếm từ tiếp theo (sơ đồ tổ chức)
- Phiếu C: Thẻ chạy mô hình (thẻ cắt rời)
- Đáp án cho người điều phối (trang cuối)
Chỉ báo ELE của TCEA
- AI1.1 Tôi biết các hệ thống AI hoạt động như thế nào và khả năng của chúng trong bối cảnh giáo dục.
- AI1.2 Tôi có thể giải thích các khái niệm AI một cách đơn giản cho nhiều đối tượng liên quan khác nhau.
- AI1.3 Tôi nhận thức được những hạn chế hiện tại và các thiên kiến tiềm ẩn trong hệ thống AI.
- AI4.1 Tôi biết cách thúc đẩy kỹ năng tư duy phản biện đối với thông tin do AI tạo ra.
Hướng dẫn đầy đủ cho người điều phối: mglearn.github.io/eles/vi/activities/human-language-model.html
Phiếu A cho Mô Hình Ngôn Ngữ Bằng Người
Thư viện huấn luyện tí hon
Đây là TẤT CẢ những gì mô hình của bạn từng được đọc. Coi chữ hoa như chữ thường. Coi đầu mỗi câu là từ BẮT ĐẦU và mỗi dấu chấm là từ HẾT. Mỗi cụm có trong Phiếu B (ví dụ cô giáo, cả lớp, cuộc thi chính tả, tháng Năm) tính là MỘT từ.
11. Cô giáo mở cuốn sách.
22. Học sinh mở cửa.
33. Cô giáo đọc cuốn sách cho cả lớp.
44. Cả lớp đọc câu chuyện.
55. Học sinh đọc câu chuyện cho cô giáo.
66. Hiệu trưởng mở buổi họp.
77. Cả lớp thắng giải.
88. Học sinh thắng cuộc thi chính tả vào tháng Năm.
99. Cô giáo thắng giải vào tháng Năm.
1010. Cuốn sách thắng giải vào tháng Sáu.
Phiếu B cho Mô Hình Ngôn Ngữ Bằng Người
Phiếu đếm từ tiếp theo
Với mỗi từ, đánh một vạch đếm cho mỗi từ đứng ngay sau nó trong thư viện. Sau đó viết một mẩu giấy cho mỗi vạch đếm và xếp vào mục của từ đó.
| Từ | Các từ đứng tiếp theo (đếm từng từ) | Tổng số mẩu giấy | Từ tiếp theo có khả năng nhất |
|---|---|---|---|
| BẮT ĐẦU | |||
| cô giáo | |||
| học sinh | |||
| cả lớp | |||
| cuốn sách | |||
| mở / đọc / thắng | |||
| câu chuyện | |||
| giải | |||
| cuộc thi chính tả | |||
| vào | |||
| hiệu trưởng / cửa / buổi họp / tháng Năm / tháng Sáu / cho |
Phiếu C cho Mô Hình Ngôn Ngữ Bằng Người
Thẻ chạy mô hình
Cắt rời và xếp úp mặt xuống. Rút theo thứ tự. Mặt sau là đáp án cho người điều phối; in trên một tờ riêng.
Tờ 1/2
Thẻ 1 · Tạo văn bản
Bắt đầu từ BẮT ĐẦU. Cho vào cốc mọi mẩu giấy được xếp dưới mục "BẮT ĐẦU". Rút một mẩu. Sau đó cho vào cốc các mẩu giấy của từ vừa rút và rút tiếp. Dừng lại khi gặp HẾT. Tạo bốn câu.
Thẻ 2 · Quan sát
Khoanh tròn bất kỳ câu nào được tạo ra mà KHÔNG có trong thư viện. Câu đó có đúng ngữ pháp không? Có đúng sự thật không? Có hợp lý không?
Thẻ 3 · Cùng một câu lệnh, hai lần
Bắt đầu từ "Học sinh" hai lần. Bạn có nhận được cùng một câu cả hai lần không? Vì sao có hoặc không?
Thẻ 4 · Câu hỏi về sự thật
Hỏi mô hình của bạn: "Ai thắng cuộc thi chính tả vào tháng Sáu?" Tạo câu từ BẮT ĐẦU cho đến khi được một câu có nhắc đến cuộc thi chính tả.
Thẻ 5 · Câu hỏi về sự thật
Hỏi mô hình của bạn: "Hiệu trưởng đã thắng gì?" Tạo câu từ "Hiệu trưởng".
Thẻ 6 · Câu hỏi về sự thật
Hỏi mô hình của bạn: "Ai đọc cuốn sách?" Tạo câu từ BẮT ĐẦU. So sánh ba lần chạy.
Thẻ 7 · Mô hình thật khác biệt
Mô hình của chúng ta dự đoán dựa trên MỘT từ đứng trước. Kết quả sẽ thay đổi thế nào nếu nó xem xét toàn bộ câu đã có đến lúc đó?
Thẻ 8 · Mô hình thật khác biệt
Mô hình của chúng ta lưu những mẩu giấy theo nghĩa đen. Điều gì sẽ thay đổi nếu nó được huấn luyện trên một phần khổng lồ của internet công khai và sách vở?
Phiếu C cho Mô Hình Ngôn Ngữ Bằng Người
Thẻ chạy mô hình
Cắt rời và xếp úp mặt xuống. Rút theo thứ tự. Mặt sau là đáp án cho người điều phối; in trên một tờ riêng.
Tờ 2/2
Thẻ 9 · Mô hình thật khác biệt
Một số công cụ AI tìm kiếm trên web hoặc đọc tài liệu được tải lên trước khi trả lời. Điều đó có giải quyết được ảo giác không?
Thẻ 10 · Giải thích
Viết một lời giải thích một phút về ảo giác AI cho học sinh, một phụ huynh hoặc đồng nghiệp của bạn. Bao gồm: dự đoán dựa trên khuôn mẫu, vì sao nó có thể sai, và một việc cần làm.
Thẻ 11 · Câu trả lời chatbot mô phỏng (hư cấu)
KẾT QUẢ MÔ PHỎNG, THỊ TRẤN HƯ CẤU: "Cuộc thi Chính tả Maple Hollow được thủ thư Ruth Calloway thành lập năm 1962, và nhà vô địch năm 1988, Daniel Ortiz, sau đó đã giành chức vô địch cấp tiểu bang."
Chỉ dành cho người điều phối, Mô Hình Ngôn Ngữ Bằng Người
Đáp án và ghi chú
Phiếu C: Thẻ chạy mô hình
- Thẻ 1 · Tạo văn bản
- Đáp án đếm chính: sau BẮT ĐẦU: cô giáo 3, học sinh 3, cả lớp 2, hiệu trưởng 1, cuốn sách 1 (10 mẩu giấy). Sau "mở": cuốn sách 1, cửa 1, buổi họp 1. Sau "đọc": câu chuyện 2, cuốn sách 1. Sau "thắng": giải 3, cuộc thi chính tả 1. Sau "cô giáo": mở 1, đọc 1, thắng 1, HẾT 1. Sau "cho": cả lớp 1, cô giáo 1. Sau "vào": tháng Năm 2, tháng Sáu 1.
- Thẻ 2 · Quan sát
- Hầu hết các câu được tạo ra là những tổ hợp mới: đúng ngữ pháp, thường nghe có vẻ hợp lý, đôi khi vô lý ("Cô giáo đọc câu chuyện cho cô giáo"). Văn bản mới từ khuôn mẫu cũ chính là ý nghĩa của từ "tạo sinh".
- Thẻ 3 · Cùng một câu lệnh, hai lần
- Thường là không. Mỗi lần rút là ngẫu nhiên, có trọng số theo tần suất. Chatbot thật cũng lấy mẫu như vậy, đó là lý do cùng một câu lệnh có thể cho ra những câu trả lời khác nhau ở những lần thử khác nhau.
- Thẻ 4 · Câu hỏi về sự thật
- Thư viện nói một học sinh đã thắng vào tháng NĂM. Không ai thắng cuộc thi chính tả vào tháng Sáu. Thế nhưng mô hình dễ dàng tạo ra câu "Cô giáo thắng cuộc thi chính tả vào tháng Sáu." Trôi chảy, cụ thể, sai: một ảo giác.
- Thẻ 5 · Câu hỏi về sự thật
- Khuôn mẫu duy nhất sau "hiệu trưởng" là "mở", nên mô hình nói "Hiệu trưởng mở…". Nó không thể nói "Tôi không biết" vì không có gì trong thiết kế của nó kiểm tra việc biết. Chatbot thật được tinh chỉnh để đôi khi thừa nhận sự không chắc chắn, nhưng việc tinh chỉnh đó chưa hoàn hảo.
- Thẻ 6 · Câu hỏi về sự thật
- Thư viện nói cô giáo đọc cuốn sách, nhưng các lần chạy có thể cho ra "Cả lớp đọc cuốn sách" hoặc "Học sinh đọc cuốn sách cho cô giáo", đều không có trong thư viện. Một khuôn mẫu xuất hiện trong dữ liệu huấn luyện càng thường xuyên thì câu trả lời đúng càng có khả năng xuất hiện. Những sự thật hiếm gặp rất mong manh.
- Thẻ 7 · Mô hình thật khác biệt
- Mạch lạc hơn rất nhiều. Các mô hình ngôn ngữ lớn thật cân nhắc những đoạn ngữ cảnh dài (nhiều trang văn bản), đó là lý do văn của chúng trôi chảy. Ngữ cảnh tốt hơn giúp giảm sự vô nghĩa nhưng không bổ sung cơ chế kiểm tra sự thật.
- Thẻ 8 · Mô hình thật khác biệt
- Mô hình thật học hàng tỷ trọng số dạng số trong một mạng nơ-ron thay vì giữ các xấp phiếu đếm, và chúng làm việc với token (thường là các mảnh của từ). Chúng có thể khái quát hóa theo những cách rất mạnh mẽ. Các khuôn mẫu của chúng cũng mang theo những lỗ hổng và thiên kiến của văn bản huấn luyện.
- Thẻ 9 · Mô hình thật khác biệt
- Có giúp ích, vì câu lệnh giờ đây chứa văn bản liên quan để dựa vào. Nhưng nó không bảo đảm độ chính xác: công cụ có thể đọc sai nguồn, trộn lẫn các nguồn, hoặc trích dẫn một trang không nói điều nó khẳng định. Kiểm chứng vẫn là việc của người dùng.
- Thẻ 10 · Giải thích
- Ví dụ tốt: "Chatbot AI viết bằng cách dự đoán những từ thường xuất hiện tiếp theo, dựa trên khuôn mẫu trong rất nhiều văn bản. Điều đó khiến câu trả lời nghe có vẻ đúng ngay cả khi không có sự thật nào đứng sau. Vì vậy, chúng ta coi câu trả lời của AI là bản nháp đầu tiên và kiểm tra những phần quan trọng với một nguồn đáng tin."
- Thẻ 11 · Câu trả lời chatbot mô phỏng (hư cấu)
- Maple Hollow là hư cấu, nên mọi cái tên và ngày tháng ở đây đều được bịa ra, nhưng hãy để ý nó nghe thật đến mức nào. Tên người, ngày tháng và danh hiệu cụ thể chính là thứ một mô hình tạo ra khi nó có khuôn mẫu ("được [người] thành lập năm [năm]") nhưng không có sự thật.