Mô Hình Ngôn Ngữ Bằng Người

Tổng quan

Chatbot AI tạo sinh không tra cứu thông tin theo cách một công cụ tìm kiếm hay cơ sở dữ liệu làm. Chúng tạo văn bản bằng cách liên tục dự đoán phần văn bản có khả năng xuất hiện tiếp theo, dựa trên các khuôn mẫu học được từ một lượng dữ liệu huấn luyện khổng lồ. Trong buổi không dùng màn hình này, các nhóm tự tay "huấn luyện" một mô hình ngôn ngữ gồm mười câu, tạo câu mới bằng cách rút mẩu giấy từ một chiếc cốc, rồi hỏi mô hình của mình một câu hỏi về sự thật. Những câu trả lời trôi chảy, nghe có lý nhưng sai được tạo ra chính là lời giải thích dễ nhớ nhất về "ảo giác" (hallucination) mà hầu hết nhà giáo dục từng được nghe, và là hoạt động họ có thể thực hiện với học sinh ngay ngày hôm sau.

Mục tiêu

• Người tham gia xây dựng bảng tần suất từ tiếp theo từ một văn bản huấn luyện nhỏ và dùng nó để tạo câu mới bằng cách rút ngẫu nhiên.
• Người tham gia giải thích bằng lời của mình vì sao một hệ thống dự đoán từ có khả năng xuất hiện tiếp theo có thể tạo ra văn bản trôi chảy nhưng sai (một "ảo giác").
• Người tham gia phân biệt chính xác giữa những gì mô hình trên giấy thể hiện và những điểm khác biệt của các mô hình ngôn ngữ lớn thật (token, ngữ cảnh dài hơn, trọng số học được, quy mô).
• Người tham gia soạn một lời giải thích một phút về ảo giác AI cho học sinh hoặc đồng nghiệp của mình.

Từng bước

1. 10–5 phút

   Khởi động

   Hoàn thành câu của tôi

   Nói chậm: "Ngày xửa ngày…" và để cả phòng hoàn thành ("xưa"). Tiếp theo: "Ăn quả nhớ kẻ…" ("trồng cây"). Tiếp theo: "Thủ đô của nước Pháp là…" ("Paris"). Hỏi: "Các bạn có tra cứu những câu đó không, hay các bạn đã dự đoán chúng?" Nói với họ: "Hôm nay các bạn sẽ trở thành một mô hình ngôn ngữ. Một mô hình rất nhỏ. Đến cuối buổi, các bạn sẽ có thể giải thích cho bất kỳ ai vì sao AI đôi khi bịa chuyện."

   Ghi chú cho người điều phốiCâu thứ ba là có chủ đích. Từ bên trong, việc dự đoán và việc biết một sự thật có thể mang lại cảm giác giống hệt nhau. Đó là toàn bộ buổi học gói trong một khoảnh khắc.

2. 25–15 phút

   Khám phá

   Huấn luyện mô hình của bạn

   Các nhóm đọc Phiếu A, "thư viện huấn luyện" gồm mười câu. Trên Phiếu B, với mỗi từ được liệt kê, họ đếm từ nào đứng ngay sau nó mỗi lần nó xuất hiện (bỏ qua chữ hoa; coi đầu mỗi câu là từ BẮT ĐẦU và dấu chấm là từ HẾT; mỗi cụm như "cô giáo" hay "cuộc thi chính tả" tính là một từ). Sau đó họ viết một mẩu giấy cho mỗi vạch đếm, ví dụ BẮT ĐẦU được theo sau bởi "cô giáo" ba lần, nên họ viết ba mẩu "cô giáo" và xếp vào mục "BẮT ĐẦU". Gom các mẩu giấy theo từ đứng trước thành từng xấp nhỏ hoặc cho vào phong bì.

   Ghi chú cho người điều phốiĐây chính là "huấn luyện": biến văn bản thành số liệu thống kê về việc từ nào thường đi sau từ nào. Những nhóm hỏi "còn ý nghĩa thì sao?" đang hỏi đúng câu cần hỏi. Mô hình không bao giờ nắm được ý nghĩa, chỉ có khuôn mẫu.

3. 315–25 phút

   Luyện tập

   Tạo văn bản: rút từ tiếp theo

   Các nhóm rút Thẻ 1 từ Phiếu C. Bắt đầu từ BẮT ĐẦU. Cho tất cả các mẩu giấy đứng sau BẮT ĐẦU vào cốc, lắc đều, rút một mẩu, ghi lại. Giờ đổ hết cốc ra và cho vào các mẩu giấy đứng sau từ vừa rút. Tiếp tục cho đến khi rút được HẾT. Tạo ít nhất bốn câu. Đọc to câu hay nhất (và tệ nhất) rồi dán lên tờ "Mô hình của chúng tôi nói…". Hãy chờ đón những "viên ngọc" như "Hiệu trưởng mở cuốn sách thắng giải vào tháng Năm."

   Ghi chú cho người điều phốiChỉ ra rằng việc rút là ngẫu nhiên nhưng có trọng số: "cô giáo" và "học sinh" xuất hiện sau BẮT ĐẦU thường xuyên hơn "hiệu trưởng" vì chúng xuất hiện nhiều hơn trong dữ liệu huấn luyện. Đó là lý do cùng một câu lệnh (prompt) có thể cho ra những câu trả lời khác nhau ở những lần thử khác nhau.

4. 425–33 phút

   Vận dụng

   Hỏi mô hình một sự thật

   Các nhóm rút Thẻ 4–6, các câu hỏi về sự thật. Với câu "Ai thắng cuộc thi chính tả vào tháng Sáu?", họ tạo câu trả lời bằng cách bắt đầu từ BẮT ĐẦU và rút cho đến HẾT, chỉ rút lại nếu câu không nhắc đến cuộc thi chính tả. Ghi lại các câu trả lời. Hầu hết các nhóm nhận được điều gì đó trôi chảy và cụ thể, ví dụ "Cô giáo thắng cuộc thi chính tả vào tháng Sáu", điều không hề có trong văn bản huấn luyện. Hỏi: "Mô hình của bạn có đang nói dối không?"

   Ghi chú cho người điều phốiChốt ý then chốt: mô hình không nói dối và cũng không "bối rối". Nó không có cơ chế nào để kiểm tra sự thật. Nó tạo ra một phần tiếp theo nghe có vẻ hợp lý, đúng như những gì nó được tạo ra để làm. Đó chính là ảo giác.

5. 533–40 phút

   Làm mẫu

   Khác biệt thật sự: mô hình giấy và mô hình thật

   Đọc to và cùng xem qua Thẻ 7–9. Mô hình thật (1) làm việc với token, thường là các mảnh của từ, chứ không phải từ nguyên vẹn; (2) cân nhắc một đoạn ngữ cảnh dài phía trước, không chỉ một từ đứng trước; (3) học hàng tỷ trọng số dạng số trong một mạng nơ-ron thay vì giữ các xấp phiếu đếm theo nghĩa đen; và (4) được tinh chỉnh thêm bằng phản hồi của con người để trở nên hữu ích và làm theo hướng dẫn. Một số công cụ còn tìm kiếm trên web hoặc trong tài liệu và đưa những gì tìm được vào câu lệnh, điều này có ích nhưng không bảo đảm độ chính xác. Sau đó hỏi: "Điều gì vẫn giữ nguyên?" (Kết quả được tạo ra bằng cách dự đoán văn bản có khả năng xuất hiện dựa trên khuôn mẫu đã học. Sự trôi chảy không phải là bằng chứng của sự thật.)

   Ghi chú cho người điều phốiTránh nói "nó chỉ là tính năng tự động hoàn thành". Nó có năng lực vượt xa như vậy, và những người sau này thấy một câu trả lời xuất sắc sẽ cảm thấy bị dẫn dắt sai. Thay vào đó hãy nói: "Đó là sự dự đoán ở quy mô khổng lồ, đó là lý do nó vừa ấn tượng vừa không đáng tin cậy theo những cách cụ thể."

6. 640–46 phút

   Sáng tạo

   Lời giải thích một phút của bạn

   Mỗi người tham gia rút Thẻ 10 và viết một lời giải thích một phút về ảo giác AI cho đối tượng của mình: học sinh lớp hai, học sinh lớp 12, một phụ huynh hoặc hội đồng giảng viên. Lời giải thích phải có (1) dự đoán dựa trên khuôn mẫu, (2) vì sao điều đó có thể tạo ra nhận định sai, và (3) một việc cần làm (kiểm tra với nguồn đáng tin). Hai người đọc to lời giải thích của nhau và đưa ra một nhận xét "rõ ràng" và một nhận xét "chính xác chưa?".

   Ghi chú cho người điều phốiLắng nghe những lời giải thích trượt sang "nó tra cứu" hoặc "nó suy nghĩ". Nhẹ nhàng hướng lại thành "nó dự đoán những từ có khả năng xuất hiện".

7. 746–50 phút

   Suy ngẫm

   AI thuộc về đâu?

   Kết thúc bằng câu hỏi: "Khi đã biết cách nó hoạt động, ở chỗ nào trong môn học của bạn, câu trả lời của chatbot AI dễ nghe có vẻ đúng nhưng lại sai nhất?" Ghi các câu trả lời lên giấy khổ lớn. Tùy chọn: trình chiếu chatbot được học khu phê duyệt và hỏi câu hỏi địa phương hoặc ít người biết mà bạn đã chuẩn bị. So sánh sự trôi chảy của nó với mô hình giấy.

   Ghi chú cho người điều phốiCâu trả lời thường gặp: lịch sử địa phương, sự kiện gần đây, trích dẫn và số trang cụ thể, số liệu thống kê chuyên biệt, tên người ở thị trấn nhỏ. Đây là những vùng dữ liệu mỏng, nơi việc bịa ra điều nghe có lý dễ xảy ra nhất.

Điều chỉnh

Giáo viên K–2 và 3–5

Với học sinh nhỏ, chỉ dùng câu 1–5, cả lớp cùng đếm trên bảng chỉ với BẮT ĐẦU và một từ khác, và giáo viên là người rút từ cốc. Giữ thông điệp gói gọn trong một câu: "AI đoán từ tiếp theo. Đoán thì có thể sai, nên chúng ta kiểm tra."

Giảng viên đại học

Thêm một vòng trong đó các nhóm bỏ câu 8 khỏi thư viện và huấn luyện lại, rồi thảo luận điều gì xảy ra với những sự thật chỉ xuất hiện một lần, hoặc không bao giờ xuất hiện, trong dữ liệu huấn luyện. Liên hệ với lý do vì sao các trích dẫn và tài liệu tham khảo do AI tạo ra phải được kiểm tra từng cái một.

Người học song ngữ đang phát triển

Xây dựng một thư viện thứ hai gồm năm câu bằng tiếng mẹ đẻ của học sinh. So sánh trật tự từ làm thay đổi kết quả đếm như thế nào, và thảo luận vì sao một mô hình được huấn luyện chủ yếu bằng văn bản tiếng Anh có thể hoạt động kém tin cậy hơn ở các ngôn ngữ khác.

Kết hợp tốt với

• Hoạt động nhóm về Hiểu biết AI tạo sinh (K–8)Các trò chơi tiếp nối dành cho học sinh về cách AI tạo sinh hoạt động và vì sao chúng ta cần kiểm chứng.
• Augmented K–16 AI Learning FrameworkGiúp đặt bài học khái niệm này vào lộ trình hiểu biết AI từ K–16.