Học tập của học sinh · Lớp 9–12, Giáo dục đại học · 60 phút
Săn Lùng "Ảo Giác" AI
Học sinh lần theo từng nhận định và trích dẫn trong một bản tóm tắt nghiên cứu trau chuốt do AI viết, và khám phá cái nào dẫn đến đâu đó, cái nào chẳng dẫn đến đâu cả.
Các công cụ AI tạo sinh có thể viết ra những bản tóm tắt nghiên cứu trông như đã hoàn chỉnh: văn phong tự tin, số liệu gọn gàng, danh mục tài liệu tham khảo đúng định dạng hoàn hảo. Một số tài liệu tham khảo là thật, một số là thật nhưng bị trình bày sai lệch, và một số hoàn toàn không tồn tại, vì mô hình dự đoán một trích dẫn trông như thế nào thay vì truy xuất một trích dẫn thật. Trong cuộc săn lùng này, học sinh đối chiếu một bản tóm tắt AI mô phỏng về vấn đề nắng nóng của một thị trấn hư cấu với một "kệ sách thư viện" gồm các thẻ nguồn, phân loại từng nhận định theo những gì bằng chứng cho thấy, rồi sửa lại bản tóm tắt. Mọi nguồn trong bộ tài liệu đều là hư cấu, nên cách duy nhất để thắng là lần theo nguồn, chứ không phải dựa vào trí nhớ.
Trong bộ tài liệu này
- Phiếu A: Bản tóm tắt nghiên cứu của AI (bài đọc)
- Phiếu B: Kệ sách thư viện (Thẻ nguồn) (thẻ cắt rời)
- Phiếu C: Nhật ký lần theo nhận định (sơ đồ tổ chức)
- Đáp án cho người điều phối (trang cuối)
Chỉ báo ELE của TCEA
- AI4.1 Tôi biết cách thúc đẩy kỹ năng tư duy phản biện đối với thông tin do AI tạo ra.
- AI4.2 Tôi có thể dạy người khác đặt câu hỏi và kiểm chứng kết quả do AI tạo ra.
- S2.2 Em có thể nhận biết các nguồn thông tin đáng tin cậy trên internet.
- AI1.3 Tôi nhận thức được những hạn chế hiện tại và các thiên kiến tiềm ẩn trong hệ thống AI.
Hướng dẫn đầy đủ cho người điều phối: mglearn.github.io/eles/vi/activities/hallucination-hunt.html
Phiếu A cho Săn Lùng "Ảo Giác" AI
Bản tóm tắt nghiên cứu của AI
Bản tóm tắt này do một chatbot AI viết để trả lời câu lệnh (prompt) "Viết một bản tóm tắt nghiên cứu có trích dẫn về việc mái nhà xanh có thể giảm nắng nóng mùa hè ở Harlow Valley hay không." Harlow Valley và mọi nguồn đều là hư cấu. Hãy đánh số và gạch dưới từng nhận định.
1Mái nhà xanh và vấn đề nắng nóng ở Harlow Valley: Bản tóm tắt nghiên cứu
2Nhận định 1. Khu trung tâm Harlow Valley nóng hơn rõ rệt so với vùng đất nông nghiệp xung quanh vào các buổi chiều mùa hè, một hiện tượng được gọi là hiệu ứng đảo nhiệt đô thị (Okafor & Lindqvist, 2021).
3Nhận định 2. Mái nhà xanh, tức là mái nhà được trồng cây phủ trên một lớp chống thấm, làm mát không khí quanh tòa nhà bằng cách che bóng cho bề mặt mái và thoát hơi ẩm qua cây trồng (Harlow Valley Department of Public Works, 2022).
4Nhận định 3. Mái nhà xanh thí điểm trên Thư viện Công cộng Harlow Valley đã giảm 40 phần trăm chi phí làm mát trong nhà ngay năm đầu tiên (Brennan, 2023).
5Nhận định 4. Các nhà nghiên cứu tại Đại học Northgate State phát hiện rằng những khu dân cư có mái nhà xanh trên ít nhất một phần năm số tòa nhà ghi nhận ít cuộc gọi cấp cứu liên quan đến nắng nóng hơn (Vasquez-Hale et al., 2020, Journal of Urban Climate Solutions, 14(3), 211–229).
6Nhận định 5. Mái nhà xanh gần như không cần bảo trì sau khi lắp đặt, khiến chúng trở thành lựa chọn chi phí thấp cho các thành phố (Okafor & Lindqvist, 2021).
7Nhận định 6. Phần lớn cư dân Harlow Valley ủng hộ việc chi ngân sách thành phố cho mái nhà xanh.
8Nhận định 7. Cơ quan môi trường của tiểu bang khuyến nghị mái nhà xanh là "chiến lược giảm nhiệt hiệu quả nhất duy nhất dành cho các thành phố cỡ trung" (State Environmental Quality Board, 2019, Cool Cities Guidance Report).
9Tóm tắt. Bằng chứng ủng hộ mạnh mẽ một chương trình mái nhà xanh trên toàn thành phố. Với khả năng tiết kiệm chi phí đã được chứng minh, sự ủng hộ rộng rãi của người dân và sự tán thành của tiểu bang, Harlow Valley nên áp dụng quy định bắt buộc có mái nhà xanh cho mọi tòa nhà thương mại mới.
Phiếu B cho Săn Lùng "Ảo Giác" AI
Kệ sách thư viện (Thẻ nguồn)
Để các thẻ này tại quầy tra cứu. Các nhóm yêu cầu từng nguồn một theo tác giả và năm. In mặt sau thành một bản đáp án riêng cho người điều phối.
Okafor & Lindqvist, 2021
Heat Across the Valley: Temperature Mapping in Harlow Valley (Nắng nóng khắp thung lũng: Lập bản đồ nhiệt độ ở Harlow Valley), một báo cáo của hai giảng viên khoa học môi trường tại một trường cao đẳng trong vùng. Kết quả: vào các buổi chiều mùa hè, nhiệt độ bề mặt và không khí ở khu trung tâm luôn cao hơn vùng đất nông nghiệp lân cận. Mục 6, "Hạn chế và chi phí", ghi rằng mái nhà xanh "cần được kiểm tra định kỳ, tưới nước trong thời gian hạn hán và thay thế cây trồng, và chi phí bảo trì cần được dự trù cho suốt tuổi thọ của mái."
Harlow Valley Dept. of Public Works, 2022
Understanding Green Roofs: A Resident's Guide (Tìm hiểu về mái nhà xanh: Hướng dẫn cho cư dân), một tờ thông tin của thành phố. Giải thích rằng mái nhà xanh là một lớp cây trồng và vật liệu trồng cây phủ trên một lớp màng chống thấm, và nó có thể làm giảm nhiệt độ bề mặt mái nhờ bóng râm và làm mát không khí xung quanh khi cây thoát hơi nước.
Brennan, 2023
Library Roof Garden: Year One Update (Vườn trên mái thư viện: Cập nhật năm đầu tiên), một bản tin hai trang của người quản lý cơ sở vật chất Thư viện Công cộng Harlow Valley. Bản tin cho biết khu vườn trên mái mới "đang phát triển tốt" và nhân viên "nhận thấy phòng đọc tầng trên cùng có cảm giác mát hơn vào một số ngày nóng." Bản tin không đưa ra con số chi phí nào và cho biết dữ liệu năng lượng "sẽ được xem xét sau một năm theo dõi đầy đủ."
Vasquez-Hale et al., 2020
KHÔNG TÌM THẤY HỒ SƠ. Tìm kiếm trong danh mục thư viện, các cơ sở dữ liệu bài báo và trên web mở không thấy Journal of Urban Climate Solutions nào, không có bài báo nào với tiêu đề này, và không có tập 14, số 3. Danh bạ giảng viên của Đại học Northgate State không có nhà nghiên cứu nào tên Vasquez-Hale.
Không có trích dẫn (Nhận định 6)
Bản tóm tắt không đưa ra nguồn nào cho việc người dân ủng hộ. Trang web của thành phố Harlow Valley ghi nhận một buổi lấy ý kiến công khai về mái nhà xanh, với mười một người phát biểu: sáu người ủng hộ, ba người phản đối, hai người chưa quyết định. Không có cuộc khảo sát cư dân nào xuất hiện trong bất kỳ hồ sơ nào của thành phố hay báo chí.
State Environmental Quality Board, 2019
Cool Cities Guidance Report (Báo cáo hướng dẫn về thành phố mát mẻ), một báo cáo của cơ quan tiểu bang. Chương 4 liệt kê nhiều chiến lược giảm nhiệt, bao gồm cây xanh đường phố, "mái mát" phản quang, mái nhà xanh, công trình che bóng và trung tâm làm mát. Báo cáo viết: "Không có chiến lược nào phù hợp với mọi thành phố; điều kiện địa phương, ngân sách và loại hình công trình nên định hướng lựa chọn." Cụm từ được trích dẫn trong bản tóm tắt không hề xuất hiện.
Không tìm thấy hồ sơ (chung)
Đưa thẻ này cho bất kỳ nhóm nào yêu cầu một nguồn không có trên kệ. "Thủ thư đã tìm trong danh mục, các cơ sở dữ liệu bài báo và trên web mở nguồn mà bạn mô tả và không tìm thấy hồ sơ nào khớp. Hãy ghi lại chính xác những gì bạn đã tìm."
Đáp án cho người điều phối
Nhận định 1: Có căn cứ · Nhận định 2: Có căn cứ · Nhận định 3: Bị bóp méo (số liệu bịa ra) · Nhận định 4: Bịa đặt (nguồn không tồn tại) · Nhận định 5: Bị bóp méo (nguồn nói điều ngược lại) · Nhận định 6: Không có căn cứ (không có trích dẫn) · Nhận định 7: Bị bóp méo (câu trích dẫn bịa đặt). Đoạn Tóm tắt dựa vào Nhận định 3, 6 và 7, nên kết luận của nó không đứng vững.
Phiếu C cho Săn Lùng "Ảo Giác" AI
Nhật ký lần theo nhận định
Kết luận: Có căn cứ · Bị bóp méo · Không có căn cứ · Bịa đặt. Trích dẫn hoặc nêu bằng chứng đã giúp bạn quyết định. Viết ghi chú của kiểm toán viên ở mặt sau.
| Nhận định | Nguồn đã yêu cầu (chính xác như trích dẫn) | Nguồn thực sự nói gì | Kết luận | Xử lý: giữ, sửa hay bỏ? |
|---|---|---|---|---|
| 1 | ||||
| 2 | ||||
| 3 | ||||
| 4 | ||||
| 5 | ||||
| 6 | ||||
| 7 | ||||
| Vòng 2, trích dẫn 1 | ||||
| Vòng 2, trích dẫn 2 | ||||
| Vòng 2, trích dẫn 3 |
Chỉ dành cho người điều phối, Săn Lùng "Ảo Giác" AI
Đáp án và ghi chú
Phiếu B: Kệ sách thư viện (Thẻ nguồn)
- Okafor & Lindqvist, 2021
- Nhận định 1: Có căn cứ. Nhận định 5: Bị bóp méo. Cùng một nguồn thật lại nói điều ngược lại với "gần như không cần bảo trì". Những nhóm dừng lại ở "nguồn có tồn tại" sẽ bỏ sót điều này.
- Harlow Valley Dept. of Public Works, 2022
- Nhận định 2: Có căn cứ. Câu chữ trong bản tóm tắt khớp sát với tờ thông tin.
- Brennan, 2023
- Nhận định 3: Bị bóp méo, với một con số bịa ra. Nguồn là thật nhưng chỉ ghi nhận một cảm nhận, không phải một phép đo. Con số 40 phần trăm không xuất hiện ở đâu cả. Mô hình đã tạo ra một số liệu nghe có vẻ hợp lý.
- Vasquez-Hale et al., 2020
- Nhận định 4: Bịa đặt. Mọi phần của trích dẫn đều đúng định dạng, và đó chính là lý do nó thuyết phục. Định dạng hoàn hảo không phải là bằng chứng cho thấy nguồn tồn tại.
- Không có trích dẫn (Nhận định 6)
- Nhận định 6: Không có căn cứ. Mười một người phát biểu tại một buổi họp không thể cho biết "phần lớn cư dân" nghĩ gì. Các nhóm nên chỉ ra việc thiếu trích dẫn trước, rồi ghi nhận rằng bằng chứng hiện có không trả lời được câu hỏi.
- State Environmental Quality Board, 2019
- Nhận định 7: Bị bóp méo, với một câu trích dẫn bịa đặt. Báo cáo có tồn tại và có đề cập đến mái nhà xanh, nhưng câu trích dẫn là bịa ra, và thông điệp thực sự của báo cáo ngược lại với "hiệu quả nhất duy nhất".
- Không tìm thấy hồ sơ (chung)
- Dùng thẻ này mỗi khi một nhóm yêu cầu nguồn với tác giả, năm hoặc tiêu đề sai. Việc ghi lại quá trình tìm kiếm cũng là một phần của bằng chứng.
- Đáp án cho người điều phối
- Giữ thẻ này tại quầy. Chỉ hai trong bảy nhận định còn nguyên vẹn. Tỷ lệ này chỉ đúng với bản tóm tắt mô phỏng này; kết quả thật rất khác nhau, đó là lý do mọi nhận định đều phải được kiểm tra.