Trường Công nghệ Georgia trong nỗ lực xử lý những “nhầm tưởng” từ trợ giảng Chat GPT

Bên cạnh những triển vọng đầy hứa hẹn, việc ứng dụng Chat GPT trong giáo dục vẫn tồn tại nhiều bất cập

Chắc chắn không trường đại học nào muốn thuê một trợ giảng cố tình nói dối sinh viên về nội dung khóa học hay hạn nộp bài. Bởi vậy, mặc cho những xôn xao xoay quanh việc phần mềm AI thế hệ mới như Chat GPT có thể hỗ trợ việc giảng dạy, vẫn tồn tại mối lo về khả năng công nghệ tự tô vẽ nên sự thật.

Các nhà nghiên cứu tại Viện Công nghệ Georgia cho rằng có cách để yêu cầu chatbot trung thực. Họ đang tiến hành thử nghiệm hướng đi này với ba khóa học trực tuyến mùa hè.

“Chat GPT không quan tâm đến sự thật. Điều duy nhất nó quan tâm là từ kế tiếp khả thi nhất trong một chuỗi từ ngữ,” Sandeep Kakar, nhà nghiên cứu khoa học tại Trường Công nghệ Georgia cho biết. “Giống như việc một gã tự phụ nói dối mà mặt không biến sắc, và vì thế rất khó để phát hiện. Tôi muốn gọi đó là đứa trẻ hư không ngại nói dối cha mẹ. Nó rất ngại thừa nhận, ‘Tôi không biết.’”

Vì lẽ đó, các nhà nghiên cứu và tập đoàn sử dụng AI trong phát triển sản phẩm – bao gồm lĩnh vực giáo dục, đang tìm cách ngăn chặn AI sản sinh ra những thông tin sai lệch.

“Tất cả những ai làm việc với Chat GPT đều muốn ngăn chặn những sự nhầm tưởng,” Kakar bổ sung, “nhưng đó thực sự là bản chất của những mô hình ngôn ngữ lớn.”

Trường Công nghệ Georgia dường như đã tìm thấy một đồng minh lạ thường trong nỗ lực thuần hóa Chat GPT. Ngôi trường này đã dành nhiều năm trời xây dựng một chatbot AI có nhiệm vụ trợ giảng, được biết đến với cái tên Jill Watson. Trợ giảng “ảo” này làm tốt đến mức trong một số trường hợp, các sinh viên học trực tuyến không thể phân biệt được là chatbot hay người thật đang trả lời họ.

Nhưng những phiên bản mới nhất của Chat GPT còn mạnh mẽ hơn thế. Bởi vậy, Ashok K. Goel, giáo sư chuyên ngành khoa học máy tính và điện toán, người dẫn dắt việc chế tạo nên Jill Watson, đã đề xuất một kế hoạch khác thường. Ông yêu cầu Jill Watson giám sát Chat GPT, cụ thể là kiểm chứng thông tin đến từ công cụ này trước khi gửi kết quả cho sinh viên.

“Jill Watson đóng vai trò trung gian,” Goel nói với EdSurge.

Kế hoạch là đào tạo Jill Watson về những tư liệu cụ thể dùng cho khóa học, bao gồm nội dung bài giảng (slides, videos) và nội dung giáo trình. Sau đó Jill Watson có thể hướng dẫn Chat GPT tìm kiếm thông tin ở một phần trong sách trước khi trả lời sinh viên, hoặc kiểm chứng kết quả Chat GPT thu thập từ Internet với nguồn đối chiếu tin cậy là sách giáo trình. 

Kakar cho rằng việc cho các chatbots phối hợp cùng nhau là cách tốt nhất để giúp chúng trung thực, khi sự nhầm tưởng có thể chỉ là một đặc tính bất biến của các mô hình ngôn ngữ quy mô lớn.

“Tôi nghi ngờ khả năng thay đổi bản chất, nhưng chúng ta có thể ngăn chặn các lỗi phát sinh,” Kakar nói. “Việc này có thể phát hiện sớm nguy cơ và ngăn những câu trả lời sai xuất hiện.”

Chatbot thử nghiệm này được sử dụng trong ba khóa học hè trực tuyến – Nhập môn Khoa học Nhận thức (do Goel giảng dạy), Tương tác Người – Máy, Trí tuệ nhân tạo dựa trên tri thức. Những khóa học này có từ 100 đến 307 sinh viên theo học. Sinh viên có thể trải nghiệm trợ giảng chatbot theo 1 trong 2 cách: Hoặc trực tiếp đặt câu hỏi cho chatbot trong giờ thảo luận chung để các sinh viên khác nắm được câu trả lời, hoặc gửi riêng câu hỏi cho chatbot. Sinh viên đồng thuận để các nhà nghiên cứu tiếp nhận câu trả lời – kể cả trong những trao đổi riêng tư, với mục tiêu giám sát và cải thiện chatbots.

Điều này diễn ra như thế nào?

Kakar thừa nhận rằng đây mới chỉ là quá trình. Riêng trong tuần này, các nhà nghiên cứu kiểm nghiệm chatbot và nhận được câu trả lời bao gồm “một trích dẫn từ cuốn sách đi kèm với bản tóm tắt.”. Nhưng có một vấn đề: Cuốn sách được trích dẫn đầy tự tin này không hề tồn tại.

Chatbot đã tự tạo ra câu trả lời, nhưng Kakar cho rằng nó cũng phát hiện thấy điều gì đó không đúng nên đã gửi kèm một cảnh báo rằng “Tôi không mấy tự tin về lời giải đáp này.”

“Ta không hề muốn những nhầm tưởng này được thông qua,” Kakar nói, “nhưng hy vọng rằng nếu có thì sẽ đi kèm cảnh báo.”

Kakar nói rằng trong phần lớn – trên 95% – các trường hợp, chatbot đưa ra thông tin chính xác. Và sinh viên tỏ ra thích thú với điều này – một số thậm chí còn mới chatbot đi ăn tối. (Và nhận lại một câu trả lời được lập trình sẵn, trong đó có đoạn “Tôi rất thích nhưng chỉ tiêu hóa được dữ liệu thôi.”)

Tuy vậy, vẫn thật khó để tưởng tượng ra cảnh Trường Công nghệ Georgia, hay bất cứ trường đại học nào, thuê một trợ giảng sẵn sàng bịa đặt trích dẫn và nội dung giáo trình – ngay cả khi điều này cực kỳ hiếm gặp.

“Chúng tôi đang nỗ lực vì vài phần trăm cuối cùng,” Kakar nói. “Chúng tôi muốn độ chính xác tiệm cận 99%.”

Kakar lo lắng về vấn đề này tới mức thao thức nhiều đêm về viễn cảnh chưa có lời giải: “Hãy tưởng tượng việc một sinh viên hỏi về hạn nộp bài, và Chat GPT bịa ra một ngày nào đó. Đó là sự chệch hướng chúng ta phải ngăn chặn – chỉ bằng cách cố gắng xây nên những cái lan can như hiện tại.”

Goel hy vọng rằng thử nghiệm mùa hè này sẽ thành công để áp dụng vào các lớp học mùa thu và trong những lĩnh vực khác, bao gồm sinh học và kinh tế học.

Vậy nếu các nhà nghiên cứu có thể tạo ra người máy trợ giảng thì vai trò của giáo sư là gì?

“Jill Watson chỉ là một trợ giảng – một phát ngôn viên của giáo sư thay vì chính họ,” Kakar nói. “Không điều gì thay đổi được vai trò của một giáo sư.”

Ông chỉ ra rằng tất cả những gì chatbot được dạy là tư liệu học tập mà sinh viên có thể tiếp cận dưới những dạng thức khác nhau – sách giáo trình, slides và video bài giảng. Cùng với đó, sinh viên ngày nay có thể lên YouTube để tự tìm câu trả lời cho mọi thắc mắc. Nhưng ông cũng nói rằng những thí nghiệm trước đó với các khóa học trực tuyến giá rẻ hoặc miễn phí đều cho thấy sinh viên vẫn cần một người giảng dạy có thể duy trì động lực và giúp họ làm quen với tài liệu học tập.

“Trợ giảng không bao giờ thay thế được giáo sư,” ông nói, “vậy thì tại sao Jill Watson có thể?”

Dịch từ Georgia Tech Is Trying to Keep a ChatGPT-Powered Teaching Assistant From ‘Hallucinating’

Tác giả: Jeffrey R.Young 

Dẫn nguồn: https://www.edsurge.com/news/2023-06-22-georgia-tech-is-trying-to-keep-a-chatgpt-powered-teaching-assistant-from-hallucinating

Đang làm bài thi