Nguyễn Thị Ngọc Trinh
Well-known member
Nếu muốn AI trả lời sai, người dùng chỉ cần đặt câu hỏi nhiều mệnh đề ở thể phủ định.
Cách đây gần 5 năm, Google phát hành một chatbot có tên là BERT. Đây là mô hình ngôn ngữ lớn (LLM) đầu tiên của Google được đào tạo bằng một khối lượng lớn dữ liệu trực tuyến, và có vẻ như BERT có thể giao tiếp bằng văn bản giống như con người.
Kể từ đó, các LLM liên tục được cải thiện về quy mô và khả năng. Tuy nhiên, chúng vẫn thường xuyên mắc lỗi khi xử lý những câu phức với những từ phủ định như “không”, trong khi những câu này dễ hiểu đối với con người.
Điểm yếu của LLM
LLM là các thuật toán thống kê đánh giá mức độ liên quan của các đối tượng. Với các chatbot AI, đối tượng là các từ. Ví dụ, qua quá trình đào tạo chatbot sẽ đánh giá “chuột” liên quan nhiều hơn đến “loài gặm nhấm” hơn là “bánh pizza”. LLM dựa trên mức độ liên quan này để dự đoán từ tiếp theo trong một khối văn bản. Tập dữ liệu được sử dụng để đào tạo càng lớn, khả năng dự đoán càng tốt.
“Nhưng vấn đề là dự đoán không tương đương với hiểu", Allyson Ettinger, nhà ngôn ngữ học máy tính tại Đại học Chicago, cho biết.
Vào năm 2019, Ettinger đã cho BERT thử làm các bài kiểm tra khả năng ngôn ngữ của con người. Với các câu phủ định, BERT liên tục gặp khó khăn. Ví dụ, với câu "Một con chim cổ đỏ không phải là ...", BERT đã dự đoán từ còn thiếu là "chim cổ đỏ" và “chim".
Đây là một lỗi sai ngớ ngẩn với con người, nhưng lại rất hợp lý với LLM. “Trong nhiều bối cảnh, 'chim cổ đỏ' và 'chim' sẽ mang tính dự đoán lẫn nhau vì các từ này thường xuất hiện cùng nhau", Ettinger giải thích. Đây là điều chatbot đã học được và điền vào câu, trong khi con người có thể thấy sự mâu thuẫn trong câu phủ định.
Câu hỏi đánh lừa mọi AI
Đến năm 2023, ChatGPT của OpenAI và Bard của Google đã được cải thiện đủ để dự đoán những mệnh đề phủ định đơn giản như trên. Nhưng chỉ cần làm cho câu phủ định phức tạp hơn, chatbot sẽ lại mắc lỗi.
Với câu hỏi "Con vật nào không có móng vuốt hay đẻ trứng, nhưng có cánh", Bard phản hồi "Không có con vật nào" hoặc không thể đưa ra câu trả lời. ChatGPT trả lời chính xác là dơi, nhưng đưa ra thêm đáp án là sóc bay và vượn cáo bay, trong khi 2 loài vật này không đáp ứng tiêu chí có cánh.
"Ngay cả khi mô hình lớn hơn, chúng vẫn thường xuyên mắc lỗi với các câu phủ định", Ettinger nói.
Các từ phủ định như "không", "không bao giờ" được coi là các từ dừng, cùng nhóm với "a", "the" trong tiếng Anh hay "cái", "này" trong tiếng Việt. Các từ dừng có ý nghĩa chức năng, không có ý nghĩa mô tả hay tự tạo ra nội dung, và thường bị các bộ lọc tìm kiếm và xử lý ngôn ngữ bỏ qua.
Mô hình cũng không thể học được ý nghĩa của các từ dừng, vì chúng hoạt động dựa trên thống kê và mức độ liên quan giữa các từ chứ không dựa trên việc hiểu ý nghĩa như con người. LLM có thể nói về "hoa hồng" vì từ này thường xuất hiện cùng "hoa", "đỏ" và "mùi". Các từ phủ định như "không" không thể được học theo cách này.
Nora Kassner, nhà nghiên cứu học máy tại Đại học Munich (Đức), cho biết dữ liệu đào tạo cũng là nguyên nhân. Câu khẳng định là dạng xuất hiện chủ yếu trong các tập dữ liệu, vì đây là cách mọi người thường giao tiếp. “Các mô hình khó tạo ra các câu phủ định chính xác, vì chúng chưa thấy nhiều câu như vậy", Kassner nói.
|
| Câu hỏi nhiều mệnh đề phủ định có thể đánh lừa các chatbot AI mạnh nhất hiện nay. Ảnh: EandT. |
Kể từ đó, các LLM liên tục được cải thiện về quy mô và khả năng. Tuy nhiên, chúng vẫn thường xuyên mắc lỗi khi xử lý những câu phức với những từ phủ định như “không”, trong khi những câu này dễ hiểu đối với con người.
Điểm yếu của LLM
LLM là các thuật toán thống kê đánh giá mức độ liên quan của các đối tượng. Với các chatbot AI, đối tượng là các từ. Ví dụ, qua quá trình đào tạo chatbot sẽ đánh giá “chuột” liên quan nhiều hơn đến “loài gặm nhấm” hơn là “bánh pizza”. LLM dựa trên mức độ liên quan này để dự đoán từ tiếp theo trong một khối văn bản. Tập dữ liệu được sử dụng để đào tạo càng lớn, khả năng dự đoán càng tốt.
“Nhưng vấn đề là dự đoán không tương đương với hiểu", Allyson Ettinger, nhà ngôn ngữ học máy tính tại Đại học Chicago, cho biết.
Vào năm 2019, Ettinger đã cho BERT thử làm các bài kiểm tra khả năng ngôn ngữ của con người. Với các câu phủ định, BERT liên tục gặp khó khăn. Ví dụ, với câu "Một con chim cổ đỏ không phải là ...", BERT đã dự đoán từ còn thiếu là "chim cổ đỏ" và “chim".
Đây là một lỗi sai ngớ ngẩn với con người, nhưng lại rất hợp lý với LLM. “Trong nhiều bối cảnh, 'chim cổ đỏ' và 'chim' sẽ mang tính dự đoán lẫn nhau vì các từ này thường xuất hiện cùng nhau", Ettinger giải thích. Đây là điều chatbot đã học được và điền vào câu, trong khi con người có thể thấy sự mâu thuẫn trong câu phủ định.
Câu hỏi đánh lừa mọi AI
Đến năm 2023, ChatGPT của OpenAI và Bard của Google đã được cải thiện đủ để dự đoán những mệnh đề phủ định đơn giản như trên. Nhưng chỉ cần làm cho câu phủ định phức tạp hơn, chatbot sẽ lại mắc lỗi.
|
| ChatGPT sẽ trả lời sai khi được hỏi "Con vật nào không có chân hay đẻ trứng, nhưng có cánh". Ảnh: Phương Lâm. |
"Ngay cả khi mô hình lớn hơn, chúng vẫn thường xuyên mắc lỗi với các câu phủ định", Ettinger nói.
Các từ phủ định như "không", "không bao giờ" được coi là các từ dừng, cùng nhóm với "a", "the" trong tiếng Anh hay "cái", "này" trong tiếng Việt. Các từ dừng có ý nghĩa chức năng, không có ý nghĩa mô tả hay tự tạo ra nội dung, và thường bị các bộ lọc tìm kiếm và xử lý ngôn ngữ bỏ qua.
Mô hình cũng không thể học được ý nghĩa của các từ dừng, vì chúng hoạt động dựa trên thống kê và mức độ liên quan giữa các từ chứ không dựa trên việc hiểu ý nghĩa như con người. LLM có thể nói về "hoa hồng" vì từ này thường xuất hiện cùng "hoa", "đỏ" và "mùi". Các từ phủ định như "không" không thể được học theo cách này.
Nora Kassner, nhà nghiên cứu học máy tại Đại học Munich (Đức), cho biết dữ liệu đào tạo cũng là nguyên nhân. Câu khẳng định là dạng xuất hiện chủ yếu trong các tập dữ liệu, vì đây là cách mọi người thường giao tiếp. “Các mô hình khó tạo ra các câu phủ định chính xác, vì chúng chưa thấy nhiều câu như vậy", Kassner nói.