Một bài báo nổi bật trên Ars Technica hôm nay đã thảo luận về khả năng suy luận phi ngôn ngữ của các mô hình ngôn ngữ lớn và trích dẫn phát hiện của các nhà nghiên cứu cho biết xử lý trong 'không gian tiềm năng' có thể giúp trí tuệ nhân tạo giải quyết các vấn đề logic khó khăn. Vậy điều này nghĩa là gì? Chúng ta tiếp tục đọc tiếp.
Cho đến nay, các mô hình ngôn ngữ lớn đã có thành công lớn, sử dụng kiến trúc biến áp của chúng để dự đoán hiệu quả từ tiếp theo (tức là các dấu hiệu ngôn ngữ) cần thiết để trả lời các truy vấn. Tuy nhiên, khi nói đến các nhiệm vụ lý luận phức tạp đòi hỏi logic trừu tượng, một số nhà nghiên cứu đã phát hiện ra rằng việc giải thích mọi thứ thông qua "không gian ngôn ngữ" này có thể dẫn đến một số vấn đề, ngay cả đối với các mô hình "suy luận" hiện đại.
Hiện tại, các nhà nghiên cứu đang cố gắng giải quyết những vấn đề này bằng cách thiết kế các mô hình có thể tính toán ra các giải pháp logic tiềm năng trong 'không gian tiềm ẩn' - tức là tầng tính toán ẩn trước khi máy chuyển đổi tạo ra ngôn ngữ. Mặc dù phương pháp này không làm thay đổi đáng kể khả năng suy luận của các mô hình ngôn ngữ lớn, nhưng nó thực sự cải thiện đáng kể độ chính xác của một số loại vấn đề logic và chỉ ra một số hướng nghiên cứu mới thú vị.
Chờ một chút, không gian gì?
Mô hình suy luận hiện đại (ví dụ: o1 của ChatGPT) có xu hướng hoạt động bằng cách tạo ra một "chuỗi tư duy". Trong những mô hình này, mỗi bước của quá trình logic được biểu diễn dưới dạng một chuỗi các từ ngữ tự nhiên và được phản hồi thông qua mô hình.
Trong một bài báo mới, nhóm nghiên cứu trí tuệ nhân tạo cơ bản của Meta và các nhà nghiên cứu tại Đại học California, San Diego, coi sự phụ thuộc vào ngôn ngữ tự nhiên và “các nhãn từ” như là “nhân tố hạn chế cơ bản” của các mô hình suy luận này. Điều này bởi vì việc hoàn thành các nhiệm vụ suy luận thành công thường cần kế hoạch phức tạp cho các nhãn từ quan trọng cụ thể, để có thể tìm ra con đường logic đúng từ nhiều lựa chọn.
Sơ đồ trên minh họa sự khác biệt giữa mô hình tiêu chuẩn, đi qua một máy biến áp ở mỗi bước và mô hình DỪA, sử dụng trạng thái "tiềm ẩn" ẩn. (Nguồn: Đào tạo các mô hình ngôn ngữ lớn để suy luận trong một không gian tiềm ẩn liên tục)
Nhóm nghiên cứu viết rằng, trong mô hình chuỗi suy nghĩ hiện tại, việc gắn thẻ từ thông thường được tạo ra với mục tiêu "sự liên tục trong văn bản" và "sự trôi chảy", trong khi "đóng góp cho quá trình suy luận thực tế rất ít". Ngược lại, họ đề xuất rằng "tình huống lý tưởng là, mô hình ngôn ngữ lớn có thể suy luận tự do mà không bị ràng buộc bởi bất kỳ ngôn ngữ nào, sau đó chỉ chuyển đổi các phát hiện của họ thành ngôn ngữ khi cần thiết".
Để đạt được "lý tưởng" này, các nhà nghiên cứu mô tả một phương pháp "đào tạo các mô hình ngôn ngữ lớn để đưa ra suy luận trong các không gian tiềm ẩn liền kề", như tiêu đề của bài báo đã nêu. "Không gian tiềm ẩn" này về cơ bản được tạo thành từ một tập hợp các trọng lượng đánh dấu trung gian "ẩn" mà mô hình chứa trước khi máy biến áp tạo ra phiên bản ngôn ngữ tự nhiên mà con người có thể đọc được của trạng thái bên trong đó.
Trong mô hình COCONUT (chuỗi tư duy liên tục) của nhà nghiên cứu, các trạng thái ẩn này được mã hóa thành "tư duy tiềm ẩn", thay vì các bước viết tài liệu đơn lẻ khi đào tạo và xử lý truy vấn. Nhà nghiên cứu viết rằng điều này tránh được việc chuyển đổi mỗi bước thành ngôn ngữ tự nhiên và "giải phóng suy luận khỏi không gian ngôn ngữ", tạo ra một đường suy luận tối ưu được gọi là "chuỗi tư duy".
Tầm nhìn mở rộng hơn
Mặc dù xử lý logic trong không gian tiềm ẩn có lợi cho việc cải thiện hiệu suất mô hình, nhưng điều quan trọng hơn là phát hiện rằng mô hình này có thể 'mã hóa đồng thời nhiều bước tiếp theo tiềm ẩn'. Xử lý logic trong 'không gian tiềm ẩn' cho phép thực hiện một hình thức quay lại tức thì, các nhà nghiên cứu so sánh nó với việc tìm kiếm theo chiều rộng trên đồ thị thay vì tìm kiếm các lựa chọn logic một cách hoàn toàn và từng bước.
Nhóm nghiên cứu đã viết rằng ngay cả khi mô hình chưa được huấn luyện một cách rõ ràng, tính năng xử lý đột ngột và đồng bộ này cũng sẽ được thể hiện trong quá trình kiểm tra. "Mặc dù ban đầu mô hình có thể không đưa ra quyết định chính xác, nhưng nó có thể duy trì nhiều lựa chọn có thể trong quá trình tư duy liên tục và loại bỏ từng bước những con đường không chính xác thông qua suy luận dựa trên một số hàm giá trị ngầm định", họ viết.
Bức tranh này tập trung trình bày một số cách mà các mô hình khác nhau có thể thất bại trong một số loại suy luận logic. (Nguồn hình ảnh: Training Large Language Models to Reason in a Continuous Latent Space)
Trong các bài kiểm tra tư duy toán học tương đối đơn giản (GSM8K) hoặc kiểm tra tư duy chung (ProntoQA), so với mô hình chuỗi tư duy truyền thống, phương pháp suy luận đa đường này không thực sự cải thiện độ chính xác của COCONUT. Tuy nhiên, các nhà nghiên cứu đã phát hiện rằng mô hình này hoạt động tốt hơn trong một nhóm truy vấn kiểu ProntoQA được tạo ngẫu nhiên, các truy vấn này liên quan đến một tập hợp điều kiện logic phức tạp và quanh co (ví dụ, “mỗi quả táo đều là loại trái cây, mỗi loại trái cây đều là thức ăn, v.v.”).
Đối với những nhiệm vụ này, các mô hình lý luận chuỗi tâm trí tiêu chuẩn có xu hướng rơi vào ngõ cụt của lý luận và thậm chí tạo ra các quy tắc hoàn toàn hư cấu khi cố gắng giải quyết các vấn đề chuỗi logic. Nghiên cứu trước đây cũng đã chỉ ra rằng các bước logic "bằng lời nói" được tạo ra bởi các mô hình chuỗi suy nghĩ này "thực sự có thể sử dụng các quá trình lý luận tiềm ẩn khác với các quá trình lý luận được chia sẻ".
Nghiên cứu mới tham gia vào một cơ quan nghiên cứu đang phát triển nhằm tìm hiểu và tận dụng cách các mô hình ngôn ngữ lớn hoạt động ở cấp độ mạng lưới thần kinh cơ bản của chúng. Mặc dù không có đột phá lớn nào được thực hiện trong loại nghiên cứu này, các nhà nghiên cứu tin rằng các mô hình được đào tạo trước với "tư duy liên tục" này ngay từ đầu có thể "cho phép các mô hình khái quát hóa hiệu quả hơn trong một loạt các kịch bản suy luận".
Nội dung chỉ mang tính chất tham khảo, không phải là lời chào mời hay đề nghị. Không cung cấp tư vấn về đầu tư, thuế hoặc pháp lý. Xem Tuyên bố miễn trừ trách nhiệm để biết thêm thông tin về rủi ro.
Mô hình ngôn ngữ lớn có khả năng suy luận phi ngôn ngữ không?
Nguồn: Quantum number
Một bài báo nổi bật trên Ars Technica hôm nay đã thảo luận về khả năng suy luận phi ngôn ngữ của các mô hình ngôn ngữ lớn và trích dẫn phát hiện của các nhà nghiên cứu cho biết xử lý trong 'không gian tiềm năng' có thể giúp trí tuệ nhân tạo giải quyết các vấn đề logic khó khăn. Vậy điều này nghĩa là gì? Chúng ta tiếp tục đọc tiếp.
Cho đến nay, các mô hình ngôn ngữ lớn đã có thành công lớn, sử dụng kiến trúc biến áp của chúng để dự đoán hiệu quả từ tiếp theo (tức là các dấu hiệu ngôn ngữ) cần thiết để trả lời các truy vấn. Tuy nhiên, khi nói đến các nhiệm vụ lý luận phức tạp đòi hỏi logic trừu tượng, một số nhà nghiên cứu đã phát hiện ra rằng việc giải thích mọi thứ thông qua "không gian ngôn ngữ" này có thể dẫn đến một số vấn đề, ngay cả đối với các mô hình "suy luận" hiện đại.
Hiện tại, các nhà nghiên cứu đang cố gắng giải quyết những vấn đề này bằng cách thiết kế các mô hình có thể tính toán ra các giải pháp logic tiềm năng trong 'không gian tiềm ẩn' - tức là tầng tính toán ẩn trước khi máy chuyển đổi tạo ra ngôn ngữ. Mặc dù phương pháp này không làm thay đổi đáng kể khả năng suy luận của các mô hình ngôn ngữ lớn, nhưng nó thực sự cải thiện đáng kể độ chính xác của một số loại vấn đề logic và chỉ ra một số hướng nghiên cứu mới thú vị.
Chờ một chút, không gian gì?
Mô hình suy luận hiện đại (ví dụ: o1 của ChatGPT) có xu hướng hoạt động bằng cách tạo ra một "chuỗi tư duy". Trong những mô hình này, mỗi bước của quá trình logic được biểu diễn dưới dạng một chuỗi các từ ngữ tự nhiên và được phản hồi thông qua mô hình.
Trong một bài báo mới, nhóm nghiên cứu trí tuệ nhân tạo cơ bản của Meta và các nhà nghiên cứu tại Đại học California, San Diego, coi sự phụ thuộc vào ngôn ngữ tự nhiên và “các nhãn từ” như là “nhân tố hạn chế cơ bản” của các mô hình suy luận này. Điều này bởi vì việc hoàn thành các nhiệm vụ suy luận thành công thường cần kế hoạch phức tạp cho các nhãn từ quan trọng cụ thể, để có thể tìm ra con đường logic đúng từ nhiều lựa chọn.
Sơ đồ trên minh họa sự khác biệt giữa mô hình tiêu chuẩn, đi qua một máy biến áp ở mỗi bước và mô hình DỪA, sử dụng trạng thái "tiềm ẩn" ẩn. (Nguồn: Đào tạo các mô hình ngôn ngữ lớn để suy luận trong một không gian tiềm ẩn liên tục)
Nhóm nghiên cứu viết rằng, trong mô hình chuỗi suy nghĩ hiện tại, việc gắn thẻ từ thông thường được tạo ra với mục tiêu "sự liên tục trong văn bản" và "sự trôi chảy", trong khi "đóng góp cho quá trình suy luận thực tế rất ít". Ngược lại, họ đề xuất rằng "tình huống lý tưởng là, mô hình ngôn ngữ lớn có thể suy luận tự do mà không bị ràng buộc bởi bất kỳ ngôn ngữ nào, sau đó chỉ chuyển đổi các phát hiện của họ thành ngôn ngữ khi cần thiết".
Để đạt được "lý tưởng" này, các nhà nghiên cứu mô tả một phương pháp "đào tạo các mô hình ngôn ngữ lớn để đưa ra suy luận trong các không gian tiềm ẩn liền kề", như tiêu đề của bài báo đã nêu. "Không gian tiềm ẩn" này về cơ bản được tạo thành từ một tập hợp các trọng lượng đánh dấu trung gian "ẩn" mà mô hình chứa trước khi máy biến áp tạo ra phiên bản ngôn ngữ tự nhiên mà con người có thể đọc được của trạng thái bên trong đó.
Trong mô hình COCONUT (chuỗi tư duy liên tục) của nhà nghiên cứu, các trạng thái ẩn này được mã hóa thành "tư duy tiềm ẩn", thay vì các bước viết tài liệu đơn lẻ khi đào tạo và xử lý truy vấn. Nhà nghiên cứu viết rằng điều này tránh được việc chuyển đổi mỗi bước thành ngôn ngữ tự nhiên và "giải phóng suy luận khỏi không gian ngôn ngữ", tạo ra một đường suy luận tối ưu được gọi là "chuỗi tư duy".
Tầm nhìn mở rộng hơn
Mặc dù xử lý logic trong không gian tiềm ẩn có lợi cho việc cải thiện hiệu suất mô hình, nhưng điều quan trọng hơn là phát hiện rằng mô hình này có thể 'mã hóa đồng thời nhiều bước tiếp theo tiềm ẩn'. Xử lý logic trong 'không gian tiềm ẩn' cho phép thực hiện một hình thức quay lại tức thì, các nhà nghiên cứu so sánh nó với việc tìm kiếm theo chiều rộng trên đồ thị thay vì tìm kiếm các lựa chọn logic một cách hoàn toàn và từng bước.
Nhóm nghiên cứu đã viết rằng ngay cả khi mô hình chưa được huấn luyện một cách rõ ràng, tính năng xử lý đột ngột và đồng bộ này cũng sẽ được thể hiện trong quá trình kiểm tra. "Mặc dù ban đầu mô hình có thể không đưa ra quyết định chính xác, nhưng nó có thể duy trì nhiều lựa chọn có thể trong quá trình tư duy liên tục và loại bỏ từng bước những con đường không chính xác thông qua suy luận dựa trên một số hàm giá trị ngầm định", họ viết.
Bức tranh này tập trung trình bày một số cách mà các mô hình khác nhau có thể thất bại trong một số loại suy luận logic. (Nguồn hình ảnh: Training Large Language Models to Reason in a Continuous Latent Space)
Trong các bài kiểm tra tư duy toán học tương đối đơn giản (GSM8K) hoặc kiểm tra tư duy chung (ProntoQA), so với mô hình chuỗi tư duy truyền thống, phương pháp suy luận đa đường này không thực sự cải thiện độ chính xác của COCONUT. Tuy nhiên, các nhà nghiên cứu đã phát hiện rằng mô hình này hoạt động tốt hơn trong một nhóm truy vấn kiểu ProntoQA được tạo ngẫu nhiên, các truy vấn này liên quan đến một tập hợp điều kiện logic phức tạp và quanh co (ví dụ, “mỗi quả táo đều là loại trái cây, mỗi loại trái cây đều là thức ăn, v.v.”).
Đối với những nhiệm vụ này, các mô hình lý luận chuỗi tâm trí tiêu chuẩn có xu hướng rơi vào ngõ cụt của lý luận và thậm chí tạo ra các quy tắc hoàn toàn hư cấu khi cố gắng giải quyết các vấn đề chuỗi logic. Nghiên cứu trước đây cũng đã chỉ ra rằng các bước logic "bằng lời nói" được tạo ra bởi các mô hình chuỗi suy nghĩ này "thực sự có thể sử dụng các quá trình lý luận tiềm ẩn khác với các quá trình lý luận được chia sẻ".
Nghiên cứu mới tham gia vào một cơ quan nghiên cứu đang phát triển nhằm tìm hiểu và tận dụng cách các mô hình ngôn ngữ lớn hoạt động ở cấp độ mạng lưới thần kinh cơ bản của chúng. Mặc dù không có đột phá lớn nào được thực hiện trong loại nghiên cứu này, các nhà nghiên cứu tin rằng các mô hình được đào tạo trước với "tư duy liên tục" này ngay từ đầu có thể "cho phép các mô hình khái quát hóa hiệu quả hơn trong một loạt các kịch bản suy luận".