Google đề xuất Titans: Phá vỡ các giới hạn của Khả năng tính toán và mở rộng ngữ cảnh

Vào ngày 25 tháng 2, Google Research đã công bố một nghiên cứu mới về Titans. Thông qua việc giới thiệu mô-đun bộ nhớ dài hạn thần kinh mới, kiến trúc hợp tác ba đầu và mô-đun thiết kế tối ưu hóa phần cứng, cửa sổ ngữ cảnh của mô hình lớn được mở rộng lên 2 triệu mã thông báo trong khi Khả năng tính toán chỉ lớn hơn 1,8 lần. Titans không chỉ giải quyết nút cổ chai của mô hình Transformer trong việc xử lý các bối cảnh dài mà còn mô phỏng cơ chế phân cấp của hệ thống bộ nhớ con người thông qua thiết kế mô phỏng sinh học và lần đầu tiên nhận ra suy luận chính xác về bối cảnh cực dài 2 triệu token.