Google представила Titans: преодоление ограничений вычислительной мощности, расширение контекста

25 февраля Google Research опубликовал новое исследование о Титанах. Благодаря внедрению нового модуля нейронной долговременной памяти, коллаборативной архитектуры с тремя головками и оптимизации аппаратного обеспечения, контекстное окно большой модели расширяется до 2 миллионов токенов с увеличением вычислительной мощности всего в 1,8 раза. Titans не только устраняет узкое место модели Transformer при обработке длинного контекста, но и моделирует иерархический механизм системы памяти человека с помощью биомиметического дизайна, а также впервые реализует точный вывод 2 миллионов токенов в сверхдлинном контексте.