Дані Кінь 2 лютого, вчений Google опублікував нове дослідження Титани. За допомогою впровадження повністю нового модуля довгострокової пам’яті нейромережі, трьохголової кооперації та оптимізації апаратного забезпечення та інших модулів, при збільшенні лише в 1,8 рази, було розширено контекстне вікно великого моделю до 2000000 токенів. Титани не лише вирішили бутлег обчислювальної потужності моделі трансформатора при роботі з довгим контекстом, але також за допомогою біонічного дизайну імітації ієрархічної системи пам’яті людини вперше досягли точного мислення з контекстом до 2000000 токенів.
Ця сторінка може містити контент третіх осіб, який надається виключно в інформаційних цілях (не в якості запевнень/гарантій) і не повинен розглядатися як схвалення його поглядів компанією Gate, а також як фінансова або професійна консультація. Див. Застереження для отримання детальної інформації.
Google представив Titans: порушення обмежень обчислювальної потужності, розширення контексту
Дані Кінь 2 лютого, вчений Google опублікував нове дослідження Титани. За допомогою впровадження повністю нового модуля довгострокової пам’яті нейромережі, трьохголової кооперації та оптимізації апаратного забезпечення та інших модулів, при збільшенні лише в 1,8 рази, було розширено контекстне вікно великого моделю до 2000000 токенів. Титани не лише вирішили бутлег обчислювальної потужності моделі трансформатора при роботі з довгим контекстом, але також за допомогою біонічного дизайну імітації ієрархічної системи пам’яті людини вперше досягли точного мислення з контекстом до 2000000 токенів.