Google propone Titanes: rompiendo las limitaciones de la Potencia computacional y ampliando el contexto

El 25 de febrero, Google Research publicó un nuevo estudio sobre los titanes. A través de la introducción de un nuevo módulo de memoria neuronal a largo plazo, arquitectura colaborativa de tres cabezales y módulos de diseño de optimización de hardware, la ventana de contexto del modelo grande se expande a 2 millones de tokens, mientras que la Potencia computacional solo se incrementa en 1.8 veces. Titans no solo resuelve el cuello de botella computacional de Potencia del modelo Transformer en el procesamiento de contexto largo, sino que también simula el mecanismo jerárquico del sistema de memoria humana a través del diseño biomimético y realiza la inferencia precisa del contexto ultra largo de 2 millones de tokens por primera vez.