Googleが提案するTitans:コンピューティングパワーの限界を突破し、コンテキストを拡張する

金十データ2月25日、Google Research Instituteは新しい研究Titansを発表しました。新しい神経長期記憶モジュール、3つのヘッド共同アーキテクチャ、ハードウェア最適化設計などのモジュールを導入することで、コンピューティングパワーがわずか1.8倍増加した状況で、大規模モデルのコンテキストウィンドウを200万トークンまで拡張しました。Titansは、Transformerモデルの長いコンテキスト処理におけるコンピューティングパワーのボトルネックを解決するだけでなく、生物学的設計による人間の記憶システムの階層メカニズムを模倣し、200万トークンの超長いコンテキストでの精密な推論を初めて実現しました。