谷歌提出Titans:突破算力限制,擴展上下文

金十數據2月25日訊,谷歌研究院發佈一項新的研究Titans。通過引入全新的神經長期記憶模塊,三頭協同架構與硬件優化設計等模塊,在算力僅增加1.8倍的情況下,將大模型的上下文窗口擴展至200萬token。Titans不僅解決了Transformer模型在長上下文處理中的算力瓶頸,更通過仿生學設計模擬人類記憶系統的分層機制,首次實現了200萬token超長上下文的精準推理。

TOKEN-5.22%
查看原文
此頁面可能包含第三方內容,僅供參考(非陳述或保證),不應被視為 Gate 認可其觀點表述,也不得被視為財務或專業建議。詳見聲明
  • 讚賞
  • 2
  • 轉發
  • 分享
留言
0/400
工地上的农民工vip
· 02-25 00:53
衝就完了💪
查看原文回復1
GateUser-d53c8bc2vip
· 02-25 00:31
非常好
查看原文回復0
交易,隨時隨地
qrCode
掃碼下載 Gate App
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • Bahasa Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)