2026年の新年、DeepSeekのmHCアーキテクチャはまた新たな段階に進んだ。



そういえば、HCは横方向の拡張において常にボトルネックが存在していた——安定性が悪く、拡張性が制限されている。mHCはこの局面を打破するためのものだ。従来のtransformerの縦方向の積み重ねを維持しつつ、重要なのは横方向に並列情報フローの扉を開き、多流並列を可能にした点だ。

これは何を意味する?モデルは縦に積むことも、横に広げることもできる。拡張の次元は一次元から二次元へと変わった。スケーリングを続けることで、天井もまた高く引き上げられた。
原文表示
このページには第三者のコンテンツが含まれている場合があり、情報提供のみを目的としております(表明・保証をするものではありません)。Gateによる見解の支持や、金融・専門的な助言とみなされるべきものではありません。詳細については免責事項をご覧ください。
  • 報酬
  • 4
  • リポスト
  • 共有
コメント
0/400
LiquidationOraclevip
· 22時間前
わあ、mHC このセットは本当に目を見張るものだね。二次元拡張のアイデアは確かに野心的だね
原文表示返信0
Hash_Banditvip
· 23時間前
ngl、2Dスケーリングの話はどこかで聞いたことがある気がする... 初期のASICクラスタリングの頃にほぼ同じことを試したことがなかったっけ?水平スループットは最終的に熱的な壁にぶつかるものだ。今回はDeepSeekが本当に並列化の絶妙なポイントを見つけたのか、それともいつものハイプサイクルが回っているだけなのか、見てみる必要があるね。
原文表示返信0
AirdropHunterKingvip
· 23時間前
兄弟,这mHCが本当に横に広がって縦に積み重ねられるなら、それはまさに二次元の羊毛刈りのリズムだな。拡張性が開かれれば、どれだけガス代を節約できるか。 DeepSeekのこの一手は良いけど、あとは後続の実現次第だ。どれだけ盛り上がっても、実際のインタラクションデータが物を言う。 以前のあのアーキテクチャ最適化も結局は空気コインに過ぎなかったが、今回はまた同じ展開になるのか。
原文表示返信0
AirdropDreamervip
· 23時間前
二次スケーリングだ、これで本当に違うな。横軸と縦軸の両方を引き伸ばせて、天井が無限に続く感じだ。
原文表示返信0
  • ピン