2023年6月12日、ブロックチェーンベースのAGIコンピューティング電力市場プロトコルであるGensynは、Eden Block、CoinFund、Galaxy、Protocol Labsの参加を得て、a16zが主導する4,300万ドルのシリーズAラウンドの資金調達ラウンドの完了を発表した。Gensynとはどのようなプロジェクトですか？なぜトップVCから巨額の投資を得られるのでしょうか? Golden Finance では 1 つの記事でそれを理解できます。## a16z: なぜ主要な Gensyn の 4,300 万ドルのシリーズ A 資金調達を行うのかa16z は、Gensyn の 4,300 万ドルのシリーズ A ラウンドを主導した理由を説明する記事を投稿しました。 a16z氏は、最近の人工知能の進歩は驚くべきもので、世界を救う力があると述べた（Jinse Financeの以前のレポート「a16z創設者の長文：なぜAIが世界を救うのか」を参照）。しかし、AI システムを構築するには、現在利用可能な最大かつ最も強力なモデルをトレーニングし推論するために、はるかに優れたコンピューティング能力を導入する必要があります。これは、コンピューティング能力への特権的アクセスと大規模データセンターの規模の経済のおかげで、大手テクノロジー企業が AI から価値を引き出す競争において新興企業よりも優位に立っていることを意味します。平等な競争の場で競争するには、新興企業が自社の巨大なコンピューティング能力を手頃な価格で使用できる必要があります。新しい種類のコンピューターとしてのブロックチェーンは、開発者がコードが将来どのように動作するかを確約するコードを作成できるという点で独特です。ブロックチェーンのこの許可のないコンポーネントは、コンピューティング能力、またはデータやアルゴリズムなどの他の種類のデジタル リソースの売り手と買い手のための市場を作成し、仲介者なしで世界中で取引できる可能性があります。**ブロックチェーンベースの AGI コンピューティング市場プロトコルである Gensyn は、開発者 (機械学習モデルをトレーニングできる人) とソルバー (ソルバー、機械学習モデルをトレーニングするために自分のマシンを使用したい人) を接続します。 Gensyn は、小規模データセンター、ゲーム用 PC、M1 および M2 Mac、さらにはスマートフォンなど、世界中で使用されていない機械学習対応コンピューティング デバイスのロングテールを活用することで、機械学習に利用できるコンピューティング能力を 10 ～ 100 倍に高めることができます。 **## AGI (汎用人工知能) が直面する問題: 高度に集中化半年近くの開発を経て、市場は一般的に AGI が未来であると認識しています。しかし、**AGI 業界**は現在高度に独占されているように見えます**。国家間では中国と米国の貿易と人材の戦争があり、企業間では大手テクノロジー企業 (Microsoft、Google、Meta) の競争が起きています。 **AGI の 3 つの主要なリソース (コンピューティング能力、知識、データ) が現在高度に集中化されているためです。 ****計算能力:** モデルがますます大規模かつ複雑になると、トレーニング用に高性能の計算プロセッサが必要になります。国家間: 中国と米国の間のチップ戦争で、米国は中国が高出力チップを入手するのを積極的に阻止してきました。企業間：生産能力が不十分で、Nvidiaの最新AIチップは一部の大口顧客にすべて購入されており、他の企業はまったく購入できない。技術スタックについて: 一部の企業は、Google の TPU クラスターなど、深層学習用に独自の専用ハードウェアを作成しています。これらはディープ ラーニング用の標準 GPU よりも優れたパフォーマンスを発揮しますが、販売はしておらず、レンタルのみとなります。**知識:** 多くの公的進歩は、研究者によって開発された新しい大規模モデル アーキテクチャから生まれていますが、その基礎となる知的財産と人材をめぐる争いが存在します。たとえば、米国には中国の AI 人材の 50% 以上が集まっており、これらの人材を使って大規模モデルを開発する大企業は、このテクノロジーの利用可能性をますます低下させています。OpenAI の GPT-3.5 または 4 は名目上は公開されていますが、 API の背後にあり、そのソース コードにアクセスできるのは Microsoft だけです。**データ:** AGI ディープ ラーニング モデルには、ラベル付きとラベルなしの両方の大量のデータが必要であり、通常はデータが増えるほど改善されます。 GPT-3 は 3,000 億語でトレーニングされました。ラベル付きデータは特に重要であり、AGI のトレーニングに必要なデータ セットは一部の大企業の手に集中しています。たとえば、ちょっとした知識として、reCaptcha を解決する Web サイトにアクセスするたびに、Google マップを改善するためにトレーニング データにラベルを付けることになります。## 分散型 AGI コンピューティングの難しさ分散型コンピューティングは、人工知能を研究開発するためのより安価で自由な基盤を構築できます。しかし、分散型 AGI には動作検証の問題があります。サードパーティが要求した計算を完了したことはどのようにしてわかりますか?Proof-of-Work パズルには、状態依存性と高い計算コストという 2 つの要素があります。**状態依存性**: ニューラル ネットワークの各層は、その前の層のすべてのノードに接続されています。これは、前の層の状態が必要であることを意味します。さらに悪いことに、各レイヤーの重みはすべて前のタイム ステップによって決定されます。したがって、誰かがモデルをトレーニングしたことを検証したい場合、たとえば、ネットワーク内のランダムな点を選択して同じ状態が得られるかどうかを確認する場合、その時点までモデルをトレーニングし続ける必要があり、これには計算コストがかかります。**高額な計算コスト:** 2020 年の GPT-3 の 1 回のトレーニング セッションのコストは約 1,200 万ドルで、これは 2019 年の GPT-2 トレーニングの推定値約 43,000 ドルの 270 倍以上です。一般に、現在、最高のニューラル ネットワークのモデルの複雑さ (サイズ) は 3 か月ごとに 2 倍になります。ニューラル ネットワークが安価な場合、および/またはトレーニングがモデル開発プロセスに相当しない場合、おそらく状態の依存関係による検証オーバーヘッドは許容されます。ディープラーニングのトレーニングを安価に行い、制御を分散化したい場合は、オーバーヘッドの点で安価であり、計算に貢献した人に報酬を与えながら、状態関連の検証をトラストレスに管理するシステムが必要です。## Gensyn が AGI コンピューティングをどのように分散化するかGensyn プロトコルは、世界中のすべてのコンピューティングを、誰でも簡単に利用できるグローバルな機械学習スーパークラスターに統合します。次の 2 つを組み合わせることで、非常に大規模かつ低コストでニューラル ネットワークのトラストレス トレーニングが可能になります。### 1. 革新的な検証システム任意規模のニューラルネットワーク学習における状態依存問題を効率的に解く検証システム。このシステムは、モデルのトレーニング チェックポイントと、オンチェーンで終了する確率的チェックを組み合わせています。これらすべてをトラストレスな方法で実行し、オーバーヘッドはモデルのサイズに比例して拡張されます (検証コストを一定に保ちます)。Gensyn Litepaper によると、Gensyn は主に 3 つの概念を通じて検証問題を解決します: 確率的学習証明 (勾配ベースの最適化プロセスでメタデータを使用して、実行された作業の証明書を構築し、特定の段階の複製を通じて迅速に検証する) 、グラフベースのピンポインティング プロトコル (マルチグレインのグラフベースのピンポインティング プロトコルと評価者間のコンセンサス実行を使用して、検証作業を再実行して一貫性を比較し、最終的にチェーン自体によって確認できるようにします)、Truebit スタイルのインセンティブ付きゲーム (ステーキングとスラッシュを使用して、経済的に合理的な各プレーヤーが誠実に行動し、意図したタスクを実行することを保証するインセンティブ ゲームを構築します)**システムは主に、提出者、解決者、検証者、内部告発者の 4 つの主要な参加者で構成されます。 **提出者: 計算されるタスクを提供し、完了した作業単位の料金を支払うシステムのエンド ユーザー。ソルバー: システムの主要な作業部分で、モデルのトレーニングを実行し、検証者による検証のための証明を生成します。検証者: 非決定論的トレーニング プロセスは、ソルバーの証明の一部を複製し、予想されるしきい値との距離を比較する決定論的線形計算にリンクされています; 内部告発者: 検証者の作業をチェックし、問題に挑戦する最後の防御線です。ジャックポット。### 2. 新しい供給十分に活用されていない、または十分に活用されていない/最適化されていないコンピューティング デバイス リソースを活用します。これらのデバイスは、現在使用されていないゲーム用 GPU からイーサリアム PoW 以前の GPU マイナーまで多岐にわたります。そして、このプロトコルの分散化は、最終的にはコミュニティの多数派によって統治され、コミュニティの同意なしに「閉鎖」することはできないことを意味します; これにより、Web2 の対応物とは異なり、検閲に耐えることができます。スケール + 低コスト: Gensyn プロトコルは、データセンター所有の GPU と同様のコストを提供し、AWS を超えて拡張できます。
a16z が Gensyn を理解するために、AGI コンピューティング市場である Gensyn への 4,300 万ドルの投資を主導
2023年6月12日、ブロックチェーンベースのAGIコンピューティング電力市場プロトコルであるGensynは、Eden Block、CoinFund、Galaxy、Protocol Labsの参加を得て、a16zが主導する4,300万ドルのシリーズAラウンドの資金調達ラウンドの完了を発表した。
Gensynとはどのようなプロジェクトですか？なぜトップVCから巨額の投資を得られるのでしょうか? Golden Finance では 1 つの記事でそれを理解できます。
a16z: なぜ主要な Gensyn の 4,300 万ドルのシリーズ A 資金調達を行うのか
a16z は、Gensyn の 4,300 万ドルのシリーズ A ラウンドを主導した理由を説明する記事を投稿しました。 a16z氏は、最近の人工知能の進歩は驚くべきもので、世界を救う力があると述べた（Jinse Financeの以前のレポート「a16z創設者の長文：なぜAIが世界を救うのか」を参照）。しかし、AI システムを構築するには、現在利用可能な最大かつ最も強力なモデルをトレーニングし推論するために、はるかに優れたコンピューティング能力を導入する必要があります。これは、コンピューティング能力への特権的アクセスと大規模データセンターの規模の経済のおかげで、大手テクノロジー企業が AI から価値を引き出す競争において新興企業よりも優位に立っていることを意味します。平等な競争の場で競争するには、新興企業が自社の巨大なコンピューティング能力を手頃な価格で使用できる必要があります。
新しい種類のコンピューターとしてのブロックチェーンは、開発者がコードが将来どのように動作するかを確約するコードを作成できるという点で独特です。ブロックチェーンのこの許可のないコンポーネントは、コンピューティング能力、またはデータやアルゴリズムなどの他の種類のデジタル リソースの売り手と買い手のための市場を作成し、仲介者なしで世界中で取引できる可能性があります。
**ブロックチェーンベースの AGI コンピューティング市場プロトコルである Gensyn は、開発者 (機械学習モデルをトレーニングできる人) とソルバー (ソルバー、機械学習モデルをトレーニングするために自分のマシンを使用したい人) を接続します。 Gensyn は、小規模データセンター、ゲーム用 PC、M1 および M2 Mac、さらにはスマートフォンなど、世界中で使用されていない機械学習対応コンピューティング デバイスのロングテールを活用することで、機械学習に利用できるコンピューティング能力を 10 ～ 100 倍に高めることができます。 **
AGI (汎用人工知能) が直面する問題: 高度に集中化
半年近くの開発を経て、市場は一般的に AGI が未来であると認識しています。しかし、AGI 業界は現在高度に独占されているように見えます**。国家間では中国と米国の貿易と人材の戦争があり、企業間では大手テクノロジー企業 (Microsoft、Google、Meta) の競争が起きています。 **AGI の 3 つの主要なリソース (コンピューティング能力、知識、データ) が現在高度に集中化されているためです。 **
計算能力: モデルがますます大規模かつ複雑になると、トレーニング用に高性能の計算プロセッサが必要になります。国家間: 中国と米国の間のチップ戦争で、米国は中国が高出力チップを入手するのを積極的に阻止してきました。企業間：生産能力が不十分で、Nvidiaの最新AIチップは一部の大口顧客にすべて購入されており、他の企業はまったく購入できない。技術スタックについて: 一部の企業は、Google の TPU クラスターなど、深層学習用に独自の専用ハードウェアを作成しています。これらはディープ ラーニング用の標準 GPU よりも優れたパフォーマンスを発揮しますが、販売はしておらず、レンタルのみとなります。
知識: 多くの公的進歩は、研究者によって開発された新しい大規模モデル アーキテクチャから生まれていますが、その基礎となる知的財産と人材をめぐる争いが存在します。たとえば、米国には中国の AI 人材の 50% 以上が集まっており、これらの人材を使って大規模モデルを開発する大企業は、このテクノロジーの利用可能性をますます低下させています。OpenAI の GPT-3.5 または 4 は名目上は公開されていますが、 API の背後にあり、そのソース コードにアクセスできるのは Microsoft だけです。
データ: AGI ディープ ラーニング モデルには、ラベル付きとラベルなしの両方の大量のデータが必要であり、通常はデータが増えるほど改善されます。 GPT-3 は 3,000 億語でトレーニングされました。ラベル付きデータは特に重要であり、AGI のトレーニングに必要なデータ セットは一部の大企業の手に集中しています。たとえば、ちょっとした知識として、reCaptcha を解決する Web サイトにアクセスするたびに、Google マップを改善するためにトレーニング データにラベルを付けることになります。
分散型 AGI コンピューティングの難しさ
分散型コンピューティングは、人工知能を研究開発するためのより安価で自由な基盤を構築できます。しかし、分散型 AGI には動作検証の問題があります。サードパーティが要求した計算を完了したことはどのようにしてわかりますか?
Proof-of-Work パズルには、状態依存性と高い計算コストという 2 つの要素があります。
状態依存性: ニューラル ネットワークの各層は、その前の層のすべてのノードに接続されています。これは、前の層の状態が必要であることを意味します。さらに悪いことに、各レイヤーの重みはすべて前のタイム ステップによって決定されます。したがって、誰かがモデルをトレーニングしたことを検証したい場合、たとえば、ネットワーク内のランダムな点を選択して同じ状態が得られるかどうかを確認する場合、その時点までモデルをトレーニングし続ける必要があり、これには計算コストがかかります。
高額な計算コスト: 2020 年の GPT-3 の 1 回のトレーニング セッションのコストは約 1,200 万ドルで、これは 2019 年の GPT-2 トレーニングの推定値約 43,000 ドルの 270 倍以上です。一般に、現在、最高のニューラル ネットワークのモデルの複雑さ (サイズ) は 3 か月ごとに 2 倍になります。ニューラル ネットワークが安価な場合、および/またはトレーニングがモデル開発プロセスに相当しない場合、おそらく状態の依存関係による検証オーバーヘッドは許容されます。
ディープラーニングのトレーニングを安価に行い、制御を分散化したい場合は、オーバーヘッドの点で安価であり、計算に貢献した人に報酬を与えながら、状態関連の検証をトラストレスに管理するシステムが必要です。
Gensyn が AGI コンピューティングをどのように分散化するか
Gensyn プロトコルは、世界中のすべてのコンピューティングを、誰でも簡単に利用できるグローバルな機械学習スーパークラスターに統合します。次の 2 つを組み合わせることで、非常に大規模かつ低コストでニューラル ネットワークのトラストレス トレーニングが可能になります。
1. 革新的な検証システム
任意規模のニューラルネットワーク学習における状態依存問題を効率的に解く検証システム。このシステムは、モデルのトレーニング チェックポイントと、オンチェーンで終了する確率的チェックを組み合わせています。これらすべてをトラストレスな方法で実行し、オーバーヘッドはモデルのサイズに比例して拡張されます (検証コストを一定に保ちます)。
Gensyn Litepaper によると、Gensyn は主に 3 つの概念を通じて検証問題を解決します: 確率的学習証明 (勾配ベースの最適化プロセスでメタデータを使用して、実行された作業の証明書を構築し、特定の段階の複製を通じて迅速に検証する) 、グラフベースのピンポインティング プロトコル (マルチグレインのグラフベースのピンポインティング プロトコルと評価者間のコンセンサス実行を使用して、検証作業を再実行して一貫性を比較し、最終的にチェーン自体によって確認できるようにします)、Truebit スタイルのインセンティブ付きゲーム (ステーキングとスラッシュを使用して、経済的に合理的な各プレーヤーが誠実に行動し、意図したタスクを実行することを保証するインセンティブ ゲームを構築します)
**システムは主に、提出者、解決者、検証者、内部告発者の 4 つの主要な参加者で構成されます。 **提出者: 計算されるタスクを提供し、完了した作業単位の料金を支払うシステムのエンド ユーザー。ソルバー: システムの主要な作業部分で、モデルのトレーニングを実行し、検証者による検証のための証明を生成します。検証者: 非決定論的トレーニング プロセスは、ソルバーの証明の一部を複製し、予想されるしきい値との距離を比較する決定論的線形計算にリンクされています; 内部告発者: 検証者の作業をチェックし、問題に挑戦する最後の防御線です。ジャックポット。
2. 新しい供給
十分に活用されていない、または十分に活用されていない/最適化されていないコンピューティング デバイス リソースを活用します。これらのデバイスは、現在使用されていないゲーム用 GPU からイーサリアム PoW 以前の GPU マイナーまで多岐にわたります。そして、このプロトコルの分散化は、最終的にはコミュニティの多数派によって統治され、コミュニティの同意なしに「閉鎖」することはできないことを意味します; これにより、Web2 の対応物とは異なり、検閲に耐えることができます。
スケール + 低コスト: Gensyn プロトコルは、データセンター所有の GPU と同様のコストを提供し、AWS を超えて拡張できます。