Le 12 juin 2023, Gensyn, un protocole de marché de puissance de calcul AGI basé sur la blockchain, a annoncé l'achèvement d'un cycle de financement de série A de 43 millions de dollars, dirigé par a16z, avec la participation d'Eden Block, CoinFund, Galaxy et Protocol Labs.
Quel genre de projet est Gensyn ? Pourquoi pouvez-vous obtenir d'énormes investissements de la part des meilleurs VC ? Golden Finance vous amènera à le comprendre en un seul article.
a16z : Pourquoi diriger le financement de série A de 43 millions de dollars de Gensyn
a16z a publié un article expliquant pourquoi il a dirigé la ronde de financement de série A de 43 millions de dollars de Gensyn. a16z a déclaré que les progrès récents de l'intelligence artificielle sont incroyables et ont le pouvoir de sauver le monde (voir le précédent rapport de Jinse Finance "a16z foundor's long article: Why AI will save the world"). Mais la construction de systèmes d'IA nécessite de déployer une puissance de calcul bien plus importante pour s'entraîner et raisonner sur les modèles les plus grands et les plus puissants disponibles aujourd'hui. Cela signifie que les grandes entreprises technologiques ont un avantage sur les startups dans la course pour extraire la valeur de l'IA, grâce à un accès privilégié à la puissance de calcul et aux économies d'échelle des grands centres de données. Pour être compétitives sur un pied d'égalité, les startups doivent pouvoir utiliser à un prix abordable leur propre puissance de calcul massive.
Les chaînes de blocs, en tant que nouveau type d'ordinateur, sont uniques en ce sens que les développeurs peuvent écrire du code qui fait des promesses fermes sur la façon dont le code se comportera à l'avenir. Ce composant sans autorisation de la blockchain pourrait créer un marché pour les acheteurs et les vendeurs de puissance de calcul – ou de tout autre type de ressource numérique comme des données ou des algorithmes – pour commercer à l'échelle mondiale sans intermédiaires.
**Gensyn, un protocole de marché informatique AGI basé sur la blockchain, relie les développeurs (toute personne pouvant former des modèles d'apprentissage automatique) avec des solveurs (Solver, toute personne souhaitant utiliser ses propres machines pour former des modèles d'apprentissage automatique). Gensyn peut augmenter la puissance de calcul disponible pour l'apprentissage automatique de 10 à 100 fois en tirant parti de la longue traîne des appareils informatiques capables d'apprentissage automatique laissés inutilisés dans le monde, tels que les petits centres de données, les PC de jeu, les Mac M1 et M2 et même les smartphones. **
Problèmes rencontrés par l'IAG (Intelligence Artificielle Générale) : hautement centralisé
Après près de six mois de développement, le marché reconnaît généralement qu'AGI est l'avenir. Mais l'industrie AGI semble actuellement très monopolisée**, entre les pays c'est une guerre des échanges et des talents entre la Chine et les États-Unis, et entre les entreprises c'est le jeu des grandes entreprises technologiques (Microsoft, Google, Meta). **Parce que les trois ressources clés de l'IAG (puissance de calcul, connaissances et données) sont actuellement fortement centralisées. **
Puissance de calcul : Des modèles de plus en plus volumineux et complexes nécessitent des processeurs à haut niveau de calcul pour l'entraînement. Entre pays : La guerre des puces entre la Chine et les États-Unis, les États-Unis ont activement empêché la Chine d'obtenir des puces de haute puissance. Entre entreprises : capacité de production insuffisante, les dernières puces IA de Nvidia sont toutes achetées par certains gros clients, et d'autres entreprises ne peuvent pas du tout les acheter. Sur la pile technologique : certaines entreprises créent même leur propre matériel dédié à l'apprentissage en profondeur, comme les clusters TPU de Google. Ces GPU surpassent les GPU standard pour l'apprentissage en profondeur et ne sont pas à vendre, uniquement à louer.
Connaissance : De nombreuses percées publiques découlent de nouvelles architectures de modèles à grande échelle développées par des chercheurs, mais il y a une bataille sur la propriété intellectuelle et le talent sous-jacents. Par exemple, les États-Unis ont attiré plus de 50 % des talents chinois en IA, et les grandes entreprises qui utilisent ces talents pour développer des modèles à grande échelle réduisent de plus en plus l'accessibilité de cette technologie ; le GPT-3.5 ou 4 d'OpenAI est nominalement accessible au public , mais il se trouve derrière une API et seul Microsoft a accès à son code source.
Données : Les modèles d'apprentissage en profondeur AGI nécessitent de grandes quantités de données, étiquetées et non étiquetées, et s'améliorent généralement avec davantage de données. GPT-3 a été formé sur 300 milliards de mots. Les données étiquetées sont particulièrement importantes, et les ensembles de données nécessaires pour former l'IAG sont concentrés entre les mains de certaines grandes entreprises. Par exemple, un peu de bonnes connaissances : chaque fois que vous visitez un site Web résolvant reCaptcha, vous étiquetez des données d'entraînement pour améliorer Google Maps.
Difficultés de l'informatique AGI décentralisée
L'informatique décentralisée peut créer une base moins chère et plus libre pour la recherche et le développement de l'intelligence artificielle. Mais il y a un problème de vérification du travail dans l'AGI décentralisée, comment savez-vous que le tiers a terminé le calcul que vous avez demandé ?
Le puzzle de la preuve de travail a deux facteurs : la dépendance à l'état et le coût de calcul élevé.
Dépendance d'état : chaque couche d'un réseau de neurones est connectée à tous les nœuds de la couche qui la précède. Cela signifie qu'il a besoin de l'état de la couche précédente. Pour ne rien arranger, tous les poids de chaque couche sont déterminés par le pas de temps précédent. Donc, si vous voulez vérifier que quelqu'un a formé un modèle - par exemple, en choisissant un point aléatoire dans le réseau et en voyant si vous obtenez le même état - vous devez continuer à former le modèle jusqu'à ce point, ce qui est coûteux en calcul.
Dépenses de calcul élevées : Le coût d'une seule session de formation GPT-3 en 2020 est d'environ 12 millions de dollars, soit plus de 270 fois plus que la valeur estimée d'environ 43 000 $ pour la formation GPT-2 en 2019. En général, la complexité du modèle (taille) des meilleurs réseaux de neurones double actuellement tous les trois mois. La surcharge de validation, éventuellement due à des dépendances d'état, est acceptable si le réseau de neurones est moins cher et/ou si la formation représente moins un processus de développement de modèle.
Si vous souhaitez rendre la formation d'apprentissage en profondeur bon marché et décentraliser le contrôle, vous avez besoin d'un système qui gère en toute confiance la validation liée à l'état tout en étant bon marché en termes de frais généraux et en récompensant ceux qui contribuent au calcul.
Comment Gensyn décentralise l'informatique AGI
Le protocole Gensyn réunit toute l'informatique du monde dans un supercluster mondial d'apprentissage automatique facilement accessible à tous. Il permet un entraînement sans confiance des réseaux de neurones à très grande échelle et à faible coût en combinant deux choses :
1. Système de vérification innovant
L'invention concerne un système de vérification qui résout efficacement le problème de dépendance d'état dans l'apprentissage de réseaux neuronaux d'échelle arbitraire. Le système combine des points de contrôle de formation de modèle avec des contrôles probabilistes qui se terminent en chaîne. Il fait tout cela d'une manière sans confiance avec une surcharge qui évolue linéairement avec la taille du modèle (en maintenant les coûts de validation constants).
Selon Gensyn Litepaper, Gensyn résout principalement le problème de vérification à travers trois concepts : la preuve d'apprentissage probabiliste (utilisation de métadonnées dans le processus d'optimisation basée sur les gradients pour construire un certificat du travail effectué et le vérifier rapidement grâce à la réplication de certaines étapes) , Protocole de localisation basé sur des graphiques (utilise un protocole de localisation multi-grains basé sur des graphiques et une exécution consensuelle entre évaluateurs pour permettre au travail de validation d'être réexécuté et comparé pour la cohérence, et finalement confirmé par la chaîne elle-même), incitatif de style Truebit jeux (en utilisant le jalonnement et le slash pour créer un jeu incitatif qui garantit que chaque joueur financièrement rationnel agit honnêtement et exécute les tâches prévues)
**Le système se compose principalement de quatre participants principaux : les émetteurs, les résolveurs, les vérificateurs et les lanceurs d'alerte. **Soumetteur : l'utilisateur final du système, qui fournit la tâche à calculer et paie pour l'unité de travail réalisée ; solveur : la partie principale du système, effectue la formation du modèle et génère des preuves pour vérification par le vérificateur ; vérificateur : le non-déterministe Le processus d'apprentissage est lié à un calcul linéaire déterministe, reproduisant une partie de la preuve du solveur et comparant la distance à un seuil attendu ; le lanceur d'alerte : la dernière ligne de défense, vérifiant le travail du vérificateur et défiant pour un cagnotte.
2. Nouvelle offre
Tirez parti des ressources de périphériques informatiques sous-utilisées et sous-utilisées/sous-optimisées. Ces appareils vont des GPU de jeu actuellement inutilisés aux mineurs de GPU de l'ère pré-Ethereum PoW. Et la décentralisation du protocole signifie qu'il sera finalement gouverné par une majorité communautaire et ne pourra pas être "fermé" sans le consentement de la communauté ; contrairement à son homologue web2, cela le rend résistant à la censure.
Échelle + faible coût : le protocole Gensyn offre un coût similaire aux GPU appartenant au centre de données, qui peuvent évoluer au-delà d'AWS
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
a16z mène un investissement de 43 millions de dollars dans Gensyn, un marché de puissance de calcul AGI, pour comprendre Gensyn
Le 12 juin 2023, Gensyn, un protocole de marché de puissance de calcul AGI basé sur la blockchain, a annoncé l'achèvement d'un cycle de financement de série A de 43 millions de dollars, dirigé par a16z, avec la participation d'Eden Block, CoinFund, Galaxy et Protocol Labs.
Quel genre de projet est Gensyn ? Pourquoi pouvez-vous obtenir d'énormes investissements de la part des meilleurs VC ? Golden Finance vous amènera à le comprendre en un seul article.
a16z : Pourquoi diriger le financement de série A de 43 millions de dollars de Gensyn
a16z a publié un article expliquant pourquoi il a dirigé la ronde de financement de série A de 43 millions de dollars de Gensyn. a16z a déclaré que les progrès récents de l'intelligence artificielle sont incroyables et ont le pouvoir de sauver le monde (voir le précédent rapport de Jinse Finance "a16z foundor's long article: Why AI will save the world"). Mais la construction de systèmes d'IA nécessite de déployer une puissance de calcul bien plus importante pour s'entraîner et raisonner sur les modèles les plus grands et les plus puissants disponibles aujourd'hui. Cela signifie que les grandes entreprises technologiques ont un avantage sur les startups dans la course pour extraire la valeur de l'IA, grâce à un accès privilégié à la puissance de calcul et aux économies d'échelle des grands centres de données. Pour être compétitives sur un pied d'égalité, les startups doivent pouvoir utiliser à un prix abordable leur propre puissance de calcul massive.
Les chaînes de blocs, en tant que nouveau type d'ordinateur, sont uniques en ce sens que les développeurs peuvent écrire du code qui fait des promesses fermes sur la façon dont le code se comportera à l'avenir. Ce composant sans autorisation de la blockchain pourrait créer un marché pour les acheteurs et les vendeurs de puissance de calcul – ou de tout autre type de ressource numérique comme des données ou des algorithmes – pour commercer à l'échelle mondiale sans intermédiaires.
**Gensyn, un protocole de marché informatique AGI basé sur la blockchain, relie les développeurs (toute personne pouvant former des modèles d'apprentissage automatique) avec des solveurs (Solver, toute personne souhaitant utiliser ses propres machines pour former des modèles d'apprentissage automatique). Gensyn peut augmenter la puissance de calcul disponible pour l'apprentissage automatique de 10 à 100 fois en tirant parti de la longue traîne des appareils informatiques capables d'apprentissage automatique laissés inutilisés dans le monde, tels que les petits centres de données, les PC de jeu, les Mac M1 et M2 et même les smartphones. **
Problèmes rencontrés par l'IAG (Intelligence Artificielle Générale) : hautement centralisé
Après près de six mois de développement, le marché reconnaît généralement qu'AGI est l'avenir. Mais l'industrie AGI semble actuellement très monopolisée**, entre les pays c'est une guerre des échanges et des talents entre la Chine et les États-Unis, et entre les entreprises c'est le jeu des grandes entreprises technologiques (Microsoft, Google, Meta). **Parce que les trois ressources clés de l'IAG (puissance de calcul, connaissances et données) sont actuellement fortement centralisées. **
Puissance de calcul : Des modèles de plus en plus volumineux et complexes nécessitent des processeurs à haut niveau de calcul pour l'entraînement. Entre pays : La guerre des puces entre la Chine et les États-Unis, les États-Unis ont activement empêché la Chine d'obtenir des puces de haute puissance. Entre entreprises : capacité de production insuffisante, les dernières puces IA de Nvidia sont toutes achetées par certains gros clients, et d'autres entreprises ne peuvent pas du tout les acheter. Sur la pile technologique : certaines entreprises créent même leur propre matériel dédié à l'apprentissage en profondeur, comme les clusters TPU de Google. Ces GPU surpassent les GPU standard pour l'apprentissage en profondeur et ne sont pas à vendre, uniquement à louer.
Connaissance : De nombreuses percées publiques découlent de nouvelles architectures de modèles à grande échelle développées par des chercheurs, mais il y a une bataille sur la propriété intellectuelle et le talent sous-jacents. Par exemple, les États-Unis ont attiré plus de 50 % des talents chinois en IA, et les grandes entreprises qui utilisent ces talents pour développer des modèles à grande échelle réduisent de plus en plus l'accessibilité de cette technologie ; le GPT-3.5 ou 4 d'OpenAI est nominalement accessible au public , mais il se trouve derrière une API et seul Microsoft a accès à son code source.
Données : Les modèles d'apprentissage en profondeur AGI nécessitent de grandes quantités de données, étiquetées et non étiquetées, et s'améliorent généralement avec davantage de données. GPT-3 a été formé sur 300 milliards de mots. Les données étiquetées sont particulièrement importantes, et les ensembles de données nécessaires pour former l'IAG sont concentrés entre les mains de certaines grandes entreprises. Par exemple, un peu de bonnes connaissances : chaque fois que vous visitez un site Web résolvant reCaptcha, vous étiquetez des données d'entraînement pour améliorer Google Maps.
Difficultés de l'informatique AGI décentralisée
L'informatique décentralisée peut créer une base moins chère et plus libre pour la recherche et le développement de l'intelligence artificielle. Mais il y a un problème de vérification du travail dans l'AGI décentralisée, comment savez-vous que le tiers a terminé le calcul que vous avez demandé ?
Le puzzle de la preuve de travail a deux facteurs : la dépendance à l'état et le coût de calcul élevé.
Dépendance d'état : chaque couche d'un réseau de neurones est connectée à tous les nœuds de la couche qui la précède. Cela signifie qu'il a besoin de l'état de la couche précédente. Pour ne rien arranger, tous les poids de chaque couche sont déterminés par le pas de temps précédent. Donc, si vous voulez vérifier que quelqu'un a formé un modèle - par exemple, en choisissant un point aléatoire dans le réseau et en voyant si vous obtenez le même état - vous devez continuer à former le modèle jusqu'à ce point, ce qui est coûteux en calcul.
Dépenses de calcul élevées : Le coût d'une seule session de formation GPT-3 en 2020 est d'environ 12 millions de dollars, soit plus de 270 fois plus que la valeur estimée d'environ 43 000 $ pour la formation GPT-2 en 2019. En général, la complexité du modèle (taille) des meilleurs réseaux de neurones double actuellement tous les trois mois. La surcharge de validation, éventuellement due à des dépendances d'état, est acceptable si le réseau de neurones est moins cher et/ou si la formation représente moins un processus de développement de modèle.
Si vous souhaitez rendre la formation d'apprentissage en profondeur bon marché et décentraliser le contrôle, vous avez besoin d'un système qui gère en toute confiance la validation liée à l'état tout en étant bon marché en termes de frais généraux et en récompensant ceux qui contribuent au calcul.
Comment Gensyn décentralise l'informatique AGI
Le protocole Gensyn réunit toute l'informatique du monde dans un supercluster mondial d'apprentissage automatique facilement accessible à tous. Il permet un entraînement sans confiance des réseaux de neurones à très grande échelle et à faible coût en combinant deux choses :
1. Système de vérification innovant
L'invention concerne un système de vérification qui résout efficacement le problème de dépendance d'état dans l'apprentissage de réseaux neuronaux d'échelle arbitraire. Le système combine des points de contrôle de formation de modèle avec des contrôles probabilistes qui se terminent en chaîne. Il fait tout cela d'une manière sans confiance avec une surcharge qui évolue linéairement avec la taille du modèle (en maintenant les coûts de validation constants).
Selon Gensyn Litepaper, Gensyn résout principalement le problème de vérification à travers trois concepts : la preuve d'apprentissage probabiliste (utilisation de métadonnées dans le processus d'optimisation basée sur les gradients pour construire un certificat du travail effectué et le vérifier rapidement grâce à la réplication de certaines étapes) , Protocole de localisation basé sur des graphiques (utilise un protocole de localisation multi-grains basé sur des graphiques et une exécution consensuelle entre évaluateurs pour permettre au travail de validation d'être réexécuté et comparé pour la cohérence, et finalement confirmé par la chaîne elle-même), incitatif de style Truebit jeux (en utilisant le jalonnement et le slash pour créer un jeu incitatif qui garantit que chaque joueur financièrement rationnel agit honnêtement et exécute les tâches prévues)
**Le système se compose principalement de quatre participants principaux : les émetteurs, les résolveurs, les vérificateurs et les lanceurs d'alerte. **Soumetteur : l'utilisateur final du système, qui fournit la tâche à calculer et paie pour l'unité de travail réalisée ; solveur : la partie principale du système, effectue la formation du modèle et génère des preuves pour vérification par le vérificateur ; vérificateur : le non-déterministe Le processus d'apprentissage est lié à un calcul linéaire déterministe, reproduisant une partie de la preuve du solveur et comparant la distance à un seuil attendu ; le lanceur d'alerte : la dernière ligne de défense, vérifiant le travail du vérificateur et défiant pour un cagnotte.
2. Nouvelle offre
Tirez parti des ressources de périphériques informatiques sous-utilisées et sous-utilisées/sous-optimisées. Ces appareils vont des GPU de jeu actuellement inutilisés aux mineurs de GPU de l'ère pré-Ethereum PoW. Et la décentralisation du protocole signifie qu'il sera finalement gouverné par une majorité communautaire et ne pourra pas être "fermé" sans le consentement de la communauté ; contrairement à son homologue web2, cela le rend résistant à la censure.
Échelle + faible coût : le protocole Gensyn offre un coût similaire aux GPU appartenant au centre de données, qui peuvent évoluer au-delà d'AWS