Variant Partenaire d'investissement : les dilemmes et les percées de l'IA Open Source, pourquoi la technologie de chiffrement est-elle le dernier morceau du puzzle ?
Auteur : Daniel Barabander Compilateur : Deep Tide TechFlow Bref résumé À l’heure actuelle, le développement de l’IA de base est dominé par quelques entreprises technologiques, ce qui se caractérise par une fermeture et un manque de concurrence. Bien que le développement de logiciels Open Source soit une solution potentielle, l’IA fondamentale ne fonctionne pas aussi bien que les projets Open Source traditionnels (par exemple, Linux) car elle est confrontée à un « problème de ressources » : les contributeurs Open Source doivent non seulement y consacrer du temps, mais aussi supporter des coûts de calcul et de données au-delà de leurs capacités individuelles. La technologie de chiffrement devrait résoudre ce problème de ressources en incitant les fournisseurs de ressources à participer à des projets fondamentaux d’IA Open Source. La combinaison de l’IA Open Source et de la technologie de chiffrement peut prendre en charge le développement de modèles à plus grande échelle et stimuler l’innovation pour créer des systèmes d’IA plus avancés. INTRODUCTION Selon une enquête menée par le Pew Research Center (Pew Research Center) en 2024, 64 % des Américains pensent que l’impact des médias sociaux sur la nation fait plus de mal que de bien ; 78 % affirment que les entreprises de médias sociaux ont trop de pouvoir et d’influence en politique ; 83 % pensent que ces plateformes sont susceptibles de censurer délibérément les opinions politiques avec lesquelles ils ne sont pas d’accord. L’insatisfaction à l’égard des médias sociaux est presque devenue l’un des rares consensus de la société américaine. Si l’on regarde l’évolution des médias sociaux au cours des 20 dernières années, cette situation semble prédestinée. L’histoire n’est pas compliquée : une poignée de grandes entreprises technologiques ont attiré l’attention des utilisateurs et, plus important encore, des données des utilisateurs. Malgré les espoirs initiaux pour les données ouvertes, les entreprises ont rapidement changé de stratégie, utilisant les données pour créer des effets de réseau incassables et fermer les accès extérieurs. Le résultat est la situation actuelle : moins de 10 grandes entreprises technologiques dominent l’industrie des médias sociaux, créant un paysage de « monopole oligopole ». Comme le statu quo leur est extrêmement favorable, ces entreprises sont peu incitées à changer. Ce modèle est fermé et manque de concurrence. Aujourd’hui, la trajectoire de la technologie de l’IA semble se répéter, mais cette fois-ci, l’impact est encore plus profond. Une poignée d’entreprises technologiques ont construit des modèles d’IA fondamentaux en prenant le contrôle des GPU et des ressources de données, et ont désactivé l’accès à ces modèles. Pour les nouveaux entrants qui ne disposent pas de milliards de dollars de financement, il est presque impossible de développer un modèle compétitif. Étant donné que le coût de calcul de l’entraînement d’un seul modèle de base s’élève à des milliards de dollars, les entreprises de médias sociaux qui ont bénéficié de la dernière vague de technologie utilisent leur contrôle sur les données propriétaires des utilisateurs pour développer des modèles difficiles à égaler pour les concurrents. Nous répétons les erreurs des médias sociaux et nous nous dirigeons vers un monde d’IA fermé et non compétitif. Si cette tendance se poursuit, une poignée d’entreprises technologiques auront un contrôle absolu sur l’accès à l’information et aux opportunités. L’IA Open Source et le « problème des ressources » Si nous ne voulons pas voir un monde fermé de l’IA, quelles sont nos options ? La réponse évidente est de développer le modèle de base en tant que projet logiciel Open Source. Historiquement, nous avons eu d’innombrables projets Open Source qui ont réussi à construire les logiciels de base sur lesquels nous comptons tous les jours. Par exemple, le succès de Linux prouve que même un logiciel de base comme un système d’exploitation peut être développé via l’Open Source. Alors pourquoi les LLM (grands modèles de langage) ne le peuvent-ils pas ? Cependant, les limites particulières auxquelles sont confrontés les modèles d’IA fondamentaux les différencient des logiciels traditionnels, ce qui affaiblit également considérablement leur viabilité en tant que projets Open Source traditionnels. Plus précisément, les modèles d’IA fondamentaux nécessitent d’énormes ressources de calcul et de données qui dépassent de loin les capacités d’un individu. Contrairement aux projets Open Source traditionnels, qui reposent uniquement sur le don de leur temps, l’IA Open Source demande également aux gens de faire don de puissance de calcul et de ressources de données, ce que l’on appelle le « problème des ressources ». En prenant l’exemple du modèle LLaMa de Meta, nous pouvons mieux comprendre ce problème de ressources. Contrairement à des concurrents comme OpenAI et Google, Meta ne cache pas ses modèles derrière des API payantes, mais propose ouvertement des pondérations LLaMa que tout le monde peut utiliser gratuitement (avec certaines restrictions). Ces pondérations contiennent ce que le modèle apprend lors de l’entraînement Meta et sont nécessaires à l’exécution du modèle. Grâce à ces pondérations, l’utilisateur peut affiner le modèle ou utiliser la sortie du modèle comme entrée d’un nouveau modèle. Bien que la sortie de LLaMa par Meta soit digne de reconnaissance, elle ne compte pas comme un véritable projet de logiciel Open Source. En coulisses, Meta contrôle le processus d’entraînement, en s’appuyant sur ses propres ressources informatiques, données et décisions, et en décidant unilatéralement du moment où le modèle doit être mis à la disposition du public. Meta n’invite pas de chercheurs ou de développeurs indépendants à participer à des collaborations communautaires, car les ressources nécessaires pour entraîner ou réentraîner les modèles dépassent de loin les capacités de l’individu moyen. Ces ressources comprennent des dizaines de milliers de GPU hautes performances, des centres de données pour stocker ces GPU, des installations de refroidissement sophistiquées et des milliards de jetons (unités de données textuelles requises pour l’entraînement du modèle) pour l’entraînement. Comme l’indique le rapport 2024 de l’Université de Stanford sur l’indice de l’IA, « le coût dramatique de la formation exclut effectivement les universités qui ont traditionnellement été des puissances de la recherche sur l’IA du développement de modèles fondamentaux de premier plan ». Par exemple, Sam Altman a mentionné qu’il en coûte jusqu’à 100 millions de dollars pour former GPT-4, et cela n’inclut même pas les dépenses d’investissement pour le matériel. En outre, les dépenses d’investissement de Meta ont augmenté de 2,1 milliards de dollars au deuxième trimestre 2024 par rapport à la même période en 2023, principalement pour les serveurs, les centres de données et l’infrastructure réseau liés à l’entraînement des modèles d’IA. Par conséquent, bien que les contributeurs de la communauté LLaMa aient la capacité technique d’améliorer l’architecture du modèle, ils n’ont pas les ressources nécessaires pour mettre en œuvre ces améliorations. En résumé, contrairement aux projets de logiciels Open Source traditionnels, les projets d’IA Open Source exigent non seulement que les contributeurs investissent du temps, mais qu’ils supportent également des coûts de calcul et de données élevés. Il n’est pas réaliste de compter uniquement sur la bonne volonté et le bénévolat pour motiver suffisamment de fournisseurs de ressources. Ils ont besoin de nouvelles incitations. Prenons, par exemple, le modèle de langage Open Source BLOOM, un modèle de 176 milliards de paramètres qui rassemble les efforts de 1 000 chercheurs bénévoles de plus de 250 institutions dans plus de 70 pays. Si le succès de BLOOM a été admirable (et je le soutiens pleinement), il a fallu un an pour coordonner une session de formation et s’est appuyé sur un financement de 3 millions d’euros d’un institut de recherche français (sans compter les dépenses d’investissement du Superordinateur utilisé pour entraîner le modèle). Le processus consistant à s’appuyer sur un nouveau cycle de financement pour coordonner et itérer sur BLOOM est trop lourd pour correspondre à la vitesse de développement des grands laboratoires technologiques. CELA FAIT PLUS DE DEUX ANS QUE BLOOM EST SORTI, ET L’ÉQUIPE N’A PAS ENCORE ENTENDU PARLER DE MODÈLES DE SUIVI. Pour que l’IA Open Source soit possible, nous devons trouver un moyen d’inciter les fournisseurs de ressources à contribuer à leur puissance de calcul et à leurs ressources de données, plutôt que de laisser les contributeurs Open Source supporter eux-mêmes ces coûts. Pourquoi la technologie de chiffrement peut résoudre le « problème de ressources » de l’IA Open Source de base La principale percée de la technologie de chiffrement est de rendre possibles des projets de logiciels Open Source à coût élevé grâce au mécanisme de « propriété ». Il résout les problèmes de ressources de l’IA Open Source en incitant les fournisseurs de ressources potentiels à participer au réseau, plutôt que de faire supporter le coût de ces ressources par les contributeurs Open Source dès le départ. Le BTC en est un bon exemple. En tant que l’un des premiers projets de chiffrement, BTC est un projet de logiciel entièrement Open Source dont le code est public depuis le début. Cependant, le code lui-même n’est pas la clé du BTC. Cela n’a pas de sens de simplement télécharger et exécuter le logiciel BTCNœud et de créer une chaîne Bloc localement. La véritable valeur du logiciel ne peut être réalisée que si la quantité de calcul requise par MiningBloc est suffisante pour dépasser la puissance de calcul d’un seul contributeur : le maintien d’un registre décentralisé et non contrôlé. Semblable à l’IA Open Source sous-jacente, BTC est également un projet Open Source qui nécessite des ressources au-delà de la portée des capacités d’un individu. Bien que les deux nécessitent des ressources de calcul pour des raisons différentes – le BTC a besoin de ressources de calcul pour s’assurer que le réseau ne peut pas être altéré, tandis que l’IA sous-jacente nécessite des ressources de calcul pour optimiser et itérer sur les modèles – ce qu’ils ont tous en commun, c’est qu’ils s’appuient tous deux sur des ressources qui dépassent les capacités des individus. BTC, et tout autre réseau de chiffrement, est en mesure d’inciter les participants à contribuer aux ressources du projet de logiciel Open Source, et le « secret » est de fournir la propriété du réseau par le biais de jetons. Comme indiqué dans la philosophie fondatrice de Jesse écrite pour Variant en 2020, la propriété incite fortement les fournisseurs de ressources à être prêts à fournir des ressources en échange de gains potentiels dans le réseau. Ce mécanisme est similaire à la façon dont les startups s’attaquent aux pénuries de financement des entreprises en phase de démarrage grâce à des (Sweat Equity) de « sueur » – en payant les employés en phase de démarrage (par exemple, les fondateurs) principalement sous la forme de la propriété de l’entreprise, les startups sont en mesure d’attirer une main-d’œuvre qu’elles ne pourraient pas se permettre autrement. La technologie Chiffrement élargit le concept d'« équité de la sueur » en se concentrant sur les contributeurs de temps aux fournisseurs de ressources. En conséquence, Variant se concentre sur l’investissement dans des projets qui tirent parti des mécanismes de propriété pour créer des effets de réseau, tels que Uniswap, Morpho et World. Si nous voulons que l’IA Open Source devienne une réalité, alors le mécanisme de propriété mis en œuvre par la technologie de chiffrement est la solution clé au problème des ressources. Ce mécanisme donnerait aux chercheurs la liberté d’apporter leurs idées de conception de modèles au projet Open Source, car les ressources de calcul et de données nécessaires à la mise en œuvre de ces idées seraient supportées par le fournisseur de ressources, qui serait récompensé par l’obtention de la propriété fractionnée du projet, plutôt que de demander au chercheur de supporter lui-même les coûts initiaux élevés. Dans l’IA Open Source, la propriété peut prendre de nombreuses formes, mais l’une des plus attendues est la propriété du modèle lui-même, qui est également la solution proposée par Pluralis. L’approche proposée par Pluralis est connue sous le nom de Protocol Models. Dans ce modèle, le fournisseur de ressources de calcul peut entraîner un modèle Open Source spécifique en apportant de la puissance de calcul, et ainsi recevoir une propriété fractionnée des revenus d’inférence futurs du modèle. Étant donné que cette propriété est liée à un modèle spécifique et que sa valeur est basée sur les revenus d’inférence du modèle, les fournisseurs de ressources de calcul sont incités à choisir le modèle optimal à entraîner sans falsifier les données d’apprentissage (car la fourniture d’une formation inutile réduit directement la valeur attendue des revenus d’inférence futurs). Cependant, une question clé est la suivante : comment Pluralis assure-t-il la sécurité de propriété si le processus d’apprentissage nécessite que les poids du modèle soient envoyés au fournisseur de calcul ? La réponse réside dans l’utilisation de la technique de (Model Parallelism) de « parallélisation de modèle » pour distribuer le partitionnement de modèle à différents workers. Une caractéristique importante des réseaux neuronaux est que même si seule une infime fraction des poids du modèle est connue, le calculateur peut toujours participer à l’entraînement, ce qui garantit que l’ensemble complet des poids ne peut pas être extrait. De plus, étant donné que de nombreux modèles différents sont entraînés en même temps sur la plateforme Pluralis, l’entraîneur sera confronté à un grand nombre de jeux de poids différents, ce qui rend extrêmement difficile la reconstruction du modèle complet. L’idée de base des modèles de protocole est que ces modèles peuvent être entraînés et utilisés, mais qu’ils ne peuvent pas être extraits dans leur intégralité du protocole (à moins que la puissance de calcul utilisée ne dépasse les ressources nécessaires pour entraîner le modèle à partir de zéro). Ce mécanisme résout le problème souvent soulevé par les critiques de l’IA Open Source, à savoir que des concurrents fermés de l’IA pourraient détourner les fruits du travail des projets Open Source. Au début de l’article, j’ai illustré les aspects éthiques et normatifs de l’IA fermée en analysant le contrôle des Big Tech sur l’IA. Mais à une époque d’impuissance, je crains qu’un tel argument ne trouve pas d’écho auprès de la plupart des lecteurs. J’aimerais donc proposer deux raisons pratiques pour lesquelles l’IA Open Source, alimentée par le chiffrement, peut vraiment conduire à une meilleure IA. Tout d’abord, la combinaison de la technologie de chiffrement et de l’IA Open Source permettra la coordination d’un plus grand nombre de ressources pour stimuler le développement de la prochaine génération de modèles fondamentaux, (Foundation Models). Des études ont montré que l’augmentation de la puissance de calcul et des ressources de données peut contribuer à améliorer les performances du modèle, c’est pourquoi la taille du modèle de base a augmenté. BTC nous montre le potentiel des logiciels Open Source combinés à la technologie de chiffrement en termes de puissance de calcul. Il est devenu le réseau informatique le plus grand et le plus puissant au monde, bien plus grand que les ressources de cloud computing détenues par Big Tech. La technologie de Chiffrement est unique en ce sens qu’elle transforme la concurrence cloisonnée en concurrence collaborative. En incitant les fournisseurs de ressources à fournir des ressources pour résoudre des problèmes communs, plutôt que de travailler séparément et de dupliquer les efforts, le réseau Chiffrement permet une utilisation efficace des ressources. L’IA open source, alimentée par le chiffrement, sera en mesure de tirer parti des ressources de calcul et de données du monde entier pour construire des modèles à une échelle bien supérieure à celle de l’IA fermée. Par exemple, la société Hyperbolic a démontré le potentiel de ce modèle. Ils tirent le meilleur parti des ressources informatiques distribuées en permettant à quiconque de louer des GPU à moindre coût via un marché ouvert. Deuxièmement, la combinaison de la technologie de chiffrement et de l’IA Open Source stimulera l’accélération de l’innovation. En effet, une fois le problème des ressources résolu, la recherche sur l’apprentissage automatique peut retrouver sa nature Open Source hautement itérative et innovante. Avant l’avènement des grands modèles de langage fondamentaux (LLM), les chercheurs dans le domaine de l’apprentissage automatique publiaient souvent leurs modèles et leurs plans de conception reproductibles. Ces modèles utilisent généralement des ensembles de données Open Source et ont des exigences de calcul relativement faibles, ce qui permet aux chercheurs d’optimiser et d’innover en permanence. C’est ce processus ouvert et itératif qui a conduit à de nombreuses percées dans le domaine de la modélisation séquentielle, telles que les réseaux de neurones récurrents (RNN), les réseaux de mémoire à long terme (LSTM) et les mécanismes d’attention (Attention Mechanisms), c’est ce qui rend possible l’architecture du modèle Transformer. Cependant, cette approche ouverte de la recherche a changé depuis le lancement de GPT-3. Grâce au succès de GPT-3 et ChatGPT, OpenAI a prouvé qu’avec suffisamment de ressources et de données informatiques, il est possible d’entraîner de grands modèles de langage avec des capacités de compréhension du langage. Cette tendance a conduit à une forte augmentation des barrières aux ressources, conduisant à l’exclusion progressive du monde universitaire et au fait que les grandes entreprises technologiques ne divulguent plus leurs architectures de modèles afin de conserver un avantage concurrentiel. Cette situation limite notre capacité à repousser les limites de l’IA. L’IA open source, rendue possible par la technologie de chiffrement, peut changer cela. Il permet aux chercheurs d’itérer à nouveau sur des modèles de pointe pour découvrir le « prochain Transformer ». Cette combinaison résout non seulement le problème des ressources, mais relance également l’innovation dans le domaine de l’apprentissage automatique, ouvrant ainsi une voie plus large pour l’avenir de l’IA.
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Variant Partenaire d'investissement : les dilemmes et les percées de l'IA Open Source, pourquoi la technologie de chiffrement est-elle le dernier morceau du puzzle ?
Auteur : Daniel Barabander Compilateur : Deep Tide TechFlow Bref résumé À l’heure actuelle, le développement de l’IA de base est dominé par quelques entreprises technologiques, ce qui se caractérise par une fermeture et un manque de concurrence. Bien que le développement de logiciels Open Source soit une solution potentielle, l’IA fondamentale ne fonctionne pas aussi bien que les projets Open Source traditionnels (par exemple, Linux) car elle est confrontée à un « problème de ressources » : les contributeurs Open Source doivent non seulement y consacrer du temps, mais aussi supporter des coûts de calcul et de données au-delà de leurs capacités individuelles. La technologie de chiffrement devrait résoudre ce problème de ressources en incitant les fournisseurs de ressources à participer à des projets fondamentaux d’IA Open Source. La combinaison de l’IA Open Source et de la technologie de chiffrement peut prendre en charge le développement de modèles à plus grande échelle et stimuler l’innovation pour créer des systèmes d’IA plus avancés. INTRODUCTION Selon une enquête menée par le Pew Research Center (Pew Research Center) en 2024, 64 % des Américains pensent que l’impact des médias sociaux sur la nation fait plus de mal que de bien ; 78 % affirment que les entreprises de médias sociaux ont trop de pouvoir et d’influence en politique ; 83 % pensent que ces plateformes sont susceptibles de censurer délibérément les opinions politiques avec lesquelles ils ne sont pas d’accord. L’insatisfaction à l’égard des médias sociaux est presque devenue l’un des rares consensus de la société américaine. Si l’on regarde l’évolution des médias sociaux au cours des 20 dernières années, cette situation semble prédestinée. L’histoire n’est pas compliquée : une poignée de grandes entreprises technologiques ont attiré l’attention des utilisateurs et, plus important encore, des données des utilisateurs. Malgré les espoirs initiaux pour les données ouvertes, les entreprises ont rapidement changé de stratégie, utilisant les données pour créer des effets de réseau incassables et fermer les accès extérieurs. Le résultat est la situation actuelle : moins de 10 grandes entreprises technologiques dominent l’industrie des médias sociaux, créant un paysage de « monopole oligopole ». Comme le statu quo leur est extrêmement favorable, ces entreprises sont peu incitées à changer. Ce modèle est fermé et manque de concurrence. Aujourd’hui, la trajectoire de la technologie de l’IA semble se répéter, mais cette fois-ci, l’impact est encore plus profond. Une poignée d’entreprises technologiques ont construit des modèles d’IA fondamentaux en prenant le contrôle des GPU et des ressources de données, et ont désactivé l’accès à ces modèles. Pour les nouveaux entrants qui ne disposent pas de milliards de dollars de financement, il est presque impossible de développer un modèle compétitif. Étant donné que le coût de calcul de l’entraînement d’un seul modèle de base s’élève à des milliards de dollars, les entreprises de médias sociaux qui ont bénéficié de la dernière vague de technologie utilisent leur contrôle sur les données propriétaires des utilisateurs pour développer des modèles difficiles à égaler pour les concurrents. Nous répétons les erreurs des médias sociaux et nous nous dirigeons vers un monde d’IA fermé et non compétitif. Si cette tendance se poursuit, une poignée d’entreprises technologiques auront un contrôle absolu sur l’accès à l’information et aux opportunités. L’IA Open Source et le « problème des ressources » Si nous ne voulons pas voir un monde fermé de l’IA, quelles sont nos options ? La réponse évidente est de développer le modèle de base en tant que projet logiciel Open Source. Historiquement, nous avons eu d’innombrables projets Open Source qui ont réussi à construire les logiciels de base sur lesquels nous comptons tous les jours. Par exemple, le succès de Linux prouve que même un logiciel de base comme un système d’exploitation peut être développé via l’Open Source. Alors pourquoi les LLM (grands modèles de langage) ne le peuvent-ils pas ? Cependant, les limites particulières auxquelles sont confrontés les modèles d’IA fondamentaux les différencient des logiciels traditionnels, ce qui affaiblit également considérablement leur viabilité en tant que projets Open Source traditionnels. Plus précisément, les modèles d’IA fondamentaux nécessitent d’énormes ressources de calcul et de données qui dépassent de loin les capacités d’un individu. Contrairement aux projets Open Source traditionnels, qui reposent uniquement sur le don de leur temps, l’IA Open Source demande également aux gens de faire don de puissance de calcul et de ressources de données, ce que l’on appelle le « problème des ressources ». En prenant l’exemple du modèle LLaMa de Meta, nous pouvons mieux comprendre ce problème de ressources. Contrairement à des concurrents comme OpenAI et Google, Meta ne cache pas ses modèles derrière des API payantes, mais propose ouvertement des pondérations LLaMa que tout le monde peut utiliser gratuitement (avec certaines restrictions). Ces pondérations contiennent ce que le modèle apprend lors de l’entraînement Meta et sont nécessaires à l’exécution du modèle. Grâce à ces pondérations, l’utilisateur peut affiner le modèle ou utiliser la sortie du modèle comme entrée d’un nouveau modèle. Bien que la sortie de LLaMa par Meta soit digne de reconnaissance, elle ne compte pas comme un véritable projet de logiciel Open Source. En coulisses, Meta contrôle le processus d’entraînement, en s’appuyant sur ses propres ressources informatiques, données et décisions, et en décidant unilatéralement du moment où le modèle doit être mis à la disposition du public. Meta n’invite pas de chercheurs ou de développeurs indépendants à participer à des collaborations communautaires, car les ressources nécessaires pour entraîner ou réentraîner les modèles dépassent de loin les capacités de l’individu moyen. Ces ressources comprennent des dizaines de milliers de GPU hautes performances, des centres de données pour stocker ces GPU, des installations de refroidissement sophistiquées et des milliards de jetons (unités de données textuelles requises pour l’entraînement du modèle) pour l’entraînement. Comme l’indique le rapport 2024 de l’Université de Stanford sur l’indice de l’IA, « le coût dramatique de la formation exclut effectivement les universités qui ont traditionnellement été des puissances de la recherche sur l’IA du développement de modèles fondamentaux de premier plan ». Par exemple, Sam Altman a mentionné qu’il en coûte jusqu’à 100 millions de dollars pour former GPT-4, et cela n’inclut même pas les dépenses d’investissement pour le matériel. En outre, les dépenses d’investissement de Meta ont augmenté de 2,1 milliards de dollars au deuxième trimestre 2024 par rapport à la même période en 2023, principalement pour les serveurs, les centres de données et l’infrastructure réseau liés à l’entraînement des modèles d’IA. Par conséquent, bien que les contributeurs de la communauté LLaMa aient la capacité technique d’améliorer l’architecture du modèle, ils n’ont pas les ressources nécessaires pour mettre en œuvre ces améliorations. En résumé, contrairement aux projets de logiciels Open Source traditionnels, les projets d’IA Open Source exigent non seulement que les contributeurs investissent du temps, mais qu’ils supportent également des coûts de calcul et de données élevés. Il n’est pas réaliste de compter uniquement sur la bonne volonté et le bénévolat pour motiver suffisamment de fournisseurs de ressources. Ils ont besoin de nouvelles incitations. Prenons, par exemple, le modèle de langage Open Source BLOOM, un modèle de 176 milliards de paramètres qui rassemble les efforts de 1 000 chercheurs bénévoles de plus de 250 institutions dans plus de 70 pays. Si le succès de BLOOM a été admirable (et je le soutiens pleinement), il a fallu un an pour coordonner une session de formation et s’est appuyé sur un financement de 3 millions d’euros d’un institut de recherche français (sans compter les dépenses d’investissement du Superordinateur utilisé pour entraîner le modèle). Le processus consistant à s’appuyer sur un nouveau cycle de financement pour coordonner et itérer sur BLOOM est trop lourd pour correspondre à la vitesse de développement des grands laboratoires technologiques. CELA FAIT PLUS DE DEUX ANS QUE BLOOM EST SORTI, ET L’ÉQUIPE N’A PAS ENCORE ENTENDU PARLER DE MODÈLES DE SUIVI. Pour que l’IA Open Source soit possible, nous devons trouver un moyen d’inciter les fournisseurs de ressources à contribuer à leur puissance de calcul et à leurs ressources de données, plutôt que de laisser les contributeurs Open Source supporter eux-mêmes ces coûts. Pourquoi la technologie de chiffrement peut résoudre le « problème de ressources » de l’IA Open Source de base La principale percée de la technologie de chiffrement est de rendre possibles des projets de logiciels Open Source à coût élevé grâce au mécanisme de « propriété ». Il résout les problèmes de ressources de l’IA Open Source en incitant les fournisseurs de ressources potentiels à participer au réseau, plutôt que de faire supporter le coût de ces ressources par les contributeurs Open Source dès le départ. Le BTC en est un bon exemple. En tant que l’un des premiers projets de chiffrement, BTC est un projet de logiciel entièrement Open Source dont le code est public depuis le début. Cependant, le code lui-même n’est pas la clé du BTC. Cela n’a pas de sens de simplement télécharger et exécuter le logiciel BTCNœud et de créer une chaîne Bloc localement. La véritable valeur du logiciel ne peut être réalisée que si la quantité de calcul requise par MiningBloc est suffisante pour dépasser la puissance de calcul d’un seul contributeur : le maintien d’un registre décentralisé et non contrôlé. Semblable à l’IA Open Source sous-jacente, BTC est également un projet Open Source qui nécessite des ressources au-delà de la portée des capacités d’un individu. Bien que les deux nécessitent des ressources de calcul pour des raisons différentes – le BTC a besoin de ressources de calcul pour s’assurer que le réseau ne peut pas être altéré, tandis que l’IA sous-jacente nécessite des ressources de calcul pour optimiser et itérer sur les modèles – ce qu’ils ont tous en commun, c’est qu’ils s’appuient tous deux sur des ressources qui dépassent les capacités des individus. BTC, et tout autre réseau de chiffrement, est en mesure d’inciter les participants à contribuer aux ressources du projet de logiciel Open Source, et le « secret » est de fournir la propriété du réseau par le biais de jetons. Comme indiqué dans la philosophie fondatrice de Jesse écrite pour Variant en 2020, la propriété incite fortement les fournisseurs de ressources à être prêts à fournir des ressources en échange de gains potentiels dans le réseau. Ce mécanisme est similaire à la façon dont les startups s’attaquent aux pénuries de financement des entreprises en phase de démarrage grâce à des (Sweat Equity) de « sueur » – en payant les employés en phase de démarrage (par exemple, les fondateurs) principalement sous la forme de la propriété de l’entreprise, les startups sont en mesure d’attirer une main-d’œuvre qu’elles ne pourraient pas se permettre autrement. La technologie Chiffrement élargit le concept d'« équité de la sueur » en se concentrant sur les contributeurs de temps aux fournisseurs de ressources. En conséquence, Variant se concentre sur l’investissement dans des projets qui tirent parti des mécanismes de propriété pour créer des effets de réseau, tels que Uniswap, Morpho et World. Si nous voulons que l’IA Open Source devienne une réalité, alors le mécanisme de propriété mis en œuvre par la technologie de chiffrement est la solution clé au problème des ressources. Ce mécanisme donnerait aux chercheurs la liberté d’apporter leurs idées de conception de modèles au projet Open Source, car les ressources de calcul et de données nécessaires à la mise en œuvre de ces idées seraient supportées par le fournisseur de ressources, qui serait récompensé par l’obtention de la propriété fractionnée du projet, plutôt que de demander au chercheur de supporter lui-même les coûts initiaux élevés. Dans l’IA Open Source, la propriété peut prendre de nombreuses formes, mais l’une des plus attendues est la propriété du modèle lui-même, qui est également la solution proposée par Pluralis. L’approche proposée par Pluralis est connue sous le nom de Protocol Models. Dans ce modèle, le fournisseur de ressources de calcul peut entraîner un modèle Open Source spécifique en apportant de la puissance de calcul, et ainsi recevoir une propriété fractionnée des revenus d’inférence futurs du modèle. Étant donné que cette propriété est liée à un modèle spécifique et que sa valeur est basée sur les revenus d’inférence du modèle, les fournisseurs de ressources de calcul sont incités à choisir le modèle optimal à entraîner sans falsifier les données d’apprentissage (car la fourniture d’une formation inutile réduit directement la valeur attendue des revenus d’inférence futurs). Cependant, une question clé est la suivante : comment Pluralis assure-t-il la sécurité de propriété si le processus d’apprentissage nécessite que les poids du modèle soient envoyés au fournisseur de calcul ? La réponse réside dans l’utilisation de la technique de (Model Parallelism) de « parallélisation de modèle » pour distribuer le partitionnement de modèle à différents workers. Une caractéristique importante des réseaux neuronaux est que même si seule une infime fraction des poids du modèle est connue, le calculateur peut toujours participer à l’entraînement, ce qui garantit que l’ensemble complet des poids ne peut pas être extrait. De plus, étant donné que de nombreux modèles différents sont entraînés en même temps sur la plateforme Pluralis, l’entraîneur sera confronté à un grand nombre de jeux de poids différents, ce qui rend extrêmement difficile la reconstruction du modèle complet. L’idée de base des modèles de protocole est que ces modèles peuvent être entraînés et utilisés, mais qu’ils ne peuvent pas être extraits dans leur intégralité du protocole (à moins que la puissance de calcul utilisée ne dépasse les ressources nécessaires pour entraîner le modèle à partir de zéro). Ce mécanisme résout le problème souvent soulevé par les critiques de l’IA Open Source, à savoir que des concurrents fermés de l’IA pourraient détourner les fruits du travail des projets Open Source. Au début de l’article, j’ai illustré les aspects éthiques et normatifs de l’IA fermée en analysant le contrôle des Big Tech sur l’IA. Mais à une époque d’impuissance, je crains qu’un tel argument ne trouve pas d’écho auprès de la plupart des lecteurs. J’aimerais donc proposer deux raisons pratiques pour lesquelles l’IA Open Source, alimentée par le chiffrement, peut vraiment conduire à une meilleure IA. Tout d’abord, la combinaison de la technologie de chiffrement et de l’IA Open Source permettra la coordination d’un plus grand nombre de ressources pour stimuler le développement de la prochaine génération de modèles fondamentaux, (Foundation Models). Des études ont montré que l’augmentation de la puissance de calcul et des ressources de données peut contribuer à améliorer les performances du modèle, c’est pourquoi la taille du modèle de base a augmenté. BTC nous montre le potentiel des logiciels Open Source combinés à la technologie de chiffrement en termes de puissance de calcul. Il est devenu le réseau informatique le plus grand et le plus puissant au monde, bien plus grand que les ressources de cloud computing détenues par Big Tech. La technologie de Chiffrement est unique en ce sens qu’elle transforme la concurrence cloisonnée en concurrence collaborative. En incitant les fournisseurs de ressources à fournir des ressources pour résoudre des problèmes communs, plutôt que de travailler séparément et de dupliquer les efforts, le réseau Chiffrement permet une utilisation efficace des ressources. L’IA open source, alimentée par le chiffrement, sera en mesure de tirer parti des ressources de calcul et de données du monde entier pour construire des modèles à une échelle bien supérieure à celle de l’IA fermée. Par exemple, la société Hyperbolic a démontré le potentiel de ce modèle. Ils tirent le meilleur parti des ressources informatiques distribuées en permettant à quiconque de louer des GPU à moindre coût via un marché ouvert. Deuxièmement, la combinaison de la technologie de chiffrement et de l’IA Open Source stimulera l’accélération de l’innovation. En effet, une fois le problème des ressources résolu, la recherche sur l’apprentissage automatique peut retrouver sa nature Open Source hautement itérative et innovante. Avant l’avènement des grands modèles de langage fondamentaux (LLM), les chercheurs dans le domaine de l’apprentissage automatique publiaient souvent leurs modèles et leurs plans de conception reproductibles. Ces modèles utilisent généralement des ensembles de données Open Source et ont des exigences de calcul relativement faibles, ce qui permet aux chercheurs d’optimiser et d’innover en permanence. C’est ce processus ouvert et itératif qui a conduit à de nombreuses percées dans le domaine de la modélisation séquentielle, telles que les réseaux de neurones récurrents (RNN), les réseaux de mémoire à long terme (LSTM) et les mécanismes d’attention (Attention Mechanisms), c’est ce qui rend possible l’architecture du modèle Transformer. Cependant, cette approche ouverte de la recherche a changé depuis le lancement de GPT-3. Grâce au succès de GPT-3 et ChatGPT, OpenAI a prouvé qu’avec suffisamment de ressources et de données informatiques, il est possible d’entraîner de grands modèles de langage avec des capacités de compréhension du langage. Cette tendance a conduit à une forte augmentation des barrières aux ressources, conduisant à l’exclusion progressive du monde universitaire et au fait que les grandes entreprises technologiques ne divulguent plus leurs architectures de modèles afin de conserver un avantage concurrentiel. Cette situation limite notre capacité à repousser les limites de l’IA. L’IA open source, rendue possible par la technologie de chiffrement, peut changer cela. Il permet aux chercheurs d’itérer à nouveau sur des modèles de pointe pour découvrir le « prochain Transformer ». Cette combinaison résout non seulement le problème des ressources, mais relance également l’innovation dans le domaine de l’apprentissage automatique, ouvrant ainsi une voie plus large pour l’avenir de l’IA.