Quelles seront les avancées en intelligence des grands modèles au cours des trois prochaines années ?

En décomposant, il y a en réalité deux variables qui conduisent à cette progression : la croissance exponentielle de la puissance de calcul hardware, combinée aux lois de scaling des modèles eux-mêmes.

Du côté des puces, la capacité de calcul peut presque quadrupler tous les 18 mois — c’est le rythme reconnu par l’industrie. Du côté des données d’entraînement, selon la loi de scaling actuelle, les données de haute qualité disponibles peuvent soutenir environ 2 à 3 cycles d’itération de ce type.

En faisant le calcul, d’ici 2029, le niveau d’intelligence des grands modèles pourrait être multiplié par 16 par rapport à aujourd’hui. Ce chiffre peut sembler un peu fou.

Pour des domaines émergents comme Web3 et l’infrastructure IA, cette augmentation de capacité pourrait être la clé pour accélérer la mise en œuvre des applications. Mais cela signifie aussi que nous devons commencer à réfléchir plus tôt aux questions d’éthique technologique et de gestion des risques.

Qu’en pensez-vous ? Êtes-vous enthousiaste face à ces possibilités ou un peu inquiet ?