Le texte complet est ici ! Zhang Hongjiang s'entretient avec OpenAI Altman: AGI changera fondamentalement la civilisation et il n'y aura bientôt plus de GPT-5
Le 10 juin, le fondateur d'OpenAI, Sam Altman, a participé à la conférence sur l'intelligence artificielle Zhiyuan 2023 qui s'est tenue à Pékin, en Chine, via une connexion vidéo. C'était la première fois qu'Altman prononçait un discours devant un public chinois.
Dans son discours, Altman a cité le "Tao Te Ching" et a parlé de la coopération entre les principaux pays, affirmant que la sécurité de l'IA commence par une seule étape, et que la coopération et la coordination entre les pays doivent être menées.
Ensuite, Altman a accepté une séance de questions-réponses en tête-à-tête avec Zhang Hongjiang, président du Zhiyuan Research Institute.
Le Dr Zhang Hongjiang est actuellement président de l'Institut de recherche sur l'intelligence artificielle de Beijing Zhiyuan et est également administrateur indépendant et consultant pour plusieurs entreprises. Il a été directeur exécutif et PDG de Kingsoft Group et PDG de Kingsoft Cloud. Il a été l'un des fondateurs de Microsoft Asia Research Institute. ) Dean et Microsoft "Distinguished Scientist".
Avant de rejoindre Microsoft, Zhang Hongjiang était directeur de Hewlett-Packard Labs dans la Silicon Valley, aux États-Unis ; avant cela, il a également travaillé à l'Institute of Systems Science de l'Université nationale de Singapour.
Le contenu principal du discours d'Altman :
La raison pour laquelle la révolution actuelle de l'IA est si percutante n'est pas seulement l'ampleur de son impact, mais aussi la vitesse de sa progression. Cela apporte à la fois des dividendes et des risques.
Avec l'avènement de systèmes d'IA de plus en plus puissants, l'importance de la coopération mondiale n'a jamais été aussi grande. Lors de certains événements importants, les pays doivent coopérer et se coordonner. Faire progresser la sécurité des AGI est l'un des domaines les plus importants dans lesquels nous devons trouver des intérêts communs.
L'alignement reste un problème non résolu. Il a fallu huit mois au GPT-4 pour travailler sur l'alignement. Cependant, la recherche connexe est encore en cours d'amélioration, principalement divisée en deux aspects : l'évolutivité et l'interprétabilité.
Contenu clé de la session de questions-réponses :
Les humains disposeront d'un puissant système d'intelligence artificielle (IA) d'ici dix ans.
OpenAI n'a pas de nouveau calendrier open source pertinent Le modèle open source a des avantages, mais l'open source n'est peut-être pas la meilleure voie (pour promouvoir le développement de l'IA).
Il est beaucoup plus facile de comprendre les réseaux de neurones que les cerveaux humains.
À un moment donné, essaiera de créer un modèle GPT-5, mais pas bientôt. Je ne sais pas quand le GPT-5 spécifique apparaîtra.
La sécurité de l'IA nécessite la participation et la contribution des chercheurs chinois.
Remarque : "l'alignement de l'IA" est le problème le plus important dans les problèmes de contrôle de l'IA, c'est-à-dire que l'objectif du système d'IA doit être aligné (cohérent) avec les valeurs et les intérêts humains.
Contenu du discours de Sam Altman :
Avec l'avènement de systèmes d'intelligence artificielle de plus en plus puissants, les enjeux de la coopération mondiale n'ont jamais été aussi élevés.
Si nous ne faisons pas attention, un système d'IA mal placé conçu pour améliorer les résultats de santé publique pourrait perturber l'ensemble du système de santé en fournissant des recommandations infondées. De même, les systèmes d'IA conçus pour optimiser la production agricole peuvent épuiser par inadvertance les ressources naturelles ou endommager les écosystèmes en raison d'un manque de considération de la durabilité à long terme qui affecte la production alimentaire, un équilibre environnemental.
J'espère que nous pourrons tous convenir que la promotion de la sécurité AGI est l'un des domaines les plus importants dans lesquels nous devons travailler ensemble et trouver des points communs.
Le reste de ma présentation se concentrera sur où nous pouvons commencer : ** 1. Le premier domaine est la gouvernance de l'IAG **, l'IAG est fondamentalement devenue une puissante force de changement dans notre civilisation, mettant l'accent sur la nécessité d'une coopération et d'une coordination internationales significatives. Tout le monde bénéficie d'une approche de gouvernance collaborative. Si nous suivons cette voie de manière sûre et responsable, les systèmes AgI peuvent créer une prospérité économique sans précédent pour l'économie mondiale, relever des défis communs tels que le changement climatique et la sécurité sanitaire mondiale, et améliorer le bien-être social.
Je crois aussi profondément en l'avenir. Nous devons investir dans la sécurité AGI pour arriver là où nous voulons être et en profiter là-bas.
Pour ce faire, nous avons besoin d'une coordination minutieuse. Il s'agit d'une technologie mondiale avec une portée mondiale. Le coût des accidents causés par un développement et un déploiement imprudents nous affectera tous.
Dans la coopération internationale, je pense qu'il y a deux domaines clés qui sont les plus importants.
Tout d'abord nous devons établir des normes et standards internationaux et prêter attention à l'inclusivité dans le processus. L'utilisation des systèmes AGI dans n'importe quel pays devrait suivre ces normes et normes internationales de manière égale et cohérente. À l'intérieur de ces barrières de sécurité, nous croyons que les gens ont amplement l'occasion de faire leurs propres choix.
Deuxièmement, nous avons absolument besoin d'une coopération internationale pour établir de manière vérifiable la confiance internationale dans le développement sûr de systèmes d'IA de plus en plus puissants. Je n'ai aucune illusion sur le fait qu'il s'agit d'une tâche facile qui nécessite beaucoup d'attention dévouée et soutenue. **
Le Tao Te King nous dit : Un voyage de mille kilomètres commence par un seul pas. Nous pensons que la première étape la plus constructive à cet égard consiste à coopérer avec la communauté scientifique et technologique internationale.
Ce qu'il faut souligner, c'est que nous devrions accroître le mécanisme de transparence et de partage des connaissances dans la promotion du progrès technologique. En ce qui concerne la sécurité des AGI, les chercheurs qui découvrent des problèmes de sécurité émergents devraient partager leurs connaissances pour le plus grand bien.
Nous devons réfléchir sérieusement à la manière dont nous pouvons respecter et protéger la propriété intellectuelle tout en encourageant cette norme. Si nous le faisons, cela nous ouvrira de nouvelles portes pour approfondir notre coopération.
Plus généralement, nous devrions investir dans la promotion et l'orientation de la recherche sur l'alignement et la sécurité de l'IA.
Chez Open AI, nos recherches se concentrent aujourd'hui sur les problèmes techniques qui permettent à l'IA de jouer un rôle utile et plus sûr dans nos systèmes actuels. Cela peut également signifier que nous formons ChatGPT de manière à ce qu'il ne fasse pas de menaces de violence ou n'aide pas les utilisateurs dans des activités nuisibles.
Mais à mesure que nous nous rapprochons de l'âge de l'AGI, l'impact potentiel et la taille de l'impact des systèmes d'IA non alignés augmenteront de façon exponentielle. Relever de manière proactive ces défis minimise maintenant le risque de résultats catastrophiques à l'avenir.
Pour le système actuel, nous utilisons principalement l'apprentissage par renforcement avec rétroaction humaine pour entraîner notre modèle à devenir un assistant de sécurité utile. Ceci n'est qu'un exemple des diverses techniques d'ajustement post-formation. Et nous travaillons également dur sur les nouvelles technologies, qui nécessitent beaucoup de travail d'ingénierie.
À partir du moment où GPT4 termine la pré-formation jusqu'à ce que nous la déployions, nous consacrons 8 mois au travail d'alignement. Dans l'ensemble, nous pensons que nous faisons du bon travail ici. GPT4 est plus axé sur l'humain que n'importe lequel de nos modèles précédents.
Cependant, l'alignement reste un problème ouvert pour les systèmes plus avancés, ce qui, selon nous, nécessite de nouvelles approches techniques avec une gouvernance et une surveillance améliorées.
Pour les futurs systèmes AGI, il propose 100 000 lignes de code binaire. Il est peu probable que les superviseurs humains découvrent si un tel modèle fait quelque chose de néfaste. Nous investissons donc dans de nouvelles directions de recherche complémentaires qui, nous l'espérons, mèneront à des percées.
** **** L'un est une supervision évolutive **. Nous pouvons essayer d'utiliser des systèmes d'IA pour aider les humains à superviser d'autres systèmes d'IA. Par exemple, nous pouvons former un modèle pour aider la supervision humaine à trouver des défauts dans la sortie d'autres modèles. **
La seconde est la capacité d'interprétation. Nous voulions essayer de mieux comprendre ce qui se passe à l'intérieur de ces modèles. Nous avons récemment publié un article utilisant GPT-4 pour interpréter les neurones dans GPT-2. ** Dans un autre article, nous utilisons Model Internals pour détecter quand un modèle ment. **Nous avons encore un long chemin à parcourir. Nous pensons que les techniques avancées d'apprentissage automatique peuvent encore améliorer notre capacité à expliquer.
En fin de compte, notre objectif est de former des systèmes d'IA pour aider aux études d'alignement. **La beauté de cette approche est qu'elle peut évoluer avec la vitesse de développement de l'IA.
Récolter les avantages extraordinaires de l'IAG tout en atténuant les risques est l'un des défis fondamentaux de notre époque. Nous voyons un grand potentiel pour les chercheurs en Chine, aux États-Unis et dans le monde entier pour travailler ensemble vers le même objectif et travailler dur pour résoudre les défis techniques posés par l'alignement AGI.
Si nous le faisons, je pense que nous pourrons utiliser l'IAG pour résoudre les problèmes les plus importants du monde et améliorer considérablement la qualité de la vie humaine. Merci beaucoup.
Ce qui suit est la transcription de la conversation :
Dans les dix prochaines années, nous aurons un système d'IA très puissant
Zhang Hongjiang, président du Zhiyuan Research Institute, a demandé : ** À quelle distance sommes-nous de l'intelligence artificielle générale (IAG) ? Le risque est-il urgent ou en sommes-nous loin ? **
Sam Altman : Il est difficile d'estimer quand. ** Il est très probable que nous aurons des systèmes d'IA très puissants dans les dix prochaines années, et les nouvelles technologies changeront fondamentalement le monde plus rapidement que nous ne le pensons. ** Dans ce monde, je pense qu'il est important et urgent de bien faire les choses (les règles de sécurité de l'IA), c'est pourquoi j'appelle la communauté internationale à travailler ensemble.
Dans un sens, l'accélération et l'impact systémique des nouvelles technologies que nous constatons actuellement sont sans précédent. Je pense donc qu'il s'agit d'être préparé à ce qui s'en vient et d'être conscient des problèmes de sécurité. Compte tenu de l'ampleur de l'IA, les enjeux sont importants.
À votre avis, dans le domaine de la sécurité AGI, quels sont les avantages des différents pays pour résoudre ce problème, en particulier pour résoudre les problèmes de sécurité de l'IA. Comment combiner ces atouts ?
Coopération mondiale pour proposer des normes et des cadres de sécurité pour l'IA
Zhang Hongjiang : Vous avez mentionné à plusieurs reprises dans l'introduction précédente tout à l'heure qu'une coopération mondiale est en cours. Nous savons que le monde a fait face à des crises considérables dans le passé. D'une manière ou d'une autre, pour beaucoup d'entre eux, nous avons réussi à établir un consensus, à établir une coopération mondiale. Vous êtes également en tournée mondiale, quel type de collaborations mondiales essayez-vous de promouvoir ?
Sam Altman : Oui, je suis très satisfait des réactions et des réponses de chacun jusqu'à présent. Je pense que les gens prennent les risques et les opportunités d'AGI très au sérieux.
Je pense que la discussion sur la sécurité a parcouru un long chemin au cours des 6 derniers mois. Il semble y avoir un réel engagement à trouver une structure qui nous permette de profiter de ces avantages tout en travaillant ensemble à l'échelle mondiale pour réduire les risques. Je pense que nous sommes très bien placés pour le faire. La coopération mondiale est toujours difficile, mais je la vois comme une opportunité et une menace pour rapprocher le monde. Il serait très utile que nous puissions proposer un cadre et des normes de sécurité pour ces systèmes.
Comment résoudre le problème d'alignement de l'intelligence artificielle
Zhang Hongjiang : Vous avez mentionné que l'alignement de l'intelligence artificielle avancée est un problème non résolu. J'ai aussi remarqué qu'OpenAI a fait beaucoup d'efforts ces dernières années. Vous avez mentionné que GPT-4 est de loin le meilleur exemple dans le domaine de l'alignement. Pensez-vous que nous pouvons résoudre les problèmes de sécurité d'AGI simplement en affinant (API) ? Ou est-ce beaucoup plus difficile que la façon dont ce problème est résolu ?
Sam Altman : Je pense qu'il y a différentes manières de comprendre le mot alignement. Je pense que ce que nous devons résoudre, c'est le défi de l'ensemble du système d'intelligence artificielle.L'alignement au sens traditionnel, c'est-à-dire faire correspondre le comportement du modèle à l'intention de l'utilisateur, en fait certainement partie.
Mais il y aura également d'autres problèmes, comme comment vérifier ce que font les systèmes, ce que nous voulons qu'ils fassent et comment ajuster la valeur du système. Il est très important d'avoir une vue d'ensemble de la sécurité des AGI.
Tout le reste est difficile sans solution technique. Je pense qu'il est vraiment important de s'assurer que nous abordons les aspects techniques de la sécurité. Comme je l'ai mentionné, déterminer quelles sont nos valeurs n'est pas une question technique. Bien qu'elle nécessite un apport technique, c'est une question qui mérite d'être débattue en profondeur par l'ensemble de la société. Nous devons concevoir des systèmes équitables, représentatifs et inclusifs.
Zhang Hongjiang : Pour l'alignement, ce que nous voyons GPT-4 est toujours une solution d'un point de vue technique. Mais il existe de nombreux autres facteurs en plus de la technologie, souvent systémiques. La sécurité de l'IA ne fait peut-être pas exception ici. Outre les aspects techniques, quels sont les autres facteurs et enjeux ? Pensez-vous que c'est essentiel à la sécurité de l'IA ? Comment répondre à ces défis ? D'autant plus que la plupart d'entre nous sont des scientifiques. Que devrions nous faire.
Sam Altman : C'est certainement une question très complexe. Mais tout le reste est difficile sans solution technique. Je pense qu'il est vraiment important que le gouvernement s'attache à s'assurer que nous nous occupons des aspects techniques de la sécurité. **Comme je l'ai mentionné, déterminer quelles sont nos valeurs n'est pas une question technique. Elle nécessite un apport technique, mais c'est aussi une question qui mérite d'être débattue en profondeur par l'ensemble de la société. **Nous devons concevoir des systèmes équitables, représentatifs et inclusifs. **
Et, comme vous le soulignez, nous devons penser à la sécurité non seulement du modèle d'IA lui-même, mais du système dans son ensemble.
Par conséquent, il est important de pouvoir créer des classificateurs et des détecteurs sûrs qui s'exécutent sur des systèmes qui surveillent la conformité de l'IA aux politiques d'utilisation. Je pense qu'il est difficile de prévoir à l'avance tous les problèmes qui surgiront avec n'importe quelle technologie. Alors apprenez de l'utilisation dans le monde réel et déployez-la de manière itérative pour voir ce qui se passe lorsque vous créez réellement la réalité et l'améliorez.
Il est également important de laisser le temps aux humains et aux sociétés d'apprendre et de se mettre à jour, et de réfléchir à la manière dont ces modèles interagiront avec leur vie de manière positive et négative.
Nécessite la coopération de tous les pays
Zhang Hongjiang : Tout à l'heure, vous avez évoqué la coopération mondiale. Vous avez voyagé à travers le monde. La Chine, les États-Unis et l'Europe sont les moteurs de l'innovation de l'intelligence artificielle. À votre avis, dans AGI, quels sont les avantages des différents pays pour résoudre le problème AGI, en particulier pour résoudre le problème de sécurité humaine? Comment combiner ces atouts ?
Sam Altman : Je pense que de nombreuses perspectives différentes et la sécurité de l'IA sont généralement nécessaires. Nous n'avons pas encore toutes les réponses, et c'est une question plutôt difficile et importante.
De plus, comme mentionné, ce n'est pas une question purement technique de rendre l'IA sûre et bénéfique. Implique de comprendre les préférences des utilisateurs dans différents pays dans des contextes très différents. Nous avons besoin de beaucoup d'apports différents pour y arriver. La Chine possède certains des meilleurs talents en IA au monde. Fondamentalement, je pense que les meilleurs esprits du monde entier sont nécessaires pour résoudre la difficulté d'aligner les systèmes d'IA avancés. J'espère donc vraiment que les chercheurs chinois en IA pourront apporter de grandes contributions ici.
Nécessite une architecture très différente pour rendre AGI plus sûr
Zhang Hongjiang : Questions de suivi sur la sécurité du GPT-4 et de l'IA. Est-il possible que nous ayons besoin de changer toute l'infrastructure ou toute l'architecture du modèle AGI. Pour le rendre plus sûr et plus facile à contrôler.
Sam Altman : Il est tout à fait possible que nous ayons besoin d'architectures très différentes, tant du point de vue fonctionnel que du point de vue de la sécurité.
Je pense que nous allons pouvoir faire des progrès, de bons progrès dans l'explication des capacités de nos différents modèles en ce moment, et les amener à mieux nous expliquer ce qu'ils font et pourquoi. Mais oui, je ne serais pas surpris s'il y avait un autre pas de géant après Transformer. Nous avons beaucoup changé l'architecture depuis le Transformer d'origine.
La possibilité d'OpenAI open source
Zhang Hongjiang : Je comprends que le forum d'aujourd'hui porte sur la sécurité de l'IA, car les gens sont très curieux à propos d'OpenAI, donc j'ai beaucoup de questions sur OpenAI, pas seulement sur la sécurité de l'IA. J'ai une question du public ici, y a-t-il un plan pour OpenAI de rouvrir ses modèles comme il le faisait avant la version 3.0 ? Je pense aussi que l'open source est bon pour la sécurité de l'IA.
Sam Altman : Certains de nos modèles sont open source et d'autres non, mais avec le temps, je pense que vous devriez vous attendre à ce que nous continuions à ouvrir davantage de modèles à l'avenir. Je n'ai pas de modèle ou de calendrier précis, mais c'est quelque chose dont nous discutons en ce moment.
Zhang Hongjiang : BAAI fait tous ses efforts en open source, y compris les modèles et les algorithmes eux-mêmes. Nous croyons que nous avons ce besoin de partager et de donner que vous percevez comme celui qu'ils contrôlent. Avez-vous des idées similaires, ou ces sujets ont-ils été discutés parmi vos pairs ou collègues d'OpenAI.
Sam Altman : Oui, ** Je pense que l'open source a un rôle important d'une certaine manière. **
De nombreux nouveaux modèles open source ont également fait leur apparition récemment. Je pense que le modèle d'API a également un rôle important. Il nous fournit des contrôles de sécurité supplémentaires. Vous pouvez bloquer certaines utilisations. Vous pouvez bloquer certains types de réglages. Si quelque chose ne fonctionne pas, vous pouvez le reprendre. A l'échelle du modèle actuel, je ne suis pas trop inquiet à ce sujet. Mais au fur et à mesure que le modèle devient aussi puissant que nous l'attendons, si nous avons raison, je pense que l'open source n'est peut-être pas la meilleure voie, même si parfois c'est juste. ** Je pense que nous devons juste équilibrer soigneusement. **
Nous aurons plus de grands modèles open source à l'avenir, mais il n'y a pas de modèle et de calendrier spécifiques.
La prochaine étape pour AGI ? Verrons-nous bientôt le GPT-5 ?
Zhang Hongjiang : En tant que chercheur, je suis également curieux de savoir quelle est la prochaine direction de la recherche AGI ? En termes de grands modèles, de grands modèles de langage, verrons-nous bientôt GPT-5 ? La prochaine frontière est-elle celle des modèles incarnés ? La robotique autonome est-elle un domaine qu'OpenAI est ou envisage d'explorer ?
Sam Altman : Je suis également curieux de savoir ce qui va suivre, et l'une des choses que je préfère dans ce travail est qu'il y a beaucoup d'excitation et de surprise à la pointe de la recherche. Nous n'avons pas encore les réponses, nous explorons donc de nombreux nouveaux paradigmes possibles. Bien sûr, à un moment donné, nous essaierons de faire un modèle GPT-5, mais pas de sitôt. On ne sait pas exactement quand. Nous travaillons sur la robotique depuis le tout début d'OpenAI, et cela nous intéresse beaucoup, mais nous avons eu quelques difficultés. J'espère qu'un jour nous pourrons revenir dans ce domaine.
Zhang Hongjiang : Ça sonne bien. Vous avez également mentionné dans votre présentation comment vous utilisez GPT-4 pour expliquer le fonctionnement de GPT-2, ce qui rend le modèle plus sûr. Cette approche est-elle évolutive ? Est-ce la direction qu'OpenAI continuera d'avancer à l'avenir ?
Sam Altman : Nous continuerons à pousser dans cette direction.
Zhang Hongjiang : Pensez-vous que cette méthode peut être appliquée aux neurones biologiques ? Parce que la raison pour laquelle je pose cette question est qu'il y a des biologistes et des neuroscientifiques qui veulent utiliser cette méthode pour étudier et explorer le fonctionnement des neurones humains dans leur domaine.
Sam Altman : Il est beaucoup plus facile de voir ce qui se passe sur les neurones artificiels que sur les neurones biologiques. ** Je pense donc que cette approche est valable pour les réseaux de neurones artificiels. ** Je pense qu'il existe un moyen d'utiliser des modèles plus puissants pour nous aider à comprendre d'autres modèles. Mais je ne sais pas trop comment appliquer cette approche au cerveau humain.
Est-il possible de contrôler le nombre de modèles
Zhang Hongjiang : D'accord, merci. Maintenant que nous avons parlé de la sécurité de l'IA et du contrôle de l'AGI, l'une des questions dont nous avons discuté est la suivante : serait-il plus sûr s'il n'y avait que trois modèles dans le monde ? C'est comme le contrôle nucléaire, vous ne voulez pas que les armes nucléaires prolifèrent. Nous avons ce traité où nous essayons de contrôler le nombre de pays qui peuvent obtenir cette technologie. Le contrôle du nombre de modèles est-il donc une direction réalisable ?
Sam Altman : Je pense qu'il y a des opinions différentes sur la question de savoir s'il est plus sûr d'avoir un modèle minoritaire ou un modèle majoritaire dans le monde. Je pense que c'est plus important, avons-nous un système où tout modèle robuste est testé de manière adéquate pour la sécurité ? Avons-nous un cadre dans lequel quiconque crée un modèle suffisamment robuste a à la fois les ressources et la responsabilité de s'assurer que ce qu'il crée est sûr et aligné ?
Zhang Hongjiang : Lors de cette réunion d'hier, le professeur Max du MIT Future of Life Institute a mentionné une méthode possible, qui est similaire à la façon dont nous contrôlons le développement de médicaments. Lorsque des scientifiques ou des entreprises développent de nouveaux médicaments, vous ne pouvez pas les commercialiser directement. Vous devez passer par ce processus de test. Est-ce quelque chose dont nous pouvons apprendre?
Sam Altman : Je pense vraiment que nous pouvons apprendre beaucoup des cadres de licence et de test qui ont été développés dans différentes industries. Mais je pense que fondamentalement, nous avons quelque chose qui peut fonctionner.
Zhang Hongjiang : Merci beaucoup, Sam. Merci d'avoir pris le temps d'assister à cette réunion, bien qu'en ligne. Je suis sûr qu'il y a beaucoup d'autres questions, mais compte tenu du temps, nous devons nous arrêter ici. J'espère que la prochaine fois que vous aurez l'occasion de venir en Chine, venez à Pékin, nous pourrons avoir une discussion plus approfondie. merci beaucoup.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Le texte complet est ici ! Zhang Hongjiang s'entretient avec OpenAI Altman: AGI changera fondamentalement la civilisation et il n'y aura bientôt plus de GPT-5
Source : Nouvelles de Wall Street
Auteur : Ge Jiaming
Le 10 juin, le fondateur d'OpenAI, Sam Altman, a participé à la conférence sur l'intelligence artificielle Zhiyuan 2023 qui s'est tenue à Pékin, en Chine, via une connexion vidéo. C'était la première fois qu'Altman prononçait un discours devant un public chinois.
Dans son discours, Altman a cité le "Tao Te Ching" et a parlé de la coopération entre les principaux pays, affirmant que la sécurité de l'IA commence par une seule étape, et que la coopération et la coordination entre les pays doivent être menées.
Ensuite, Altman a accepté une séance de questions-réponses en tête-à-tête avec Zhang Hongjiang, président du Zhiyuan Research Institute.
Le Dr Zhang Hongjiang est actuellement président de l'Institut de recherche sur l'intelligence artificielle de Beijing Zhiyuan et est également administrateur indépendant et consultant pour plusieurs entreprises. Il a été directeur exécutif et PDG de Kingsoft Group et PDG de Kingsoft Cloud. Il a été l'un des fondateurs de Microsoft Asia Research Institute. ) Dean et Microsoft "Distinguished Scientist".
Avant de rejoindre Microsoft, Zhang Hongjiang était directeur de Hewlett-Packard Labs dans la Silicon Valley, aux États-Unis ; avant cela, il a également travaillé à l'Institute of Systems Science de l'Université nationale de Singapour. Le contenu principal du discours d'Altman :
Contenu clé de la session de questions-réponses :
Remarque : "l'alignement de l'IA" est le problème le plus important dans les problèmes de contrôle de l'IA, c'est-à-dire que l'objectif du système d'IA doit être aligné (cohérent) avec les valeurs et les intérêts humains.
Contenu du discours de Sam Altman :
Avec l'avènement de systèmes d'intelligence artificielle de plus en plus puissants, les enjeux de la coopération mondiale n'ont jamais été aussi élevés.
Si nous ne faisons pas attention, un système d'IA mal placé conçu pour améliorer les résultats de santé publique pourrait perturber l'ensemble du système de santé en fournissant des recommandations infondées. De même, les systèmes d'IA conçus pour optimiser la production agricole peuvent épuiser par inadvertance les ressources naturelles ou endommager les écosystèmes en raison d'un manque de considération de la durabilité à long terme qui affecte la production alimentaire, un équilibre environnemental.
J'espère que nous pourrons tous convenir que la promotion de la sécurité AGI est l'un des domaines les plus importants dans lesquels nous devons travailler ensemble et trouver des points communs.
Je crois aussi profondément en l'avenir. Nous devons investir dans la sécurité AGI pour arriver là où nous voulons être et en profiter là-bas.
Pour ce faire, nous avons besoin d'une coordination minutieuse. Il s'agit d'une technologie mondiale avec une portée mondiale. Le coût des accidents causés par un développement et un déploiement imprudents nous affectera tous.
Dans la coopération internationale, je pense qu'il y a deux domaines clés qui sont les plus importants.
Tout d'abord nous devons établir des normes et standards internationaux et prêter attention à l'inclusivité dans le processus. L'utilisation des systèmes AGI dans n'importe quel pays devrait suivre ces normes et normes internationales de manière égale et cohérente. À l'intérieur de ces barrières de sécurité, nous croyons que les gens ont amplement l'occasion de faire leurs propres choix.
Deuxièmement, nous avons absolument besoin d'une coopération internationale pour établir de manière vérifiable la confiance internationale dans le développement sûr de systèmes d'IA de plus en plus puissants. Je n'ai aucune illusion sur le fait qu'il s'agit d'une tâche facile qui nécessite beaucoup d'attention dévouée et soutenue. **
Le Tao Te King nous dit : Un voyage de mille kilomètres commence par un seul pas. Nous pensons que la première étape la plus constructive à cet égard consiste à coopérer avec la communauté scientifique et technologique internationale.
Ce qu'il faut souligner, c'est que nous devrions accroître le mécanisme de transparence et de partage des connaissances dans la promotion du progrès technologique. En ce qui concerne la sécurité des AGI, les chercheurs qui découvrent des problèmes de sécurité émergents devraient partager leurs connaissances pour le plus grand bien.
Nous devons réfléchir sérieusement à la manière dont nous pouvons respecter et protéger la propriété intellectuelle tout en encourageant cette norme. Si nous le faisons, cela nous ouvrira de nouvelles portes pour approfondir notre coopération.
Plus généralement, nous devrions investir dans la promotion et l'orientation de la recherche sur l'alignement et la sécurité de l'IA.
Chez Open AI, nos recherches se concentrent aujourd'hui sur les problèmes techniques qui permettent à l'IA de jouer un rôle utile et plus sûr dans nos systèmes actuels. Cela peut également signifier que nous formons ChatGPT de manière à ce qu'il ne fasse pas de menaces de violence ou n'aide pas les utilisateurs dans des activités nuisibles.
Mais à mesure que nous nous rapprochons de l'âge de l'AGI, l'impact potentiel et la taille de l'impact des systèmes d'IA non alignés augmenteront de façon exponentielle. Relever de manière proactive ces défis minimise maintenant le risque de résultats catastrophiques à l'avenir.
Pour le système actuel, nous utilisons principalement l'apprentissage par renforcement avec rétroaction humaine pour entraîner notre modèle à devenir un assistant de sécurité utile. Ceci n'est qu'un exemple des diverses techniques d'ajustement post-formation. Et nous travaillons également dur sur les nouvelles technologies, qui nécessitent beaucoup de travail d'ingénierie.
À partir du moment où GPT4 termine la pré-formation jusqu'à ce que nous la déployions, nous consacrons 8 mois au travail d'alignement. Dans l'ensemble, nous pensons que nous faisons du bon travail ici. GPT4 est plus axé sur l'humain que n'importe lequel de nos modèles précédents.
Cependant, l'alignement reste un problème ouvert pour les systèmes plus avancés, ce qui, selon nous, nécessite de nouvelles approches techniques avec une gouvernance et une surveillance améliorées.
Pour les futurs systèmes AGI, il propose 100 000 lignes de code binaire. Il est peu probable que les superviseurs humains découvrent si un tel modèle fait quelque chose de néfaste. Nous investissons donc dans de nouvelles directions de recherche complémentaires qui, nous l'espérons, mèneront à des percées.
**
**** L'un est une supervision évolutive **. Nous pouvons essayer d'utiliser des systèmes d'IA pour aider les humains à superviser d'autres systèmes d'IA. Par exemple, nous pouvons former un modèle pour aider la supervision humaine à trouver des défauts dans la sortie d'autres modèles. **
La seconde est la capacité d'interprétation. Nous voulions essayer de mieux comprendre ce qui se passe à l'intérieur de ces modèles. Nous avons récemment publié un article utilisant GPT-4 pour interpréter les neurones dans GPT-2. ** Dans un autre article, nous utilisons Model Internals pour détecter quand un modèle ment. **Nous avons encore un long chemin à parcourir. Nous pensons que les techniques avancées d'apprentissage automatique peuvent encore améliorer notre capacité à expliquer.
En fin de compte, notre objectif est de former des systèmes d'IA pour aider aux études d'alignement. **La beauté de cette approche est qu'elle peut évoluer avec la vitesse de développement de l'IA.
Récolter les avantages extraordinaires de l'IAG tout en atténuant les risques est l'un des défis fondamentaux de notre époque. Nous voyons un grand potentiel pour les chercheurs en Chine, aux États-Unis et dans le monde entier pour travailler ensemble vers le même objectif et travailler dur pour résoudre les défis techniques posés par l'alignement AGI.
Si nous le faisons, je pense que nous pourrons utiliser l'IAG pour résoudre les problèmes les plus importants du monde et améliorer considérablement la qualité de la vie humaine. Merci beaucoup.
Ce qui suit est la transcription de la conversation :
Dans les dix prochaines années, nous aurons un système d'IA très puissant
Zhang Hongjiang, président du Zhiyuan Research Institute, a demandé : ** À quelle distance sommes-nous de l'intelligence artificielle générale (IAG) ? Le risque est-il urgent ou en sommes-nous loin ? **
Sam Altman : Il est difficile d'estimer quand. ** Il est très probable que nous aurons des systèmes d'IA très puissants dans les dix prochaines années, et les nouvelles technologies changeront fondamentalement le monde plus rapidement que nous ne le pensons. ** Dans ce monde, je pense qu'il est important et urgent de bien faire les choses (les règles de sécurité de l'IA), c'est pourquoi j'appelle la communauté internationale à travailler ensemble.
Dans un sens, l'accélération et l'impact systémique des nouvelles technologies que nous constatons actuellement sont sans précédent. Je pense donc qu'il s'agit d'être préparé à ce qui s'en vient et d'être conscient des problèmes de sécurité. Compte tenu de l'ampleur de l'IA, les enjeux sont importants.
À votre avis, dans le domaine de la sécurité AGI, quels sont les avantages des différents pays pour résoudre ce problème, en particulier pour résoudre les problèmes de sécurité de l'IA. Comment combiner ces atouts ?
Coopération mondiale pour proposer des normes et des cadres de sécurité pour l'IA
Zhang Hongjiang : Vous avez mentionné à plusieurs reprises dans l'introduction précédente tout à l'heure qu'une coopération mondiale est en cours. Nous savons que le monde a fait face à des crises considérables dans le passé. D'une manière ou d'une autre, pour beaucoup d'entre eux, nous avons réussi à établir un consensus, à établir une coopération mondiale. Vous êtes également en tournée mondiale, quel type de collaborations mondiales essayez-vous de promouvoir ?
Sam Altman : Oui, je suis très satisfait des réactions et des réponses de chacun jusqu'à présent. Je pense que les gens prennent les risques et les opportunités d'AGI très au sérieux.
Je pense que la discussion sur la sécurité a parcouru un long chemin au cours des 6 derniers mois. Il semble y avoir un réel engagement à trouver une structure qui nous permette de profiter de ces avantages tout en travaillant ensemble à l'échelle mondiale pour réduire les risques. Je pense que nous sommes très bien placés pour le faire. La coopération mondiale est toujours difficile, mais je la vois comme une opportunité et une menace pour rapprocher le monde. Il serait très utile que nous puissions proposer un cadre et des normes de sécurité pour ces systèmes.
Comment résoudre le problème d'alignement de l'intelligence artificielle
Zhang Hongjiang : Vous avez mentionné que l'alignement de l'intelligence artificielle avancée est un problème non résolu. J'ai aussi remarqué qu'OpenAI a fait beaucoup d'efforts ces dernières années. Vous avez mentionné que GPT-4 est de loin le meilleur exemple dans le domaine de l'alignement. Pensez-vous que nous pouvons résoudre les problèmes de sécurité d'AGI simplement en affinant (API) ? Ou est-ce beaucoup plus difficile que la façon dont ce problème est résolu ?
Sam Altman : Je pense qu'il y a différentes manières de comprendre le mot alignement. Je pense que ce que nous devons résoudre, c'est le défi de l'ensemble du système d'intelligence artificielle.L'alignement au sens traditionnel, c'est-à-dire faire correspondre le comportement du modèle à l'intention de l'utilisateur, en fait certainement partie.
Mais il y aura également d'autres problèmes, comme comment vérifier ce que font les systèmes, ce que nous voulons qu'ils fassent et comment ajuster la valeur du système. Il est très important d'avoir une vue d'ensemble de la sécurité des AGI.
Tout le reste est difficile sans solution technique. Je pense qu'il est vraiment important de s'assurer que nous abordons les aspects techniques de la sécurité. Comme je l'ai mentionné, déterminer quelles sont nos valeurs n'est pas une question technique. Bien qu'elle nécessite un apport technique, c'est une question qui mérite d'être débattue en profondeur par l'ensemble de la société. Nous devons concevoir des systèmes équitables, représentatifs et inclusifs.
Zhang Hongjiang : Pour l'alignement, ce que nous voyons GPT-4 est toujours une solution d'un point de vue technique. Mais il existe de nombreux autres facteurs en plus de la technologie, souvent systémiques. La sécurité de l'IA ne fait peut-être pas exception ici. Outre les aspects techniques, quels sont les autres facteurs et enjeux ? Pensez-vous que c'est essentiel à la sécurité de l'IA ? Comment répondre à ces défis ? D'autant plus que la plupart d'entre nous sont des scientifiques. Que devrions nous faire.
Sam Altman : C'est certainement une question très complexe. Mais tout le reste est difficile sans solution technique. Je pense qu'il est vraiment important que le gouvernement s'attache à s'assurer que nous nous occupons des aspects techniques de la sécurité. **Comme je l'ai mentionné, déterminer quelles sont nos valeurs n'est pas une question technique. Elle nécessite un apport technique, mais c'est aussi une question qui mérite d'être débattue en profondeur par l'ensemble de la société. **Nous devons concevoir des systèmes équitables, représentatifs et inclusifs. **
Et, comme vous le soulignez, nous devons penser à la sécurité non seulement du modèle d'IA lui-même, mais du système dans son ensemble.
Par conséquent, il est important de pouvoir créer des classificateurs et des détecteurs sûrs qui s'exécutent sur des systèmes qui surveillent la conformité de l'IA aux politiques d'utilisation. Je pense qu'il est difficile de prévoir à l'avance tous les problèmes qui surgiront avec n'importe quelle technologie. Alors apprenez de l'utilisation dans le monde réel et déployez-la de manière itérative pour voir ce qui se passe lorsque vous créez réellement la réalité et l'améliorez.
Il est également important de laisser le temps aux humains et aux sociétés d'apprendre et de se mettre à jour, et de réfléchir à la manière dont ces modèles interagiront avec leur vie de manière positive et négative.
Nécessite la coopération de tous les pays
Zhang Hongjiang : Tout à l'heure, vous avez évoqué la coopération mondiale. Vous avez voyagé à travers le monde. La Chine, les États-Unis et l'Europe sont les moteurs de l'innovation de l'intelligence artificielle. À votre avis, dans AGI, quels sont les avantages des différents pays pour résoudre le problème AGI, en particulier pour résoudre le problème de sécurité humaine? Comment combiner ces atouts ?
Sam Altman : Je pense que de nombreuses perspectives différentes et la sécurité de l'IA sont généralement nécessaires. Nous n'avons pas encore toutes les réponses, et c'est une question plutôt difficile et importante.
De plus, comme mentionné, ce n'est pas une question purement technique de rendre l'IA sûre et bénéfique. Implique de comprendre les préférences des utilisateurs dans différents pays dans des contextes très différents. Nous avons besoin de beaucoup d'apports différents pour y arriver. La Chine possède certains des meilleurs talents en IA au monde. Fondamentalement, je pense que les meilleurs esprits du monde entier sont nécessaires pour résoudre la difficulté d'aligner les systèmes d'IA avancés. J'espère donc vraiment que les chercheurs chinois en IA pourront apporter de grandes contributions ici.
Nécessite une architecture très différente pour rendre AGI plus sûr
Zhang Hongjiang : Questions de suivi sur la sécurité du GPT-4 et de l'IA. Est-il possible que nous ayons besoin de changer toute l'infrastructure ou toute l'architecture du modèle AGI. Pour le rendre plus sûr et plus facile à contrôler.
Sam Altman : Il est tout à fait possible que nous ayons besoin d'architectures très différentes, tant du point de vue fonctionnel que du point de vue de la sécurité.
Je pense que nous allons pouvoir faire des progrès, de bons progrès dans l'explication des capacités de nos différents modèles en ce moment, et les amener à mieux nous expliquer ce qu'ils font et pourquoi. Mais oui, je ne serais pas surpris s'il y avait un autre pas de géant après Transformer. Nous avons beaucoup changé l'architecture depuis le Transformer d'origine.
La possibilité d'OpenAI open source
Zhang Hongjiang : Je comprends que le forum d'aujourd'hui porte sur la sécurité de l'IA, car les gens sont très curieux à propos d'OpenAI, donc j'ai beaucoup de questions sur OpenAI, pas seulement sur la sécurité de l'IA. J'ai une question du public ici, y a-t-il un plan pour OpenAI de rouvrir ses modèles comme il le faisait avant la version 3.0 ? Je pense aussi que l'open source est bon pour la sécurité de l'IA.
Sam Altman : Certains de nos modèles sont open source et d'autres non, mais avec le temps, je pense que vous devriez vous attendre à ce que nous continuions à ouvrir davantage de modèles à l'avenir. Je n'ai pas de modèle ou de calendrier précis, mais c'est quelque chose dont nous discutons en ce moment.
Zhang Hongjiang : BAAI fait tous ses efforts en open source, y compris les modèles et les algorithmes eux-mêmes. Nous croyons que nous avons ce besoin de partager et de donner que vous percevez comme celui qu'ils contrôlent. Avez-vous des idées similaires, ou ces sujets ont-ils été discutés parmi vos pairs ou collègues d'OpenAI.
Sam Altman : Oui, ** Je pense que l'open source a un rôle important d'une certaine manière. **
De nombreux nouveaux modèles open source ont également fait leur apparition récemment. Je pense que le modèle d'API a également un rôle important. Il nous fournit des contrôles de sécurité supplémentaires. Vous pouvez bloquer certaines utilisations. Vous pouvez bloquer certains types de réglages. Si quelque chose ne fonctionne pas, vous pouvez le reprendre. A l'échelle du modèle actuel, je ne suis pas trop inquiet à ce sujet. Mais au fur et à mesure que le modèle devient aussi puissant que nous l'attendons, si nous avons raison, je pense que l'open source n'est peut-être pas la meilleure voie, même si parfois c'est juste. ** Je pense que nous devons juste équilibrer soigneusement. **
Nous aurons plus de grands modèles open source à l'avenir, mais il n'y a pas de modèle et de calendrier spécifiques.
La prochaine étape pour AGI ? Verrons-nous bientôt le GPT-5 ?
Zhang Hongjiang : En tant que chercheur, je suis également curieux de savoir quelle est la prochaine direction de la recherche AGI ? En termes de grands modèles, de grands modèles de langage, verrons-nous bientôt GPT-5 ? La prochaine frontière est-elle celle des modèles incarnés ? La robotique autonome est-elle un domaine qu'OpenAI est ou envisage d'explorer ?
Sam Altman : Je suis également curieux de savoir ce qui va suivre, et l'une des choses que je préfère dans ce travail est qu'il y a beaucoup d'excitation et de surprise à la pointe de la recherche. Nous n'avons pas encore les réponses, nous explorons donc de nombreux nouveaux paradigmes possibles. Bien sûr, à un moment donné, nous essaierons de faire un modèle GPT-5, mais pas de sitôt. On ne sait pas exactement quand. Nous travaillons sur la robotique depuis le tout début d'OpenAI, et cela nous intéresse beaucoup, mais nous avons eu quelques difficultés. J'espère qu'un jour nous pourrons revenir dans ce domaine.
Zhang Hongjiang : Ça sonne bien. Vous avez également mentionné dans votre présentation comment vous utilisez GPT-4 pour expliquer le fonctionnement de GPT-2, ce qui rend le modèle plus sûr. Cette approche est-elle évolutive ? Est-ce la direction qu'OpenAI continuera d'avancer à l'avenir ?
Sam Altman : Nous continuerons à pousser dans cette direction.
Zhang Hongjiang : Pensez-vous que cette méthode peut être appliquée aux neurones biologiques ? Parce que la raison pour laquelle je pose cette question est qu'il y a des biologistes et des neuroscientifiques qui veulent utiliser cette méthode pour étudier et explorer le fonctionnement des neurones humains dans leur domaine.
Sam Altman : Il est beaucoup plus facile de voir ce qui se passe sur les neurones artificiels que sur les neurones biologiques. ** Je pense donc que cette approche est valable pour les réseaux de neurones artificiels. ** Je pense qu'il existe un moyen d'utiliser des modèles plus puissants pour nous aider à comprendre d'autres modèles. Mais je ne sais pas trop comment appliquer cette approche au cerveau humain.
Est-il possible de contrôler le nombre de modèles
Zhang Hongjiang : D'accord, merci. Maintenant que nous avons parlé de la sécurité de l'IA et du contrôle de l'AGI, l'une des questions dont nous avons discuté est la suivante : serait-il plus sûr s'il n'y avait que trois modèles dans le monde ? C'est comme le contrôle nucléaire, vous ne voulez pas que les armes nucléaires prolifèrent. Nous avons ce traité où nous essayons de contrôler le nombre de pays qui peuvent obtenir cette technologie. Le contrôle du nombre de modèles est-il donc une direction réalisable ?
Sam Altman : Je pense qu'il y a des opinions différentes sur la question de savoir s'il est plus sûr d'avoir un modèle minoritaire ou un modèle majoritaire dans le monde. Je pense que c'est plus important, avons-nous un système où tout modèle robuste est testé de manière adéquate pour la sécurité ? Avons-nous un cadre dans lequel quiconque crée un modèle suffisamment robuste a à la fois les ressources et la responsabilité de s'assurer que ce qu'il crée est sûr et aligné ?
Zhang Hongjiang : Lors de cette réunion d'hier, le professeur Max du MIT Future of Life Institute a mentionné une méthode possible, qui est similaire à la façon dont nous contrôlons le développement de médicaments. Lorsque des scientifiques ou des entreprises développent de nouveaux médicaments, vous ne pouvez pas les commercialiser directement. Vous devez passer par ce processus de test. Est-ce quelque chose dont nous pouvons apprendre?
Sam Altman : Je pense vraiment que nous pouvons apprendre beaucoup des cadres de licence et de test qui ont été développés dans différentes industries. Mais je pense que fondamentalement, nous avons quelque chose qui peut fonctionner.
Zhang Hongjiang : Merci beaucoup, Sam. Merci d'avoir pris le temps d'assister à cette réunion, bien qu'en ligne. Je suis sûr qu'il y a beaucoup d'autres questions, mais compte tenu du temps, nous devons nous arrêter ici. J'espère que la prochaine fois que vous aurez l'occasion de venir en Chine, venez à Pékin, nous pourrons avoir une discussion plus approfondie. merci beaucoup.