Inventaire des agents autonomes de l'IA, couverture complète de la construction, de l'application et de l'évaluation, aperçu de 32 pages par Wen Jirong de Gaoling de l'Assemblée populaire nationale
Cet article fournit une introduction complète à la construction, à l'application potentielle et à l'évaluation d'agents basés sur des modèles de langage étendus (LLM), ce qui est d'une grande importance pour une compréhension globale du développement de ce domaine et pour inspirer de futures recherches.
Source de l'image : générée par Unbounded AI
À l’ère actuelle de l’IA, les agents autonomes sont considérés comme une voie prometteuse vers l’intelligence artificielle générale (AGI). L'agent dit autonome est capable d'accomplir des tâches grâce à une planification et des instructions autonomes. Dans les premiers paradigmes de développement, la fonction politique qui détermine les actions de l'agent est dominée par les heuristiques, qui s'affine progressivement au cours de l'interaction avec l'environnement.
Cependant, dans des environnements à domaine ouvert sans contraintes, il est souvent difficile pour les agents autonomes d’agir avec une compétence humaine.
Avec le grand succès des grands modèles de langage (LLM) ces dernières années, ils ont montré leur potentiel pour atteindre une intelligence semblable à celle de l’humain. Par conséquent, grâce à ses puissantes capacités, LLM est de plus en plus utilisé comme coordinateur principal pour la création d’agents autonomes, et divers agents d’IA ont émergé successivement. Ces agents offrent une voie viable vers des systèmes d’IA plus complexes et adaptables en imitant les processus décisionnels de type humain.
*Une liste d'agents autonomes basés sur LLM, y compris les agents outils, les agents simulés, les agents généraux et les agents de domaine. *
À ce stade, il est très important de mener une analyse holistique des agents autonomes émergents basés sur le LLM, et il est d’une grande importance de bien comprendre l’état de développement de ce domaine et d’inspirer les recherches futures.
Dans cet article, des chercheurs de la Hillhouse School of Artificial Intelligence de l’Université Renmin de Chine ont mené une enquête complète sur les agents autonomes basés sur LLM, en se concentrant sur trois aspects de leur construction, de leur application et de leur évaluation.
Adresse papier :
Pour la construction de l'agent, ils ont proposé un cadre unifié composé de quatre parties, qui sont le module de configuration pour représenter les attributs de l'agent, le module de mémoire pour stocker les informations historiques, le module de planification pour formuler les stratégies d'action futures et le module d'action. module pour exécuter les décisions de planification. Après avoir présenté les modules d'agent typiques, les chercheurs résument également les stratégies de réglage fin couramment utilisées pour améliorer l'adaptabilité des agents à différents scénarios d'application.
Les chercheurs décrivent ensuite les applications potentielles des agents autonomes, en explorant comment ils pourraient bénéficier aux domaines des sciences sociales, des sciences naturelles et de l’ingénierie. Enfin, les méthodes d'évaluation des agents autonomes sont discutées, y compris les stratégies d'évaluation subjectives et objectives. La figure ci-dessous montre la structure globale de l'article.
Source:
Construction d'agents autonomes basés sur LLM
Afin de rendre l'agent autonome basé sur LLM plus efficace, il y a deux aspects à considérer : premièrement, quel type d'architecture doit être conçu pour que l'agent puisse mieux utiliser le LLM ; deuxièmement, comment apprendre efficacement les paramètres.
Conception de l'architecture d'agent : Cet article propose un cadre unifié pour résumer l'architecture proposée dans les études précédentes. La structure globale est illustrée dans la figure 2, qui comprend un module de profilage, un module de mémoire, un module de planification et un module d'action.
En résumé, le module d'analyse vise à identifier le rôle de l'agent ; le module de mémoire et de planification place l'agent dans un environnement dynamique, lui permettant de se souvenir de ses comportements passés et de planifier des actions futures ; les décisions sont traduites en résultats concrets. Parmi ces modules, le module d'analyse affecte les modules de mémoire et de planification, et ces trois modules ensemble affectent le module d'action.
Module d'analyse
Les agents autonomes effectuent des tâches via des rôles spécifiques, tels que programmeurs, enseignants et experts du domaine. Le module d'analyse vise à indiquer quel est le rôle de l'agent, et ces informations sont généralement écrites dans les invites de saisie pour influencer le comportement du LLM. Dans les travaux existants, il existe trois stratégies couramment utilisées pour générer des profils d'agent : les méthodes artisanales ; les méthodes de génération LLM ; les méthodes d'alignement d'ensembles de données.
Module de mémoire
Les modules de mémoire jouent un rôle très important dans la construction des agents IA. Il mémorise les informations perçues de l'environnement et utilise la mémoire enregistrée pour faciliter les actions futures de l'agent. Les modules de mémoire peuvent aider les agents à accumuler de l'expérience, à réaliser leur propre évolution et à accomplir des tâches de manière plus cohérente, raisonnable et efficace.
Module de planification
Lorsque les humains sont confrontés à une tâche complexe, ils la décomposent d’abord en sous-tâches simples, puis résolvent chaque sous-tâche une par une. Le module de planification confère à l'agent basé sur LLM les capacités de réflexion et de planification nécessaires pour résoudre des tâches complexes, rendant l'agent plus complet, plus puissant et plus fiable. Cet article présente deux modules de planification : la planification sans feedback et la planification avec feedback.
Module d'actions
Le module d'action vise à transformer la décision de l'agent en un résultat spécifique. Il interagit directement avec l'environnement et détermine l'efficacité de l'agent dans l'accomplissement des tâches. Cette section présente le point de vue de l'objectif d'action, de la politique, de l'espace d'action et de l'influence de l'action.
En plus des 4 parties ci-dessus, ce chapitre présente également les stratégies d'apprentissage de l'agent, notamment l'apprentissage à partir d'exemples, l'apprentissage à partir de commentaires environnementaux et l'apprentissage à partir de commentaires humains interactifs.
Le tableau 1 répertorie la correspondance entre les travaux antérieurs et notre taxonomie :
Application d'agent autonome basée sur LLM
Ce chapitre explore l'impact transformateur des agents autonomes basés sur le LLM dans trois domaines distincts : les sciences sociales, les sciences naturelles et l'ingénierie.
Par exemple, les agents basés sur LLM peuvent être utilisés pour concevoir et optimiser des structures complexes telles que des bâtiments, des ponts, des barrages, des routes, etc. Auparavant, certains chercheurs avaient proposé un cadre interactif dans lequel des architectes humains et des agents d'IA travaillent ensemble pour créer des environnements structurels dans des simulations 3D. Les agents interactifs peuvent comprendre des instructions en langage naturel, placer des modules, demander des conseils et intégrer des commentaires humains, démontrant ainsi le potentiel de la collaboration homme-machine dans la conception technique.
En informatique et en génie logiciel, par exemple, les agents basés sur LLM offrent la possibilité d'automatiser le codage, les tests, le débogage et la génération de documentation. Certains chercheurs ont proposé ChatDev, qui est un cadre de bout en bout dans lequel plusieurs agents communiquent et collaborent via un dialogue en langage naturel pour compléter le cycle de vie du développement logiciel ; ToolBench peut être utilisé pour des tâches telles que l'auto-complétion de code et la recommandation de code ; MetaGPT peut jouer le rôle de chef de produit, d'architecte, de chef de projet et d'ingénieur, superviser en interne la génération de code et améliorer la qualité du code de sortie final, etc.
Le tableau suivant présente les applications représentatives des agents autonomes basés sur LLM :
Évaluation basée sur LLM des agents autonomes
Cet article présente deux stratégies d'évaluation couramment utilisées : l'évaluation subjective et l'évaluation objective.
L'évaluation subjective fait référence à la capacité des êtres humains à tester des agents basés sur LLM par divers moyens tels que l'interaction et la notation. Dans ce cas, les personnes participant à l'évaluation sont souvent recrutées via des plateformes de crowdsourcing ; et certains chercheurs pensent que le personnel du crowdsourcing est instable en raison des différences de capacités individuelles, de sorte que les annotations d'experts sont également utilisées pour l'évaluation.
Par ailleurs, dans certaines études actuelles, nous pouvons utiliser les agents LLM comme évaluateurs subjectifs. Dans l'étude ChemCrow, par exemple, uatorGPT évalue les résultats expérimentaux en attribuant une note qui prend en compte à la fois la réussite de la tâche et l'exactitude du processus de réflexion sous-jacent. Un autre exemple est que Chat a formé une équipe d'arbitres multi-agents basée sur le LLM pour évaluer les résultats de génération du modèle par le biais d'un débat.
L'évaluation objective présente plusieurs avantages par rapport à l'évaluation subjective, qui fait référence à l'utilisation de mesures quantitatives pour évaluer les capacités des agents autonomes basés sur LLM. Cette section examine et synthétise les méthodes d'évaluation objectives du point de vue des mesures, des stratégies et des points de référence.
Nous pouvons combiner ces deux méthodes lors de l’évaluation de l’usage.
Le tableau 3 résume la correspondance entre les travaux antérieurs et ces stratégies d’évaluation :
Pour plus d’informations, veuillez vous référer au document original.
Voir l'original
Le contenu est fourni à titre de référence uniquement, il ne s'agit pas d'une sollicitation ou d'une offre. Aucun conseil en investissement, fiscalité ou juridique n'est fourni. Consultez l'Avertissement pour plus de détails sur les risques.
Inventaire des agents autonomes de l'IA, couverture complète de la construction, de l'application et de l'évaluation, aperçu de 32 pages par Wen Jirong de Gaoling de l'Assemblée populaire nationale
Éditeur : Du Wei, Chen Ping
À l’ère actuelle de l’IA, les agents autonomes sont considérés comme une voie prometteuse vers l’intelligence artificielle générale (AGI). L'agent dit autonome est capable d'accomplir des tâches grâce à une planification et des instructions autonomes. Dans les premiers paradigmes de développement, la fonction politique qui détermine les actions de l'agent est dominée par les heuristiques, qui s'affine progressivement au cours de l'interaction avec l'environnement.
Cependant, dans des environnements à domaine ouvert sans contraintes, il est souvent difficile pour les agents autonomes d’agir avec une compétence humaine.
Avec le grand succès des grands modèles de langage (LLM) ces dernières années, ils ont montré leur potentiel pour atteindre une intelligence semblable à celle de l’humain. Par conséquent, grâce à ses puissantes capacités, LLM est de plus en plus utilisé comme coordinateur principal pour la création d’agents autonomes, et divers agents d’IA ont émergé successivement. Ces agents offrent une voie viable vers des systèmes d’IA plus complexes et adaptables en imitant les processus décisionnels de type humain.
À ce stade, il est très important de mener une analyse holistique des agents autonomes émergents basés sur le LLM, et il est d’une grande importance de bien comprendre l’état de développement de ce domaine et d’inspirer les recherches futures.
Dans cet article, des chercheurs de la Hillhouse School of Artificial Intelligence de l’Université Renmin de Chine ont mené une enquête complète sur les agents autonomes basés sur LLM, en se concentrant sur trois aspects de leur construction, de leur application et de leur évaluation.
Pour la construction de l'agent, ils ont proposé un cadre unifié composé de quatre parties, qui sont le module de configuration pour représenter les attributs de l'agent, le module de mémoire pour stocker les informations historiques, le module de planification pour formuler les stratégies d'action futures et le module d'action. module pour exécuter les décisions de planification. Après avoir présenté les modules d'agent typiques, les chercheurs résument également les stratégies de réglage fin couramment utilisées pour améliorer l'adaptabilité des agents à différents scénarios d'application.
Les chercheurs décrivent ensuite les applications potentielles des agents autonomes, en explorant comment ils pourraient bénéficier aux domaines des sciences sociales, des sciences naturelles et de l’ingénierie. Enfin, les méthodes d'évaluation des agents autonomes sont discutées, y compris les stratégies d'évaluation subjectives et objectives. La figure ci-dessous montre la structure globale de l'article.
Construction d'agents autonomes basés sur LLM
Afin de rendre l'agent autonome basé sur LLM plus efficace, il y a deux aspects à considérer : premièrement, quel type d'architecture doit être conçu pour que l'agent puisse mieux utiliser le LLM ; deuxièmement, comment apprendre efficacement les paramètres.
Conception de l'architecture d'agent : Cet article propose un cadre unifié pour résumer l'architecture proposée dans les études précédentes. La structure globale est illustrée dans la figure 2, qui comprend un module de profilage, un module de mémoire, un module de planification et un module d'action.
Module d'analyse
Les agents autonomes effectuent des tâches via des rôles spécifiques, tels que programmeurs, enseignants et experts du domaine. Le module d'analyse vise à indiquer quel est le rôle de l'agent, et ces informations sont généralement écrites dans les invites de saisie pour influencer le comportement du LLM. Dans les travaux existants, il existe trois stratégies couramment utilisées pour générer des profils d'agent : les méthodes artisanales ; les méthodes de génération LLM ; les méthodes d'alignement d'ensembles de données.
Module de mémoire
Les modules de mémoire jouent un rôle très important dans la construction des agents IA. Il mémorise les informations perçues de l'environnement et utilise la mémoire enregistrée pour faciliter les actions futures de l'agent. Les modules de mémoire peuvent aider les agents à accumuler de l'expérience, à réaliser leur propre évolution et à accomplir des tâches de manière plus cohérente, raisonnable et efficace.
Module de planification
Lorsque les humains sont confrontés à une tâche complexe, ils la décomposent d’abord en sous-tâches simples, puis résolvent chaque sous-tâche une par une. Le module de planification confère à l'agent basé sur LLM les capacités de réflexion et de planification nécessaires pour résoudre des tâches complexes, rendant l'agent plus complet, plus puissant et plus fiable. Cet article présente deux modules de planification : la planification sans feedback et la planification avec feedback.
Module d'actions
Le module d'action vise à transformer la décision de l'agent en un résultat spécifique. Il interagit directement avec l'environnement et détermine l'efficacité de l'agent dans l'accomplissement des tâches. Cette section présente le point de vue de l'objectif d'action, de la politique, de l'espace d'action et de l'influence de l'action.
En plus des 4 parties ci-dessus, ce chapitre présente également les stratégies d'apprentissage de l'agent, notamment l'apprentissage à partir d'exemples, l'apprentissage à partir de commentaires environnementaux et l'apprentissage à partir de commentaires humains interactifs.
Le tableau 1 répertorie la correspondance entre les travaux antérieurs et notre taxonomie :
Ce chapitre explore l'impact transformateur des agents autonomes basés sur le LLM dans trois domaines distincts : les sciences sociales, les sciences naturelles et l'ingénierie.
En informatique et en génie logiciel, par exemple, les agents basés sur LLM offrent la possibilité d'automatiser le codage, les tests, le débogage et la génération de documentation. Certains chercheurs ont proposé ChatDev, qui est un cadre de bout en bout dans lequel plusieurs agents communiquent et collaborent via un dialogue en langage naturel pour compléter le cycle de vie du développement logiciel ; ToolBench peut être utilisé pour des tâches telles que l'auto-complétion de code et la recommandation de code ; MetaGPT peut jouer le rôle de chef de produit, d'architecte, de chef de projet et d'ingénieur, superviser en interne la génération de code et améliorer la qualité du code de sortie final, etc.
Le tableau suivant présente les applications représentatives des agents autonomes basés sur LLM :
Cet article présente deux stratégies d'évaluation couramment utilisées : l'évaluation subjective et l'évaluation objective.
L'évaluation subjective fait référence à la capacité des êtres humains à tester des agents basés sur LLM par divers moyens tels que l'interaction et la notation. Dans ce cas, les personnes participant à l'évaluation sont souvent recrutées via des plateformes de crowdsourcing ; et certains chercheurs pensent que le personnel du crowdsourcing est instable en raison des différences de capacités individuelles, de sorte que les annotations d'experts sont également utilisées pour l'évaluation.
Par ailleurs, dans certaines études actuelles, nous pouvons utiliser les agents LLM comme évaluateurs subjectifs. Dans l'étude ChemCrow, par exemple, uatorGPT évalue les résultats expérimentaux en attribuant une note qui prend en compte à la fois la réussite de la tâche et l'exactitude du processus de réflexion sous-jacent. Un autre exemple est que Chat a formé une équipe d'arbitres multi-agents basée sur le LLM pour évaluer les résultats de génération du modèle par le biais d'un débat.
L'évaluation objective présente plusieurs avantages par rapport à l'évaluation subjective, qui fait référence à l'utilisation de mesures quantitatives pour évaluer les capacités des agents autonomes basés sur LLM. Cette section examine et synthétise les méthodes d'évaluation objectives du point de vue des mesures, des stratégies et des points de référence.
Nous pouvons combiner ces deux méthodes lors de l’évaluation de l’usage.
Le tableau 3 résume la correspondance entre les travaux antérieurs et ces stratégies d’évaluation :