Inventario de agentes autónomos de IA, cobertura completa de construcción, aplicación y evaluación, descripción general de 32 páginas por Wen Jirong de Gaoling del Congreso Nacional del Pueblo
Este artículo proporciona una introducción integral a la construcción, aplicación potencial y evaluación de agentes basados en modelos de lenguaje grande (LLM), lo cual es de gran importancia para una comprensión integral del desarrollo de este campo y para inspirar investigaciones futuras.
Fuente de la imagen: Generada por Unbounded AI
En la era actual de la IA, los agentes autónomos se consideran un camino prometedor hacia la inteligencia artificial general (AGI). El llamado agente autónomo es capaz de completar tareas mediante planificación e instrucciones autónomas. En los primeros paradigmas de desarrollo, la función política que determina las acciones del agente está dominada por heurísticas, que se refinan gradualmente en la interacción con el entorno.
Sin embargo, en entornos de dominio abierto sin restricciones, a menudo resulta difícil para los agentes autónomos actuar con competencia a nivel humano.
Con el gran éxito de los grandes modelos de lenguaje (LLM) en los últimos años, ha demostrado el potencial de lograr una inteligencia similar a la humana. Por lo tanto, gracias a sus poderosas capacidades, LLM se utiliza cada vez más como coordinador central para la creación de agentes autónomos, y han surgido sucesivamente varios agentes de IA. Estos agentes ofrecen un camino viable hacia sistemas de IA más complejos y adaptables al imitar procesos de toma de decisiones similares a los humanos.
*Una lista de agentes autónomos basados en LLM, incluidos agentes de herramientas, agentes simulados, agentes generales y agentes de dominio. *
En esta etapa, es muy importante realizar un análisis holístico de los agentes autónomos emergentes basados en LLM, y es de gran importancia para comprender completamente el estado de desarrollo de este campo e inspirar futuras investigaciones.
En este artículo, investigadores de la Escuela Hillhouse de Inteligencia Artificial de la Universidad Renmin de China realizaron una encuesta exhaustiva de agentes autónomos basados en LLM, centrándose en tres aspectos de su construcción, aplicación y evaluación.
Dirección del papel:
Para la construcción del agente propusieron un marco unificado que consta de cuatro partes, las cuales son el módulo de configuración para representar los atributos del agente, el módulo de memoria para almacenar información histórica, el módulo de planificación para formular estrategias de acción futuras y el módulo de acción. Módulo para ejecutar decisiones de planificación. Después de presentar los módulos de agentes típicos, los investigadores también resumen las estrategias de ajuste comúnmente utilizadas para mejorar la adaptabilidad de los agentes a diferentes escenarios de aplicaciones.
Luego, los investigadores describen las posibles aplicaciones de los agentes autónomos y exploran cómo podrían beneficiar los campos de las ciencias sociales, las ciencias naturales y la ingeniería. Finalmente, se discuten los métodos de evaluación para agentes autónomos, incluidas las estrategias de evaluación subjetiva y objetiva. La siguiente figura muestra la estructura general del artículo.
Fuente:
Construcción de agentes autónomos basados en LLM
Para hacer que el agente autónomo basado en LLM sea más eficiente, hay dos aspectos a considerar: primero, qué tipo de arquitectura debe diseñarse para que el agente pueda hacer un mejor uso de LLM; segundo, cómo aprender parámetros de manera efectiva.
Diseño de arquitectura de agente: este artículo propone un marco unificado para resumir la arquitectura propuesta en estudios anteriores. La estructura general se muestra en la Figura 2, que consta de módulo de perfilado, módulo de memoria, módulo de planificación y módulo de acción.
En resumen, el módulo de análisis tiene como objetivo identificar qué papel desempeña el agente; el módulo de memoria y planificación coloca al agente en un entorno dinámico, permitiéndole recordar comportamientos pasados y planificar acciones futuras; las decisiones se traducen en resultados concretos. Entre estos módulos, el módulo de análisis afecta a los módulos de memoria y planificación, y estos tres módulos juntos afectan al módulo de acción.
Módulo de Análisis
Los agentes autónomos realizan tareas a través de roles específicos, como programadores, profesores y expertos en el dominio. El módulo de análisis tiene como objetivo indicar cuál es el rol del agente, y esta información generalmente se escribe en las indicaciones de entrada para influir en el comportamiento del LLM. En los trabajos existentes, existen tres estrategias comúnmente utilizadas para generar perfiles de agentes: métodos artesanales; métodos de generación de LLM; métodos de alineación de conjuntos de datos.
Módulo de memoria
Los módulos de memoria juegan un papel muy importante en la construcción de agentes de IA. Memoriza información percibida del entorno y utiliza la memoria registrada para facilitar acciones futuras del agente. Los módulos de memoria pueden ayudar a los agentes a acumular experiencia, realizar la autoevolución y completar tareas de una manera más consistente, razonable y efectiva.
Módulo de Planificación
Cuando los humanos se enfrentan a una tarea compleja, primero la dividen en subtareas simples y luego resuelven cada subtarea una por una. El módulo de planificación dota al agente basado en LLM de las capacidades de pensamiento y planificación necesarias para resolver tareas complejas, lo que hace que el agente sea más completo, potente y confiable. Este artículo presenta dos módulos de planificación: planificación sin retroalimentación y planificación con retroalimentación.
Módulo de acción
El módulo de acción tiene como objetivo transformar la decisión del agente en un resultado específico. Interactúa directamente con el medio ambiente y determina la eficacia del agente para completar las tareas. Esta sección presenta desde la perspectiva del objetivo de acción, la política, el espacio de acción y la influencia de la acción.
Además de las 4 partes anteriores, este capítulo también presenta las estrategias de aprendizaje del agente, incluido el aprendizaje de ejemplos, el aprendizaje de la retroalimentación ambiental y el aprendizaje de la retroalimentación humana interactiva.
La Tabla 1 enumera la correspondencia entre trabajos anteriores y nuestra taxonomía:
Aplicación de agente autónomo basada en LLM
Este capítulo explora el impacto transformador de los agentes autónomos basados en LLM en tres campos distintos: ciencias sociales, ciencias naturales e ingeniería.
Por ejemplo, los agentes basados en LLM se pueden utilizar para diseñar y optimizar estructuras complejas como edificios, puentes, presas, carreteras, etc. Anteriormente, algunos investigadores propusieron un marco interactivo en el que arquitectos humanos y agentes de IA trabajan juntos para construir entornos estructurales en simulaciones 3D. Los agentes interactivos pueden comprender instrucciones en lenguaje natural, colocar módulos, buscar asesoramiento e incorporar comentarios humanos, lo que muestra el potencial de la colaboración entre humanos y máquinas en el diseño de ingeniería.
En informática e ingeniería de software, por ejemplo, los agentes basados en LLM ofrecen el potencial de automatizar la codificación, las pruebas, la depuración y la generación de documentación. Algunos investigadores han propuesto ChatDev, que es un marco de trabajo de un extremo a otro en el que múltiples agentes se comunican y colaboran a través de diálogos en lenguaje natural para completar el ciclo de vida del desarrollo de software; ToolBench se puede utilizar para tareas como autocompletado de código y recomendación de código; MetaGPT puede desempeñar el papel de gerente de producto, arquitecto, gerente de proyecto e ingeniero, supervisar internamente la generación de código y mejorar la calidad del código de salida final, etc.
La siguiente tabla muestra aplicaciones representativas de agentes autónomos basados en LLM:
Evaluación de agentes autónomos basada en LLM
Este artículo presenta dos estrategias de evaluación comúnmente utilizadas: evaluación subjetiva y evaluación objetiva.
La evaluación subjetiva se refiere a la capacidad de los seres humanos para probar agentes basados en LLM a través de diversos medios, como la interacción y la puntuación. En este caso, las personas que participan en la evaluación suelen ser reclutadas a través de plataformas de crowdsourcing; y algunos investigadores creen que el personal de crowdsourcing es inestable debido a diferencias de capacidades individuales, por lo que también se utilizan anotaciones de expertos para la evaluación.
Además, en algunos estudios actuales, podemos utilizar agentes LLM como evaluadores subjetivos. En el estudio ChemCrow, por ejemplo, uatorGPT evalúa los resultados experimentales asignando una calificación que considera tanto la finalización exitosa de la tarea como la precisión del proceso de pensamiento subyacente. Otro ejemplo es que Chat formó un equipo de árbitros de múltiples agentes basado en LLM para evaluar los resultados de generación del modelo a través del debate.
La evaluación objetiva tiene varias ventajas sobre la evaluación subjetiva, que se refiere al uso de métricas cuantitativas para evaluar las capacidades de los agentes autónomos basados en LLM. Esta sección revisa y sintetiza métodos de evaluación objetiva desde la perspectiva de métricas, estrategias y puntos de referencia.
Podemos combinar estos dos métodos durante la evaluación de uso.
La Tabla 3 resume la correspondencia entre el trabajo previo y estas estrategias de evaluación:
Para obtener más información, consulte el artículo original.
Ver originales
El contenido es solo de referencia, no una solicitud u oferta. No se proporciona asesoramiento fiscal, legal ni de inversión. Consulte el Descargo de responsabilidad para obtener más información sobre los riesgos.
Inventario de agentes autónomos de IA, cobertura completa de construcción, aplicación y evaluación, descripción general de 32 páginas por Wen Jirong de Gaoling del Congreso Nacional del Pueblo
Editor: Du Wei, Chen Ping
En la era actual de la IA, los agentes autónomos se consideran un camino prometedor hacia la inteligencia artificial general (AGI). El llamado agente autónomo es capaz de completar tareas mediante planificación e instrucciones autónomas. En los primeros paradigmas de desarrollo, la función política que determina las acciones del agente está dominada por heurísticas, que se refinan gradualmente en la interacción con el entorno.
Sin embargo, en entornos de dominio abierto sin restricciones, a menudo resulta difícil para los agentes autónomos actuar con competencia a nivel humano.
Con el gran éxito de los grandes modelos de lenguaje (LLM) en los últimos años, ha demostrado el potencial de lograr una inteligencia similar a la humana. Por lo tanto, gracias a sus poderosas capacidades, LLM se utiliza cada vez más como coordinador central para la creación de agentes autónomos, y han surgido sucesivamente varios agentes de IA. Estos agentes ofrecen un camino viable hacia sistemas de IA más complejos y adaptables al imitar procesos de toma de decisiones similares a los humanos.
En esta etapa, es muy importante realizar un análisis holístico de los agentes autónomos emergentes basados en LLM, y es de gran importancia para comprender completamente el estado de desarrollo de este campo e inspirar futuras investigaciones.
En este artículo, investigadores de la Escuela Hillhouse de Inteligencia Artificial de la Universidad Renmin de China realizaron una encuesta exhaustiva de agentes autónomos basados en LLM, centrándose en tres aspectos de su construcción, aplicación y evaluación.
Para la construcción del agente propusieron un marco unificado que consta de cuatro partes, las cuales son el módulo de configuración para representar los atributos del agente, el módulo de memoria para almacenar información histórica, el módulo de planificación para formular estrategias de acción futuras y el módulo de acción. Módulo para ejecutar decisiones de planificación. Después de presentar los módulos de agentes típicos, los investigadores también resumen las estrategias de ajuste comúnmente utilizadas para mejorar la adaptabilidad de los agentes a diferentes escenarios de aplicaciones.
Luego, los investigadores describen las posibles aplicaciones de los agentes autónomos y exploran cómo podrían beneficiar los campos de las ciencias sociales, las ciencias naturales y la ingeniería. Finalmente, se discuten los métodos de evaluación para agentes autónomos, incluidas las estrategias de evaluación subjetiva y objetiva. La siguiente figura muestra la estructura general del artículo.
Construcción de agentes autónomos basados en LLM
Para hacer que el agente autónomo basado en LLM sea más eficiente, hay dos aspectos a considerar: primero, qué tipo de arquitectura debe diseñarse para que el agente pueda hacer un mejor uso de LLM; segundo, cómo aprender parámetros de manera efectiva.
Diseño de arquitectura de agente: este artículo propone un marco unificado para resumir la arquitectura propuesta en estudios anteriores. La estructura general se muestra en la Figura 2, que consta de módulo de perfilado, módulo de memoria, módulo de planificación y módulo de acción.
Módulo de Análisis
Los agentes autónomos realizan tareas a través de roles específicos, como programadores, profesores y expertos en el dominio. El módulo de análisis tiene como objetivo indicar cuál es el rol del agente, y esta información generalmente se escribe en las indicaciones de entrada para influir en el comportamiento del LLM. En los trabajos existentes, existen tres estrategias comúnmente utilizadas para generar perfiles de agentes: métodos artesanales; métodos de generación de LLM; métodos de alineación de conjuntos de datos.
Módulo de memoria
Los módulos de memoria juegan un papel muy importante en la construcción de agentes de IA. Memoriza información percibida del entorno y utiliza la memoria registrada para facilitar acciones futuras del agente. Los módulos de memoria pueden ayudar a los agentes a acumular experiencia, realizar la autoevolución y completar tareas de una manera más consistente, razonable y efectiva.
Módulo de Planificación
Cuando los humanos se enfrentan a una tarea compleja, primero la dividen en subtareas simples y luego resuelven cada subtarea una por una. El módulo de planificación dota al agente basado en LLM de las capacidades de pensamiento y planificación necesarias para resolver tareas complejas, lo que hace que el agente sea más completo, potente y confiable. Este artículo presenta dos módulos de planificación: planificación sin retroalimentación y planificación con retroalimentación.
Módulo de acción
El módulo de acción tiene como objetivo transformar la decisión del agente en un resultado específico. Interactúa directamente con el medio ambiente y determina la eficacia del agente para completar las tareas. Esta sección presenta desde la perspectiva del objetivo de acción, la política, el espacio de acción y la influencia de la acción.
Además de las 4 partes anteriores, este capítulo también presenta las estrategias de aprendizaje del agente, incluido el aprendizaje de ejemplos, el aprendizaje de la retroalimentación ambiental y el aprendizaje de la retroalimentación humana interactiva.
La Tabla 1 enumera la correspondencia entre trabajos anteriores y nuestra taxonomía:
Este capítulo explora el impacto transformador de los agentes autónomos basados en LLM en tres campos distintos: ciencias sociales, ciencias naturales e ingeniería.
En informática e ingeniería de software, por ejemplo, los agentes basados en LLM ofrecen el potencial de automatizar la codificación, las pruebas, la depuración y la generación de documentación. Algunos investigadores han propuesto ChatDev, que es un marco de trabajo de un extremo a otro en el que múltiples agentes se comunican y colaboran a través de diálogos en lenguaje natural para completar el ciclo de vida del desarrollo de software; ToolBench se puede utilizar para tareas como autocompletado de código y recomendación de código; MetaGPT puede desempeñar el papel de gerente de producto, arquitecto, gerente de proyecto e ingeniero, supervisar internamente la generación de código y mejorar la calidad del código de salida final, etc.
La siguiente tabla muestra aplicaciones representativas de agentes autónomos basados en LLM:
Este artículo presenta dos estrategias de evaluación comúnmente utilizadas: evaluación subjetiva y evaluación objetiva.
La evaluación subjetiva se refiere a la capacidad de los seres humanos para probar agentes basados en LLM a través de diversos medios, como la interacción y la puntuación. En este caso, las personas que participan en la evaluación suelen ser reclutadas a través de plataformas de crowdsourcing; y algunos investigadores creen que el personal de crowdsourcing es inestable debido a diferencias de capacidades individuales, por lo que también se utilizan anotaciones de expertos para la evaluación.
Además, en algunos estudios actuales, podemos utilizar agentes LLM como evaluadores subjetivos. En el estudio ChemCrow, por ejemplo, uatorGPT evalúa los resultados experimentales asignando una calificación que considera tanto la finalización exitosa de la tarea como la precisión del proceso de pensamiento subyacente. Otro ejemplo es que Chat formó un equipo de árbitros de múltiples agentes basado en LLM para evaluar los resultados de generación del modelo a través del debate.
La evaluación objetiva tiene varias ventajas sobre la evaluación subjetiva, que se refiere al uso de métricas cuantitativas para evaluar las capacidades de los agentes autónomos basados en LLM. Esta sección revisa y sintetiza métodos de evaluación objetiva desde la perspectiva de métricas, estrategias y puntos de referencia.
Podemos combinar estos dos métodos durante la evaluación de uso.
La Tabla 3 resume la correspondencia entre el trabajo previo y estas estrategias de evaluación: