Перелік автономних агентів штучного інтелекту, повний опис конструкції, застосування та оцінки, 32-сторінковий огляд Вен Цзіронга з Gaoling Всекитайських зборів народних представників

Редактор: Ду Вей, Чень Пін

Ця стаття містить вичерпний вступ до побудови, потенційного застосування та оцінки агентів на основі великої мовної моделі (LLM), що має велике значення для всебічного розуміння розвитку цієї галузі та для надихання на майбутні дослідження.

Джерело зображення: створено Unbounded AI‌

У сучасну епоху ШІ автономні агенти вважаються багатообіцяючим шляхом до штучного загального інтелекту (AGI). Так званий автономний агент здатний виконувати завдання за допомогою автономного планування та інструкцій. У парадигмах раннього розвитку у функції політики, яка визначає дії агента, домінує евристика, яка поступово вдосконалюється у взаємодії із середовищем.

Однак у необмежених середовищах відкритого домену автономним агентам часто важко діяти на рівні людини.

Завдяки великому успіху великих мовних моделей (LLM) за останні роки, він продемонстрував потенціал для досягнення людського інтелекту. Таким чином, завдяки своїм потужним можливостям, LLM все частіше використовується як основний координатор для створення автономних агентів, і різні агенти ШІ з’являлися послідовно. Ці агенти пропонують життєздатний шлях до більш складних і адаптованих систем штучного інтелекту, імітуючи людські процеси прийняття рішень.

*Список автономних агентів на основі LLM, включаючи агентів інструментів, імітованих агентів, загальних агентів і агентів домену. *

На цьому етапі дуже важливо провести цілісний аналіз нових автономних агентів на базі LLM, і дуже важливо повністю зрозуміти стан розвитку цієї галузі та надихнути на майбутні дослідження.

У цій статті дослідники зі Школи штучного інтелекту Хіллхаус при Університеті Реньмінь у Китаї провели всебічне дослідження автономних агентів на базі LLM, зосередившись на трьох аспектах їх конструкції, застосування та оцінки.

Адреса паперу:

Для побудови агента вони запропонували уніфіковану структуру, що складається з чотирьох частин, якими є модуль конфігурації для представлення атрибутів агента, модуль пам’яті для зберігання історичної інформації, модуль планування для формулювання майбутніх стратегій дій і модуль дії модуль для виконання планувальних рішень. Після представлення типових модулів агентів дослідники також узагальнюють стратегії тонкого налаштування, які зазвичай використовуються для підвищення адаптивності агентів до різних сценаріїв застосування.

Потім дослідники окреслюють потенційні застосування автономних агентів, досліджуючи, як вони можуть принести користь галузям соціальних наук, природничих наук та техніки. Нарешті, обговорюються методи оцінювання для автономних агентів, включаючи суб’єктивні та об’єктивні стратегії оцінювання. На малюнку нижче показана загальна структура статті.

Джерело:

Побудова автономних агентів на основі LLM

Щоб зробити автономний агент на базі LLM більш ефективним, необхідно розглянути два аспекти: по-перше, яку архітектуру слід розробити, щоб агент міг краще використовувати LLM; по-друге, як ефективно вивчати параметри.

Дизайн архітектури агента: у цьому документі пропонується уніфікована структура для узагальнення архітектури, запропонованої в попередніх дослідженнях. Загальна структура показана на малюнку 2, яка складається з модуля профілювання, модуля пам’яті, модуля планування та модуля дії.

Таким чином, модуль аналізу має на меті визначити роль агента; модуль пам’яті та планування поміщає агента в динамічне середовище, дозволяючи агенту згадувати минулу поведінку та планувати майбутні дії; рішення перетворюються на конкретні результати. Серед цих модулів модуль аналізу впливає на модулі пам’яті та планування, а ці три модулі разом впливають на модуль дій.

Модуль аналізу

Автономні агенти виконують завдання за допомогою певних ролей, таких як програмісти, викладачі та експерти в області. Модуль аналізу має на меті вказати роль агента, і ця інформація зазвичай записується у вхідні підказки, щоб вплинути на поведінку LLM. У існуючих роботах є три широко використовувані стратегії для створення профілів агентів: методи ручної роботи; методи генерації LLM; методи вирівнювання набору даних.

Модуль пам'яті

Модулі пам'яті відіграють дуже важливу роль у створенні агентів ШІ. Він запам'ятовує інформацію, отриману з навколишнього середовища, і використовує записану пам'ять для полегшення майбутніх дій агента. Модулі пам’яті можуть допомогти агентам накопичувати досвід, усвідомлювати саморозвиток і виконувати завдання більш послідовним, розумним і ефективним способом.

Модуль планування

Коли люди стикаються зі складним завданням, вони спочатку розбивають його на прості підзадачі, а потім вирішують кожну підзадачу одну за одною. Модуль планування наділяє агента на базі LLM можливостями мислення та планування, необхідними для вирішення складних завдань, роблячи агента більш комплексним, потужним і надійним. У цій статті представлено два модулі планування: планування без зворотного зв’язку та планування зі зворотним зв’язком.

Модуль дії

Модуль дій спрямований на перетворення рішення агента в конкретний результат. Він безпосередньо взаємодіє з середовищем і визначає ефективність агента у виконанні завдань. Цей розділ представляє з точки зору мети дії, політики, простору дії та впливу на дії.

На додаток до вищезазначених 4 частин, у цьому розділі також представлені стратегії навчання агента, включаючи навчання на прикладах, навчання на основі зворотного зв’язку середовища та навчання на основі інтерактивного зворотного зв’язку людини.

У таблиці 1 наведено відповідність між попередньою роботою та нашою таксономією:

Програма автономного агента на базі LLM

У цьому розділі досліджується трансформаційний вплив автономних агентів на базі LLM у трьох різних галузях: соціальних науках, природничих науках та інженерії.

Наприклад, агенти на основі LLM можна використовувати для проектування та оптимізації складних структур, таких як будівлі, мости, дамби, дороги тощо. Раніше деякі дослідники запропонували інтерактивну структуру, в якій люди-архітектори та агенти штучного інтелекту працюють разом, щоб створити структурне середовище в 3D-симуляції. Інтерактивні агенти можуть розуміти інструкції на природній мові, розміщувати модулі, звертатися за порадою та використовувати зворотний зв’язок людини, показуючи потенціал співпраці людини і машини в інженерному проектуванні.

У інформатиці та розробці програмного забезпечення, наприклад, агенти на основі LLM пропонують потенціал для автоматизації кодування, тестування, налагодження та створення документації. Деякі дослідники запропонували ChatDev, який є наскрізною структурою, в якій кілька агентів спілкуються та співпрацюють через діалог природною мовою для завершення життєвого циклу розробки програмного забезпечення; ToolBench можна використовувати для таких завдань, як автозавершення коду та рекомендації коду; MetaGPT може грати роль менеджера продукту, архітектора, керівника проекту та інженера, внутрішньо контролювати генерацію коду та покращувати якість кінцевого вихідного коду тощо.

У наведеній нижче таблиці показано типові програми автономних агентів на базі LLM:

Оцінка автономних агентів на основі LLM

У цій статті представлено дві поширені стратегії оцінювання: суб’єктивне оцінювання та об’єктивне оцінювання.

Суб’єктивна оцінка стосується здатності людей тестувати агентів на основі LLM за допомогою різних засобів, таких як взаємодія та підрахунок балів. У цьому випадку люди, які беруть участь в оцінюванні, часто набираються через краудсорсингові платформи, а деякі дослідники вважають, що краудсорсинговий персонал нестабільний через відмінності індивідуальних здібностей, тому для оцінювання також використовуються експертні анотації.

Крім того, у деяких поточних дослідженнях ми можемо використовувати агентів LLM як суб’єктивних оцінювачів. У дослідженні ChemCrow, наприклад, uatorGPT оцінює експериментальні результати, присвоюючи рейтинг, який враховує як успішне виконання завдання, так і точність основного процесу мислення. Іншим прикладом є те, що Chat сформував багатоагентну суддівську команду на базі LLM для оцінки результатів генерації моделі шляхом дебатів.

Об’єктивне оцінювання має декілька переваг перед суб’єктивним оцінюванням, яке стосується використання кількісних показників для оцінки можливостей автономних агентів на базі LLM. У цьому розділі розглядаються та синтезуються об’єктивні методи оцінки з точки зору метрик, стратегій і контрольних показників.

Ми можемо комбінувати ці два методи під час оцінки використання.

Таблиця 3 узагальнює відповідність між попередньою роботою та цими стратегіями оцінювання:

Для отримання додаткової інформації зверніться до оригінальної статті.