Kiểm kê các tác nhân tự trị AI, bao quát đầy đủ về xây dựng, ứng dụng và đánh giá, tổng quan dài 32 trang của Wen Jirong từ Gaoling của Đại hội Đại biểu Nhân dân Toàn quốc

Biên tập viên: Du Wei, Chen Ping

Bài viết này giới thiệu toàn diện về việc xây dựng, ứng dụng tiềm năng và đánh giá các tác nhân dựa trên các mô hình ngôn ngữ lớn (LLM), có ý nghĩa to lớn đối với sự hiểu biết toàn diện về sự phát triển của lĩnh vực này và tạo cảm hứng cho nghiên cứu trong tương lai.

Nguồn hình ảnh: Được tạo bởi AI‌ không giới hạn

Trong kỷ nguyên AI ngày nay, các tác nhân tự trị được coi là con đường đầy hứa hẹn hướng tới trí tuệ nhân tạo tổng hợp (AGI). Cái gọi là tác nhân tự trị có khả năng hoàn thành nhiệm vụ thông qua việc lập kế hoạch và hướng dẫn tự chủ. Trong các mô hình phát triển ban đầu, chức năng chính sách xác định hành động của tác nhân bị chi phối bởi phương pháp phỏng đoán, chúng dần dần được tinh chỉnh trong tương tác môi trường.

Tuy nhiên, trong môi trường miền mở không bị giới hạn, các tác nhân tự trị thường khó có thể hành động với trình độ thành thạo ở cấp độ con người.

Với sự thành công vang dội của các mô hình ngôn ngữ lớn (LLM) trong những năm gần đây, nó đã cho thấy tiềm năng đạt được trí thông minh giống con người. Do đó, nhờ khả năng mạnh mẽ của mình, LLM ngày càng được sử dụng làm điều phối viên cốt lõi để tạo ra các tác nhân tự trị và nhiều tác nhân AI khác nhau đã liên tiếp xuất hiện. Các tác nhân này đưa ra một lộ trình khả thi cho các hệ thống AI phức tạp và có khả năng thích ứng cao hơn bằng cách bắt chước các quy trình ra quyết định giống con người.

*Danh sách các tác nhân tự trị dựa trên LLM, bao gồm tác nhân công cụ, tác nhân mô phỏng, tác nhân tổng hợp và tác nhân miền. *

Ở giai đoạn này, điều rất quan trọng là tiến hành phân tích tổng thể về các tác nhân tự trị dựa trên LLM mới nổi và việc hiểu đầy đủ về tình trạng phát triển của lĩnh vực này và truyền cảm hứng cho nghiên cứu trong tương lai có ý nghĩa rất lớn.

Trong bài báo này, các nhà nghiên cứu từ Trường Trí tuệ Nhân tạo Hillhouse tại Đại học Renmin Trung Quốc đã tiến hành khảo sát toàn diện về các tác nhân tự trị dựa trên LLM, tập trung vào ba khía cạnh trong quá trình xây dựng, ứng dụng và đánh giá của chúng.

Địa chỉ giấy:

Để xây dựng tác nhân, họ đã đề xuất một khung thống nhất bao gồm bốn phần, đó là mô-đun cấu hình để thể hiện các thuộc tính của tác nhân, mô-đun bộ nhớ để lưu trữ thông tin lịch sử, mô-đun lập kế hoạch để hình thành các chiến lược hành động trong tương lai và mô-đun hành động. module để thực hiện các quyết định lập kế hoạch. Sau khi giới thiệu các mô-đun tác nhân điển hình, các nhà nghiên cứu cũng tóm tắt các chiến lược tinh chỉnh thường được sử dụng để nâng cao khả năng thích ứng của tác nhân với các tình huống ứng dụng khác nhau.

Sau đó, các nhà nghiên cứu phác thảo các ứng dụng tiềm năng của tác nhân tự trị, khám phá cách chúng có thể mang lại lợi ích cho các lĩnh vực khoa học xã hội, khoa học tự nhiên và kỹ thuật. Cuối cùng, các phương pháp đánh giá tác nhân tự trị sẽ được thảo luận, bao gồm các chiến lược đánh giá chủ quan và khách quan. Hình dưới đây thể hiện cấu trúc tổng thể của bài viết.

Nguồn:

Xây dựng các tác nhân tự trị dựa trên LLM

Để làm cho tác nhân tự trị dựa trên LLM hiệu quả hơn, có hai khía cạnh cần xem xét: thứ nhất, loại kiến trúc nào nên được thiết kế để tác nhân có thể sử dụng LLM tốt hơn; thứ hai, làm thế nào để tìm hiểu các tham số một cách hiệu quả.

Thiết kế kiến trúc tác nhân: Bài viết này đề xuất một khung thống nhất để tóm tắt kiến trúc được đề xuất trong các nghiên cứu trước đó. Cấu trúc tổng thể được thể hiện trong Hình 2, bao gồm mô-đun hồ sơ, mô-đun bộ nhớ, mô-đun lập kế hoạch và mô-đun hành động.

Tóm lại, mô-đun phân tích nhằm xác định vai trò của tác nhân; mô-đun bộ nhớ và lập kế hoạch đặt tác nhân vào một môi trường năng động, cho phép tác nhân nhớ lại các hành vi trong quá khứ và lên kế hoạch cho các hành động trong tương lai; Các quyết định được chuyển thành đầu ra cụ thể. Trong số các mô-đun này, mô-đun phân tích ảnh hưởng đến mô-đun bộ nhớ và lập kế hoạch, và ba mô-đun này cùng ảnh hưởng đến mô-đun hành động.

Mô-đun phân tích

Các tác nhân tự trị thực hiện các nhiệm vụ thông qua các vai trò cụ thể, chẳng hạn như lập trình viên, giáo viên và chuyên gia miền. Mô-đun phân tích nhằm mục đích chỉ ra vai trò của tác nhân là gì và thông tin này thường được ghi vào lời nhắc đầu vào để tác động đến hành vi LLM. Trong các công việc hiện có, có ba chiến lược thường được sử dụng để tạo hồ sơ tác nhân: phương pháp thủ công; phương pháp tạo LLM; phương pháp căn chỉnh dữ liệu.

Mô-đun bộ nhớ

Các mô-đun bộ nhớ đóng vai trò rất quan trọng trong việc xây dựng các tác nhân AI. Nó ghi nhớ thông tin nhận được từ môi trường và sử dụng bộ nhớ đã ghi để hỗ trợ các hành động trong tương lai của tác nhân. Các mô-đun bộ nhớ có thể giúp các tác nhân tích lũy kinh nghiệm, nhận ra khả năng tự tiến hóa và hoàn thành nhiệm vụ một cách nhất quán, hợp lý và hiệu quả hơn.

Mô-đun lập kế hoạch

Khi con người phải đối mặt với một nhiệm vụ phức tạp, trước tiên họ chia nó thành các nhiệm vụ phụ đơn giản, sau đó giải quyết từng nhiệm vụ phụ một. Mô-đun lập kế hoạch cung cấp cho tác nhân dựa trên LLM khả năng tư duy và lập kế hoạch cần thiết để giải quyết các nhiệm vụ phức tạp, giúp tác nhân trở nên toàn diện, mạnh mẽ và đáng tin cậy hơn. Bài viết này trình bày hai mô-đun lập kế hoạch: lập kế hoạch không có phản hồi và lập kế hoạch có phản hồi.

Mô-đun hành động

Mô-đun hành động nhằm mục đích chuyển đổi quyết định của tác nhân thành kết quả đầu ra cụ thể. Nó tương tác trực tiếp với môi trường và quyết định tính hiệu quả của tác nhân trong việc hoàn thành nhiệm vụ. Phần này giới thiệu từ góc độ mục tiêu hành động, chính sách, không gian hành động và ảnh hưởng của hành động.

Ngoài 4 phần trên, chương này còn giới thiệu các chiến lược học tập của tác nhân, bao gồm học từ các ví dụ, học từ phản hồi của môi trường và học từ phản hồi tương tác của con người.

Bảng 1 liệt kê sự tương ứng giữa công việc trước đây và phân loại của chúng tôi:

Ứng dụng đại lý tự trị dựa trên LLM

Chương này khám phá tác động biến đổi của các tác nhân tự trị dựa trên LLM trong ba lĩnh vực riêng biệt: khoa học xã hội, khoa học tự nhiên và kỹ thuật.

Ví dụ, các tác nhân dựa trên LLM có thể được sử dụng để thiết kế và tối ưu hóa các cấu trúc phức tạp như tòa nhà, cầu, đập, đường, v.v. Trước đây, một số nhà nghiên cứu đã đề xuất một khung tương tác trong đó kiến trúc sư con người và tác nhân AI làm việc cùng nhau để xây dựng môi trường cấu trúc trong mô phỏng 3D. Tác nhân tương tác có thể hiểu hướng dẫn ngôn ngữ tự nhiên, đặt mô-đun, tìm kiếm lời khuyên và kết hợp phản hồi của con người, cho thấy tiềm năng cộng tác giữa con người và máy móc trong thiết kế kỹ thuật.

Ví dụ, trong khoa học máy tính và công nghệ phần mềm, các tác nhân dựa trên LLM mang lại tiềm năng tự động hóa mã hóa, kiểm tra, gỡ lỗi và tạo tài liệu. Một số nhà nghiên cứu đã đề xuất ChatDev, một khuôn khổ end-to-end trong đó nhiều tác nhân giao tiếp và cộng tác thông qua đối thoại ngôn ngữ tự nhiên để hoàn thành vòng đời phát triển phần mềm; ToolBench có thể được sử dụng cho các tác vụ như tự động hoàn thành mã và đề xuất mã; MetaGPT có thể đóng vai trò là người quản lý sản phẩm, kiến trúc sư, người quản lý dự án và kỹ sư, giám sát nội bộ việc tạo mã và cải thiện chất lượng của mã đầu ra cuối cùng, v.v.

Bảng sau đây hiển thị các ứng dụng tiêu biểu của các tác nhân tự trị dựa trên LLM:

Đánh giá các đại lý tự trị dựa trên LLM

Bài viết này giới thiệu hai chiến lược đánh giá thường được sử dụng: đánh giá chủ quan và đánh giá khách quan.

Đánh giá chủ quan đề cập đến khả năng con người kiểm tra các tác nhân dựa trên LLM thông qua nhiều phương tiện khác nhau như tương tác và cho điểm. Trong trường hợp này, những người tham gia đánh giá thường được tuyển dụng thông qua nền tảng Crowdsourcing; và một số nhà nghiên cứu cho rằng nhân sự Crowsourcing không ổn định do sự khác biệt về năng lực cá nhân nên chú thích của chuyên gia cũng được sử dụng để đánh giá.

Ngoài ra, trong một số nghiên cứu hiện nay, chúng ta có thể sử dụng tác nhân LLM làm người đánh giá chủ quan. Ví dụ: trong nghiên cứu của ChemCrow, uatorGPT đánh giá kết quả thử nghiệm bằng cách chỉ định xếp hạng xem xét cả việc hoàn thành thành công nhiệm vụ và tính chính xác của quá trình suy nghĩ cơ bản. Một ví dụ khác là Chat đã thành lập một nhóm trọng tài đa tác nhân dựa trên LLM để đánh giá kết quả tạo ra mô hình thông qua tranh luận.

Đánh giá khách quan có một số lợi thế so với đánh giá chủ quan, trong đó đề cập đến việc sử dụng các số liệu định lượng để đánh giá khả năng của các tác nhân tự trị dựa trên LLM. Phần này xem xét và tổng hợp các phương pháp đánh giá khách quan từ góc độ số liệu, chiến lược và điểm chuẩn.

Chúng ta có thể kết hợp hai phương pháp này trong quá trình đánh giá việc sử dụng.

Bảng 3 tóm tắt sự tương ứng giữa công việc trước đó và các chiến lược đánh giá này:

Để biết thêm thông tin, vui lòng tham khảo bài viết gốc.