Команда дослідників із Zhejiang University пропонує новий підхід: навчити штучний інтелект способу розуміння світу людським мозком

null

Великі моделі постійно зростають у розмірах, а провідна думка полягає в тому, що чим більше параметрів має модель, тим ближчою вона стає до способу людського мислення. Проте команда з Чжецзянського університету 1 квітня опублікувала в Nature Communications статтю, яка пропонує іншу точку зору (посилання на оригінал: після збільшення з 22,6 млн до 304,37 млн конкретна концептуальна задача зросла з 74,94% до 85,87%, а абстрактна концептуальна задача знизилася з 54,37% до 52,82%).

Відмінності в тому, як людина й модель мислять концепціями

Під час обробки концептів мозок людини спершу формує певну систему класифікаційних зв’язків. Лебідь і сова виглядають по-різному, тож людина все одно відносить їх до категорії «птахи». Далі, якщо піднятися вище, птахи й коні можна продовжувати відносити до ще ширшого рівня — «тварини». Коли людина бачить щось нове, вона часто спочатку думає: на що це схоже з того, що вона вже бачила раніше, і приблизно до якої категорії це належить. Людина постійно вчиться новим концептам і організовує свій досвід, щоб розпізнавати нові об’єкти, адаптуватися до нових ситуацій, використовуючи ці зв’язки.

Моделі також класифікують, але спосіб формування інший. Вони здебільшого покладаються на форми, які багаторазово повторюються у великих масивах даних. Чим частіше з’являється конкретний об’єкт, тим легше моделі його розпізнати. Коли доходить до ще більших категорій, моделі стає складніше. Їй потрібно вловити спільні риси між кількома об’єктами та віднести ці спільні риси до однієї категорії. У цьому в існуючих моделей є помітні недоліки. Після подальшого збільшення параметрів конкретні концептуальні задачі підвищуються, а абстрактні концептуальні задачі інколи навіть знижуються.

Спільне в тому, що й мозок людини, і модель внутрішньо формують систему класифікаційних зв’язків. Але акценти різні: у мозку людини області високого рівня зорової кори природно розділяють такі великі групи, як «живі істоти» та «неживі об’єкти». Модель може відокремлювати конкретні об’єкти, але їй важко стабільно формувати такі ширші класифікації. Ця різниця призводить до того, що мозок людині легше переносити старий досвід на нові об’єкти, тож коли ми стикаємося з речами, яких не бачили раніше, ми можемо швидко їх класифікувати. Натомість модель більше залежить від наявних знань, тому під час зустрічі з новими об’єктами їй легше застрягти на поверхневих ознаках. Запропонований у статті підхід саме навколо цього й будується: використовувати сигнали мозку, щоб обмежувати внутрішню структуру моделі, роблячи її ближчою до класифікаційного способу мозку людини.

Рішення команди з Чжецзянського університету

Рішення, яке запропонувала команда, також дуже унікальне: вони не просто збільшують параметри далі, а використовують невелику кількість сигналів мозку як нагляд. Ці сигнали мозку отримані з записів активності мозку, коли людина дивиться на зображення. У статті в оригіналі написано: transfer human conceptual structures to DNNs. Сенс у тому, щоб якомога краще «передати» моделі, як люди мозок класифікує, як узагальнює, і як групує близькі концепти.

Команда проводить експерименти, використовуючи 150 відомих тренувальних категорій і 50 невідомих тестових категорій. Результати показали, що в процесі цього навчання відстань між моделлю та репрезентаціями мозку постійно зменшувалася. Ця зміна проявилася в обох категоріях одночасно, що вказує на те, що модель вчиться не лише на окремих прикладах, а насправді починає опановувати спосіб організації концептів, ближчий до людського.

Після цього навчання модель має кращу здатність до навчання, коли навчальних зразків дуже мало, і також краще поводиться в нових умовах. У задачі, де моделі дають лише дуже небагато прикладів, але потрібно розрізняти абстрактні концепти на кшталт «живі істоти» та «неживі об’єкти», модель у середньому підвищила показник на 20,5% і навіть перевершила контрольні моделі з набагато більшим числом параметрів. Команда також провела ще 31 групу спеціальних тестів, і кілька моделей показали близько десятипроцентного приросту.

У минулі роки звичним шляхом для індустрії моделей було нарощування масштабу моделей. Команда з Чжецзянського університету обрала інший напрям: від «bigger is better» до «structured is smarter». Розширення масштабу справді корисне, але воно насамперед підвищує результати на знайомих задачах. Абстрактне розуміння та здатність до переносу знань, властиві людині, так само критично важливі для ШІ — і це потрібно, щоб у майбутньому структура мислення ШІ була ближчою до людського мозку. Цінність цього напряму в тому, що він повертає увагу індустрії від однієї лише експансії масштабу до власне когнітивної структури.

Neosoul та майбутнє

Це відкриває ще більшу можливість: еволюція AI може відбуватися не лише на етапі тренування моделей. Тренування може визначати, як AI організовує концепти та як формує структури вищої якості для суджень. А після переходу в реальний світ починається ще один етап еволюції: як саме судження AI agent фіксуються, як вони перевіряються, як він безперервно зростає й еволюціонує в реальній взаємній конкуренції — наче людина, яка вчиться самостійно й еволюціонує. Саме цим зараз займається Neosoul. Neosoul — це не лише те, щоб AI agent видавав відповіді, а щоб помістити AI agent у систему, де він постійно робить прогнози, постійно перевіряє їх, постійно підводить підсумки, постійно відбирає, і щоб він безупинно оптимізував себе між прогнозами та результатами: кращі структури зберігалися, а гірші структури відсівалися. Те, на що спільно вказують команда з Чжецзянського університету та Neosoul, — це, по суті, одна й та сама мета: щоб AI більше не просто вмів розв’язувати задачі, а мав здатність до всебічного мислення та постійної еволюції.