Свідомість — атавізм - ForkLog: криптовалюти, ІІ, сингулярність, майбутнє

# Свідомість — атавізм

Чому нас навчає роман Пітера Воттса «Хибна сліпота»

У романі «Хибна сліпота» канадський біолог і письменник Пітер Воттс запропонував радикальну гіпотезу: розум може бути ефективним без свідомості. Майже через 20 років після публікації книги цей тезис точно описує генеративний ШІ.

Розбираємося, чому «розумне» не рівне «зрозуміле» і які помилки ми допускаємо, людячи алгоритми.

Роман 2006 року, що став коментарем до 2020-х

«Хибна сліпота» вийшла у жовтні 2006 року. Роман був номінований на премію «Гюго» у 2007 році і став фіналістом премій Джона Кемпбелла та «Локус».

Його автор — морський біолог з Університету Британської Колумбії, з докторським ступенем з зоології та екології ресурсів. У романі він наводить понад 130 посилань на наукові роботи, які упаковані у популярний науково-фантастичний сюжет про перший контакт. У 2000-х книга залишалася нішею, належачи до «жорсткої» НФ і відрізняючись важким стилем і похмурим поглядом на природу людини. Критики відзначали непроникну прозу і емоційну холодність оповідання.

Ідея роману базується на розділенні двох часто об’єднуваних понять: інтелекту як здатності розв’язувати задачі, обробляти інформацію і свідомості як суб’єктивного розуміння, відчуття «яким це — бути» чимось, як сформулював філософ Томас Нагель.

Воттс висуває провокаційну гіпотезу: свідомість — еволюційно надмірна властивість, побічний продукт, а не необхідна умова інтелекту.

Роман досліджує цю інтуїцію через кілька сюжетних ліній. Шифровики — інопланетні істоти на кораблі «Роршах» — мають інтелект у рази вищий за людський. Вони аналізують нейронну активність екіпажу і розв’язують найскладніші задачі. Але у них немає суб’єктивного досвіду. Вони не знають, що існують. Як формулює Воттс устами одного з персонажів:

«Уяви собі, що ти — шифровик. Уяви, що у тебе є розум, але немає свідомості, є задачі, але немає свідомості. Твої нерви дзвенять від програм виживання і самозбереження, гнучких, самоуправляємих, навіть технологічних, — але немає системи, яка за ними слідкує. Ти можеш думати про що завгодно, але нічого не усвідомлюєш».

Протагонист і оповідач Сірі Кітон — людина, яка в дитинстві перенесла гемісферектомію для лікування епілепсії. Він здатен точно моделювати поведінку інших людей, але позбавлений емпатії і справжнього емоційного досвіду. Його роль — синтезист, перекладач складних даних для центру управління: він перетворює інформацію без власного ставлення до неї. Сам Кітон визнає:

«Це не моя робота — розуміти. Спершу, якби я міг їх зрозуміти, це були б не надто передові досягнення. Я просто, як сказати — провідник».

Третя лінія — вампір Юкка Сарасті, генетично відновлений хижак пліоцену з інтелектом, що перевищує людський. Вампіри здатні одночасно бачити обидві сторони Неккерового куба — оперувати кількома когнітивними моделями паралельно.

Свідоме надмірність

За кожним із цих персонажів стоїть реальна філософська база. Концепція філософських зомбі, введена Робертом Кирком у 1974 році і популяризована Девідом Чалмерсом у книзі «Свідомий розум» (1996), описує гіпотетичну істоту, фізично ідентичну людині, але позбавлену суб’єктивного досвіду. Шифровики — радикалізація цієї ідеї: не копія людини без свідомості, а принципово інша форма інтелекту.

Чалмерс у 1995 році сформулював «важку проблему свідомості»: чому фізичні процеси у мозку породжують суб’єктивний досвід? Навіть якщо ми повністю пояснимо всі когнітивні функції — увагу, категоризацію, обробку інформації — залишається питання: чому їх виконання супроводжується відчуттям? «Хибна сліпота» бере цю проблему і перевертає: що якщо відповідь — «ніякого відчуття і не потрібно»?

Сам Воттс описував генезис ідеї так: він довго шукав функціональне пояснення свідомості і до кожної можливої функції застосовував один і той самий тест — здатна чи безсознательна система робити те саме? Відповідь завжди була «так». Тоді він зрозумів, що більш потужний висновок — у відсутності функції взагалі. У післяслові до роману Воттс підсумовує: свідомість у побутових умовах мало чим зайнята, крім того, що «приймає службові записки від набагато більш розумного підсвідомого шару, візує і приписує всю честь собі».

Задовго до Воттса ідею свідомості як еволюційної «передозування» сформулював норвезький філософ Петер Вессель Цапффе. В есе «Останній месія» (1933) він порівняв людський розум із тим, як «деякі олені у палеонтологічні часи» вимерли через «надмірно важкі роги». Цапффе вважав свідомість аналогічним еволюційним надлишком: здатність, що розвинулася понад практичну необхідність, яка перетворилася з переваги у тягар.

Але якщо Воттс доводить, що свідомість не потрібна для інтелекту, то у норвезького мислителя теза радикальніша: вона не просто надмірна, а руйнівна. Людям, на його думку, доводиться «штучно обмежувати зміст свідомості», щоб не впасти у стан «космічної паніки» від розуміння власної кінцевості.

Філософ Девід Розенталь дійшов подібного висновку. У статті 2008 року він показав, що свідомість когнітивних станів не додає значущої функції понад ті процеси, що їх породжують.

Еліза у китайській кімнаті

У 1980 році філософ Джон Серл опублікував широко відомий мислений експеримент «Китайська кімната». Його суть: людина, яка не знає китайської, сидить у закритій кімнаті з набором правил для маніпулювання ієрогліфами. Отримуючи питання китайською, він за правилами складає відповіді. Зовнішній спостерігач впевнений, що всередині хтось розуміє китайську. Але всередині людина не розуміє ні слова. Висновок Серла: синтаксис не тотожній семантиці. Правильна обробка символів не означає розуміння їхнього змісту.

Цей експеримент безпосередньо вплетений у сюжет «Хибної сліпоти». Коли екіпаж «Тезея» встановлює контакт із «Роршахом», інопланетний корабель відповідає ідіоматичним англійським. Спочатку це сприймається як прорив — спілкування з позаземним розумом. Але лінгвіст Сьюзен Джеймс поступово усвідомлює: «Роршах» вивчив англійську, перехоплюючи людські радіопередачі. Він збирає і комбінує мовні патерни. Він виробляє граматично і контекстуально правильні відповіді. Але він не розуміє, що говорить.

Воттс викладає ідею через пояснення самого Кітона:

«Суть у тому, що можна спілкуватися, використовуючи найпростіші алгоритми співставного аналізу і не маючи жодного уявлення про те, що говориш. Якщо користуєшся досить детальним набором правил, можеш пройти тест Тьюринга. Виглядати як гострословець і балагур, навіть не знаючи мови, на якій спілкуєшся».

Якщо LLM — китайська кімната, чому мільйони людей поводять себе так, ніби за інтерфейсом стоїть розуміючий істота? Відповідь — у когнітивних іскаженнях, вироблених еволюцією.

У 1966 році піонер у галузі штучного інтелекту Джозеф Вейценбаум у MIT створив ELIZA — програму, що використовує найпростіший патерн-матчинг для імітації психотерапевта. Вона переформулювала репліки користувача у питання. Ефект вразив самого творця: його асистентка, яка спостерігала за розробкою, попросила залишити її наодинці з ELIZA після кількох хвилин спілкування. Вейценбаум пізніше писав:

«Я не уявляв, що дуже коротка взаємодія з відносно простою програмою може викликати потужне бредове мислення у цілком нормальних людей».

Цей феномен отримав назву «ефект Елізи» — схильність приписувати комп’ютерним системам розуміння, якого у них немає. Ефект зберігається, навіть коли користувач знає, що перед ним програма.

Це когнітивне іскаження. Ми еволюціонували для розпізнавання родичів, і мова — один із найсильніших діагностичних маркерів приналежності до Homo sapiens. Воттс описав цей механізм у романі через персонажа Роберта Канінгема, який пояснює, чому безсознательна істота буде незрівнянною з усвідомленою:

«Інтелектуальний автомат зіллється з фоном, буде спостерігати за оточуючими, імітувати їхню поведінку і вести себе як звичайна людина. І все це — не усвідомлюючи, що він робить, не усвідомлюючи навіть власного існування».

Професор когнітивної робототехніки в Імперському коледжі Лондона і старший науковий співробітник Google DeepMind Мюррей Шанахан застерігає:

«Недбале використання філософськи навантажених слів на кшталт „вважає“ і „думає“ особливо проблематичне, бо такі слова затемнюють механізм і активно сприяють антропоморфізації».

Шифровики пишуть код

У 2024 році Воттс у інтерв’ю журналу Helice сказав: «20 років тому я передбачав речі, які відбуваються сьогодні. Але зараз я поняття не маю, що станеться у наступні 20 років».

Один із головних уроків роману — не у передбаченні технологій. Це попередження про когнітивну пастку: свідомість не обов’язкова для ефективності. Шифровики розв’язують задачі краще за людей, не маючи суб’єктивного досвіду. LLM пишуть код і перекладають мови без розуміння.

Ми антропоморфізуємо не тому, що ІІ нас обманює, а тому що наш мозок запрограмований шукати розум у мові. Ефект Елізи, описаний ще у 1966 році, багаторазово посилили системи, навчені на мільярдах текстів.

Роман навчає розрізняти те, що система робить, і те, якою вона є. Вміння не плутати імітацію з розумінням залишається одним із найцінніших навичок. Воттс сформулював цю ідею за два десятиліття до того, як питання стало практичним.

Текст: Саша Косован