Variant інвестиційний партнер: виклики та прориви у сфері штучного інтелекту з відкритим вихідним кодом, чому технологія шифрування - останній шматок головоломки?
Автор: Даніель Барабандер Упорядник: Deep Tide TechFlow Коротке резюме В даний час у розробці базового ШІ домінують кілька технологічних компаній, які характеризуються закритістю та відсутністю конкуренції. Хоча розробка програмного забезпечення є потенційним рішенням, фундаментальний штучний інтелект не працює як традиційні проекти з відкритим вихідним кодом (наприклад, Linux), оскільки стикається з «проблемою ресурсів»: учасникам відкритого вихідного коду потрібно не тільки інвестувати час, але й нести витрати на обчислення та дані, що перевищують їхні особисті можливості. Очікується, що технологія шифрування вирішить цю ресурсну проблему, стимулюючи постачальників ресурсів брати участь у базовому проекті Відкритий вихідний код AI. Поєднання відкритого вихідного коду штучного інтелекту з технологією шифрування може підтримувати більш масштабну розробку моделей і стимулювати більше інновацій для створення більш просунутих систем штучного інтелекту. ВСТУП Згідно з опитуванням, проведеним Pew Research Center (Pew Research Center) у 2024 році, 64% американців вважають, що вплив соціальних мереж на націю приносить більше шкоди, ніж користі; 78% кажуть, що компанії соціальних мереж мають занадто багато влади та впливу в політиці; 83% вважають, що ці платформи, швидше за все, навмисно цензурують політичні погляди, з якими вони не згодні. Невдоволення соціальними мережами стало чи не одним з небагатьох консенсусів в американському суспільстві. Озираючись назад на еволюцію соціальних мереж за останні 20 років, ця ситуація здається передбачуваною. Історія не складна: кілька великих технологічних компаній привернули увагу користувачів і, що важливіше, дані користувачів. Незважаючи на початкові надії на відкриті дані, компанії швидко змінили свою стратегію, використовуючи дані для створення незламних мережевих ефектів і відключення зовнішнього доступу. Результатом є сьогоднішня ситуація: менше 10 великих технологічних компаній домінують в індустрії соціальних мереж, створюючи ландшафт «монополії Олігополія». Оскільки статус-кво надзвичайно сприятливий для них, у цих компаній мало стимулів до змін. Ця модель закрита і позбавлена конкуренції. Сьогодні траєкторія технології штучного інтелекту, здається, повторюється, але цього разу вплив ще більш далекосяжний. Кілька технологічних компаній створили фундаментальні моделі штучного інтелекту, взявши під контроль графічні процесори та ресурси даних, і вимкнули доступ до цих моделей. Для нових учасників, які не мають мільярдів доларів фінансування, майже неможливо розробити конкурентоспроможну модель. Оскільки обчислювальні витрати на навчання лише однієї базової моделі становлять мільярди доларів, компанії соціальних мереж, які отримали вигоду від останньої хвилі технологій, використовують свій контроль над власними даними користувачів для розробки моделей, з якими важко зрівнятися конкурентам. Ми повторюємо помилки соціальних мереж і рухаємося до закритого та неконкурентного світу штучного інтелекту. Якщо ця тенденція збережеться, кілька технологічних компаній матимуть необмежений контроль над доступом до інформації та можливостей. Відкритий вихідний код AI та "ресурсні питання" Якщо ми не хочемо бачити закритий світ ШІ, то які у нас варіанти? Очевидною відповіддю є розробка базової моделі як програмного проекту Відкритий вихідний код. Історично склалося так, що у нас було незліченну кількість Відкритих вихідних кодових проектів, які успішно створили базове програмне забезпечення, на яке ми покладаємося щодня. Наприклад, успіх Linux доводить, що навіть таке основне програмне забезпечення, як операційна система, може бути розроблено за допомогою Відкритий вихідний код. Так чому ж LLM (великі мовні моделі) не можуть? Однак базові моделі штучного інтелекту стикаються зі спеціальними обмеженнями, які відрізняють їх від традиційного програмного забезпечення, що також значно послаблює їх життєздатність як традиційного Відкритий вихідний код проекту. Зокрема, фундаментальні моделі штучного інтелекту вимагають величезних обчислювальних ресурсів і ресурсів даних, які виходять далеко за межі можливостей окремої людини. На відміну від традиційного проекту Відкритий вихідний код, який покладається виключно на людей, які жертвують свій час, Відкритий вихідний код AI також просить людей пожертвувати обчислювальні потужності та ресурси даних, що відомо як «проблема ресурсів». На прикладі моделі LLaMa від Meta ми можемо краще зрозуміти цю проблему ресурсів. На відміну від конкурентів на кшталт OpenAI та Google, Meta не приховує свої моделі за платними API, а натомість відкрито пропонує ваги LLaMa, які будь-хто може використовувати безкоштовно (з певними обмеженнями). Ці ваги містять те, що модель вивчає під час навчання Meta, і необхідні для запуску моделі. За допомогою цих ваг користувач може точно налаштувати модель або використовувати вихідні дані моделі як вхідні дані для нової моделі. Хоча випуск LLaMa від Meta заслуговує на визнання, він не вважається справжнім програмним проєктом Відкритий вихідний код. За лаштунками Meta контролює навчальний процес, покладаючись на власні обчислювальні ресурси, дані та рішення, а також в односторонньому порядку вирішуючи, коли зробити модель доступною для громадськості. Meta не запрошує незалежних дослідників чи розробників брати участь у співпраці спільноти, оскільки ресурси, необхідні для навчання чи перенавчання моделей, виходять далеко за межі можливостей звичайної людини. Ці ресурси включають десятки тисяч високопродуктивних графічних процесорів, центри обробки даних для зберігання цих графічних процесорів, складні охолоджувальні установки та трильйони токенів (одиниць текстових даних, необхідних для навчання моделі) для навчання. Як зазначається у звіті Стенфордського університету про індекс штучного інтелекту за 2024 рік, «значна вартість навчання фактично виключає університети, які традиційно були локомотивом досліджень штучного інтелекту, з розробки провідних фундаментальних моделей». Наприклад, Сем Альтман зазначив, що навчання GPT-4 коштує до 100 мільйонів доларів, і це навіть без урахування капітальних витрат на обладнання. Крім того, капітальні витрати Meta зросли на $2,1 млрд у 2 кварталі 2024 року порівняно з аналогічним періодом 2023 року, переважно на сервери, центри обробки даних та мережеву інфраструктуру, пов'язану з навчанням моделей штучного інтелекту. В результаті, хоча учасники спільноти LLaMa, можливо, мають технічну можливість покращити архітектуру моделі, їм не вистачає ресурсів для впровадження цих покращень. Таким чином, на відміну від традиційних програмних проектів з відкритим вихідним кодом, проекти штучного інтелекту з відкритим вихідним кодом не тільки вимагають від учасників інвестування часу, але й несуть високі витрати на обчислення та дані. Нереально покладатися виключно на добру волю та волонтерство, щоб мотивувати достатню кількість постачальників ресурсів. Вони потребують подальших стимулів. Візьмемо, наприклад, велику мовну модель BLOOM з 176 мільярдами параметрів, яка об'єднує зусилля 1000 дослідників-добровольців з більш ніж 250 установ у більш ніж 70 країнах. Незважаючи на те, що успіх Bloom був гідним захоплення (і я його повністю підтримую), йому знадобився рік, щоб координувати тренінг, і він покладався на фінансування в розмірі 3 мільйонів євро від французького науково-дослідного інституту (не рахуючи капітальних витрат Суперкомп'ютера, використаних для навчання моделі). Процес покладання на новий раунд фінансування для координації та ітерації BLOOM занадто громіздкий, щоб зрівнятися зі швидкістю розробки у великих технологічних лабораторіях. МИНУЛО БІЛЬШЕ ДВОХ РОКІВ З МОМЕНТУ ВИПУСКУ BLOOM, І КОМАНДА ЩЕ НЕ ЧУЛА ПРО ЖОДНУ НАСТУПНУ МОДЕЛЬ. Для того, щоб Відкритий вихідний код ШІ став можливим, нам потрібно знайти спосіб стимулювати постачальників ресурсів вносити свої обчислювальні потужності та ресурси даних, замість того, щоб учасники Відкритого вихідного коду самі несли ці витрати. Чому технологія шифрування може вирішити «проблему ресурсів» базового Відкритий вихідний код AI Основний прорив технології шифрування полягає в тому, щоб зробити можливим програмний проект з високими витратами на ресурси Відкритий вихідний код за допомогою механізму «власності». Він вирішує проблеми з ресурсами Відкритий вихідний код штучного інтелекту, стимулюючи потенційних постачальників ресурсів брати участь у мережі, замість того, щоб учасники Відкритого вихідного коду несли витрати на ці ресурси наперед. BTC є хорошим прикладом цього. Будучи найбільш раннім проектом шифрування, BTC є повністю відкритим вихідним кодовим програмним проектом, код якого був публічним з самого початку. Однак сам код не є ключем до BTC. Немає сенсу просто завантажувати та запускати програмне забезпечення BTCНода та створювати ланцюжок Блоків локально. Справжня цінність програмного забезпечення може бути реалізована тільки в тому випадку, якщо обсяг обчислень Майнінг Блок перевищує обчислювальну потужність будь-якого окремого учасника: ведення неконтрольованого реєстру Децентралізація. Подібно до базового Відкритий вихідний код AI, BTC також є Відкритим вихідним код-проектом, який вимагає ресурсів, що виходять за рамки можливостей окремої людини. Хоча ці два фактори вимагають обчислювальних ресурсів з різних причин — BTC потрібні обчислювальні ресурси, щоб гарантувати, що мережа не може бути підроблена, тоді як базовий штучний інтелект вимагає обчислювальних ресурсів для оптимізації та ітерації моделей — спільним для всіх них є те, що вони обидва покладаються на ресурси, які виходять за межі можливостей окремих людей. «Секрет» BTC, як і будь-якої іншої мережі шифрування, який стимулює учасників вносити ресурси в програмний проект Відкритий вихідний код, полягає в наданні права власності на мережу через Token. Як зазначено в основоположній філософії Джессі, написаній для Variant у 2020 році, право власності є сильним стимулом для постачальників ресурсів бути готовими вносити ресурси в обмін на потенційні прибутки в мережі. Цей механізм схожий на те, як стартапи вирішують проблему нестачі фінансування на ранніх стадіях за допомогою (Sweat Equity) «потового капіталу» – оплачуючи співробітникам на ранніх стадіях (наприклад, засновникам) переважно у формі власності компанії, стартапи можуть залучати робочу силу, яку інакше вони не змогли б собі дозволити. Технологія шифрування розширює концепцію «потового капіталу» від зосередження на тих, хто витрачає час, до постачальників ресурсів. Як наслідок, Variant зосереджується на інвестуванні в проєкти, які використовують механізми власності для створення мережевих ефектів, такі як Uniswap, Morpho та World. Якщо ми хочемо, щоб Відкритий вихідний код AI став реальністю, то механізм власності, реалізований за допомогою технології шифрування, є ключовим вирішенням ресурсної проблеми. Цей механізм дозволяє дослідникам вільно вносити свої ідеї дизайну моделі в проект Відкритий вихідний код, оскільки обчислювальні ресурси та ресурси даних, необхідні для реалізації цих ідей, будуть нести постачальник ресурсів, який повернеться, придбавши дробове володіння проекту, а не проситиме самого дослідника нести високі початкові витрати. У Відкритий вихідний код штучного інтелекту право власності може приймати різні форми, але однією з найбільш очікуваних є власність на саму модель, яка також є рішенням, запропонованим Pluralis. Підхід, запропонований Pluralis, відомий як протокольні моделі. У цьому режимі постачальник обчислювальних ресурсів може навчати певну Відкритий вихідний код моделі, вносячи обчислювальні потужності, і, таким чином, отримувати дробове володіння для майбутнього доходу від логічного висновку моделі. Оскільки це право власності прив'язане до конкретної моделі, а його цінність базується на доході від логічного висновку моделі, постачальники обчислювальних ресурсів зацікавлені у виборі оптимальної моделі для навчання без фальсифікації навчальних даних (оскільки надання марного навчання безпосередньо визначає очікувану вартість майбутнього доходу від логічного висновку). Однак ключове питання полягає в наступному: як Pluralis забезпечує безпеку володіння, якщо процес навчання вимагає, щоб ваги моделі були відправлені постачальнику обчислень? Відповідь криється у використанні методики «розпаралелювання моделі» (Model Parallelism) для розповсюдження моделі Шардинг серед різних працівників. Важливою особливістю нейронних мереж є те, що навіть якщо відома лише крихітна частка ваг моделі, обчислювач все одно може брати участь у навчанні, гарантуючи, що повний набір ваг не може бути вилучений. Крім того, оскільки на платформі Pluralis одночасно тренується багато різних моделей, тренер зіткнеться з великою кількістю різних наборів ваги, що надзвичайно ускладнює перебудову повної моделі. Основна ідея протокольних моделей полягає в тому, що ці моделі можуть бути навчені та використані, але вони не можуть бути повністю вилучені з протоколу (якщо тільки використовувана обчислювальна потужність не перевищує ресурси, необхідні для навчання моделі з нуля). Цей механізм вирішує проблему, яку часто піднімають критики Відкритий вихідний код AI про те, що закриті конкуренти штучного інтелекту можуть незаконно привласнити плоди проекту Відкритий вихідний код. Чому технологія шифрування + Відкритий вихідний код = кращий ШІ На початку статті я проілюстрував етичні та нормативні аспекти закритого ШІ, проаналізувавши контроль ШІ з боку Big Tech. Але в епоху безсилля я боюся, що такий аргумент може не знайти відгуку у більшості читачів. Тому я хотів би почати з практичного ефекту і навести дві причини, чому Відкритий вихідний код AI на основі технології шифрування дійсно може призвести до кращого ШІ. По-перше, поєднання технології шифрування та Відкритий вихідний код штучного інтелекту може координувати більше ресурсів для стимулювання розробки наступного покоління фундаментальних моделей, (Foundation Models). Дослідження показали, що як збільшення обчислювальної потужності, так і ресурсів даних може допомогти підвищити продуктивність моделі, тому розмір базової моделі розширюється. BTC показує нам потенціал програмного забезпечення Відкритий вихідний код у поєднанні з технологією шифрування з точки зору обчислювальної потужності. Вона стала найбільшою та найпотужнішою обчислювальною мережею у світі, набагато більшою, ніж хмарні обчислювальні ресурси, що належать Big Tech. Унікальність технології шифрування полягає в тому, що вона перетворює ізольовану конкуренцію на спільну конкуренцію. Заохочуючи постачальників ресурсів вкладати ресурси для вирішення спільних проблем, а не працювати окремо та дублювати зусилля, мережа шифрування дозволяє ефективно використовувати ресурси. За допомогою технології шифрування Відкритий вихідний код AI зможе використовувати світові обчислювальні ресурси та ресурси даних для побудови моделей, які виходять далеко за межі закритого ШІ. Наприклад, компанія Hyperbolic продемонструвала потенціал цієї моделі. Вони максимально ефективно використовують розподілені обчислювальні ресурси, дозволяючи будь-кому орендувати графічні процесори за нижчою ціною через відкритий ринок. По-друге, поєднання технології шифрування з Відкритий вихідний код штучного інтелекту сприятиме прискоренню інновацій. Це пов'язано з тим, що як тільки проблему ресурсів буде вирішено, дослідження машинного навчання можуть повернутися до своєї високоітеративної та інноваційної природи Відкритий вихідний код. До появи фундаментальних великих мовних моделей (LLM) дослідники в галузі машинного навчання часто публічно оприлюднювали свої моделі та відтворювані креслення дизайну. Ці моделі зазвичай використовують відкритий вихідний код набору даних, який має відносно низькі обчислювальні вимоги, що дозволяє дослідникам постійно оптимізувати та впроваджувати інновації на додаток до них. Саме цей нескінченний ітеративний процес призвів до багатьох проривів у галузі послідовного моделювання, таких як рекурентні нейронні мережі (RNN), мережі довготривалої короткочасної пам'яті (LSTM) та механізми уваги (Attention Mechanisms), це в кінцевому підсумку робить можливою архітектуру моделі Transformer. Однак цей відкритий підхід до досліджень змінився після запуску GPT-3. Завдяки успіху GPT-3 і ChatGPT OpenAI довела, що з достатньою кількістю обчислювальних ресурсів і даних можна навчати великі мовні моделі з можливостями розуміння мови. Ця тенденція призвела до різкого зміщення порогових значень ресурсів, що призвело до поступового виключення академічних кіл і того факту, що великі технологічні компанії більше не розкривають свої модельні архітектури, щоб зберегти конкурентну перевагу. Ця ситуація обмежує нашу здатність просувати передові технології штучного інтелекту. Відкритий вихідний код AI, реалізований за допомогою технології шифрування, може це змінити. Це дозволяє дослідникам знову повторювати передові моделі, щоб відкрити «наступний трансформер». Ця комбінація не тільки вирішує проблему ресурсів, але й активізує інновації в галузі машинного навчання, відкриваючи ширший шлях для майбутнього ШІ.
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Variant інвестиційний партнер: виклики та прориви у сфері штучного інтелекту з відкритим вихідним кодом, чому технологія шифрування - останній шматок головоломки?
Автор: Даніель Барабандер Упорядник: Deep Tide TechFlow Коротке резюме В даний час у розробці базового ШІ домінують кілька технологічних компаній, які характеризуються закритістю та відсутністю конкуренції. Хоча розробка програмного забезпечення є потенційним рішенням, фундаментальний штучний інтелект не працює як традиційні проекти з відкритим вихідним кодом (наприклад, Linux), оскільки стикається з «проблемою ресурсів»: учасникам відкритого вихідного коду потрібно не тільки інвестувати час, але й нести витрати на обчислення та дані, що перевищують їхні особисті можливості. Очікується, що технологія шифрування вирішить цю ресурсну проблему, стимулюючи постачальників ресурсів брати участь у базовому проекті Відкритий вихідний код AI. Поєднання відкритого вихідного коду штучного інтелекту з технологією шифрування може підтримувати більш масштабну розробку моделей і стимулювати більше інновацій для створення більш просунутих систем штучного інтелекту. ВСТУП Згідно з опитуванням, проведеним Pew Research Center (Pew Research Center) у 2024 році, 64% американців вважають, що вплив соціальних мереж на націю приносить більше шкоди, ніж користі; 78% кажуть, що компанії соціальних мереж мають занадто багато влади та впливу в політиці; 83% вважають, що ці платформи, швидше за все, навмисно цензурують політичні погляди, з якими вони не згодні. Невдоволення соціальними мережами стало чи не одним з небагатьох консенсусів в американському суспільстві. Озираючись назад на еволюцію соціальних мереж за останні 20 років, ця ситуація здається передбачуваною. Історія не складна: кілька великих технологічних компаній привернули увагу користувачів і, що важливіше, дані користувачів. Незважаючи на початкові надії на відкриті дані, компанії швидко змінили свою стратегію, використовуючи дані для створення незламних мережевих ефектів і відключення зовнішнього доступу. Результатом є сьогоднішня ситуація: менше 10 великих технологічних компаній домінують в індустрії соціальних мереж, створюючи ландшафт «монополії Олігополія». Оскільки статус-кво надзвичайно сприятливий для них, у цих компаній мало стимулів до змін. Ця модель закрита і позбавлена конкуренції. Сьогодні траєкторія технології штучного інтелекту, здається, повторюється, але цього разу вплив ще більш далекосяжний. Кілька технологічних компаній створили фундаментальні моделі штучного інтелекту, взявши під контроль графічні процесори та ресурси даних, і вимкнули доступ до цих моделей. Для нових учасників, які не мають мільярдів доларів фінансування, майже неможливо розробити конкурентоспроможну модель. Оскільки обчислювальні витрати на навчання лише однієї базової моделі становлять мільярди доларів, компанії соціальних мереж, які отримали вигоду від останньої хвилі технологій, використовують свій контроль над власними даними користувачів для розробки моделей, з якими важко зрівнятися конкурентам. Ми повторюємо помилки соціальних мереж і рухаємося до закритого та неконкурентного світу штучного інтелекту. Якщо ця тенденція збережеться, кілька технологічних компаній матимуть необмежений контроль над доступом до інформації та можливостей. Відкритий вихідний код AI та "ресурсні питання" Якщо ми не хочемо бачити закритий світ ШІ, то які у нас варіанти? Очевидною відповіддю є розробка базової моделі як програмного проекту Відкритий вихідний код. Історично склалося так, що у нас було незліченну кількість Відкритих вихідних кодових проектів, які успішно створили базове програмне забезпечення, на яке ми покладаємося щодня. Наприклад, успіх Linux доводить, що навіть таке основне програмне забезпечення, як операційна система, може бути розроблено за допомогою Відкритий вихідний код. Так чому ж LLM (великі мовні моделі) не можуть? Однак базові моделі штучного інтелекту стикаються зі спеціальними обмеженнями, які відрізняють їх від традиційного програмного забезпечення, що також значно послаблює їх життєздатність як традиційного Відкритий вихідний код проекту. Зокрема, фундаментальні моделі штучного інтелекту вимагають величезних обчислювальних ресурсів і ресурсів даних, які виходять далеко за межі можливостей окремої людини. На відміну від традиційного проекту Відкритий вихідний код, який покладається виключно на людей, які жертвують свій час, Відкритий вихідний код AI також просить людей пожертвувати обчислювальні потужності та ресурси даних, що відомо як «проблема ресурсів». На прикладі моделі LLaMa від Meta ми можемо краще зрозуміти цю проблему ресурсів. На відміну від конкурентів на кшталт OpenAI та Google, Meta не приховує свої моделі за платними API, а натомість відкрито пропонує ваги LLaMa, які будь-хто може використовувати безкоштовно (з певними обмеженнями). Ці ваги містять те, що модель вивчає під час навчання Meta, і необхідні для запуску моделі. За допомогою цих ваг користувач може точно налаштувати модель або використовувати вихідні дані моделі як вхідні дані для нової моделі. Хоча випуск LLaMa від Meta заслуговує на визнання, він не вважається справжнім програмним проєктом Відкритий вихідний код. За лаштунками Meta контролює навчальний процес, покладаючись на власні обчислювальні ресурси, дані та рішення, а також в односторонньому порядку вирішуючи, коли зробити модель доступною для громадськості. Meta не запрошує незалежних дослідників чи розробників брати участь у співпраці спільноти, оскільки ресурси, необхідні для навчання чи перенавчання моделей, виходять далеко за межі можливостей звичайної людини. Ці ресурси включають десятки тисяч високопродуктивних графічних процесорів, центри обробки даних для зберігання цих графічних процесорів, складні охолоджувальні установки та трильйони токенів (одиниць текстових даних, необхідних для навчання моделі) для навчання. Як зазначається у звіті Стенфордського університету про індекс штучного інтелекту за 2024 рік, «значна вартість навчання фактично виключає університети, які традиційно були локомотивом досліджень штучного інтелекту, з розробки провідних фундаментальних моделей». Наприклад, Сем Альтман зазначив, що навчання GPT-4 коштує до 100 мільйонів доларів, і це навіть без урахування капітальних витрат на обладнання. Крім того, капітальні витрати Meta зросли на $2,1 млрд у 2 кварталі 2024 року порівняно з аналогічним періодом 2023 року, переважно на сервери, центри обробки даних та мережеву інфраструктуру, пов'язану з навчанням моделей штучного інтелекту. В результаті, хоча учасники спільноти LLaMa, можливо, мають технічну можливість покращити архітектуру моделі, їм не вистачає ресурсів для впровадження цих покращень. Таким чином, на відміну від традиційних програмних проектів з відкритим вихідним кодом, проекти штучного інтелекту з відкритим вихідним кодом не тільки вимагають від учасників інвестування часу, але й несуть високі витрати на обчислення та дані. Нереально покладатися виключно на добру волю та волонтерство, щоб мотивувати достатню кількість постачальників ресурсів. Вони потребують подальших стимулів. Візьмемо, наприклад, велику мовну модель BLOOM з 176 мільярдами параметрів, яка об'єднує зусилля 1000 дослідників-добровольців з більш ніж 250 установ у більш ніж 70 країнах. Незважаючи на те, що успіх Bloom був гідним захоплення (і я його повністю підтримую), йому знадобився рік, щоб координувати тренінг, і він покладався на фінансування в розмірі 3 мільйонів євро від французького науково-дослідного інституту (не рахуючи капітальних витрат Суперкомп'ютера, використаних для навчання моделі). Процес покладання на новий раунд фінансування для координації та ітерації BLOOM занадто громіздкий, щоб зрівнятися зі швидкістю розробки у великих технологічних лабораторіях. МИНУЛО БІЛЬШЕ ДВОХ РОКІВ З МОМЕНТУ ВИПУСКУ BLOOM, І КОМАНДА ЩЕ НЕ ЧУЛА ПРО ЖОДНУ НАСТУПНУ МОДЕЛЬ. Для того, щоб Відкритий вихідний код ШІ став можливим, нам потрібно знайти спосіб стимулювати постачальників ресурсів вносити свої обчислювальні потужності та ресурси даних, замість того, щоб учасники Відкритого вихідного коду самі несли ці витрати. Чому технологія шифрування може вирішити «проблему ресурсів» базового Відкритий вихідний код AI Основний прорив технології шифрування полягає в тому, щоб зробити можливим програмний проект з високими витратами на ресурси Відкритий вихідний код за допомогою механізму «власності». Він вирішує проблеми з ресурсами Відкритий вихідний код штучного інтелекту, стимулюючи потенційних постачальників ресурсів брати участь у мережі, замість того, щоб учасники Відкритого вихідного коду несли витрати на ці ресурси наперед. BTC є хорошим прикладом цього. Будучи найбільш раннім проектом шифрування, BTC є повністю відкритим вихідним кодовим програмним проектом, код якого був публічним з самого початку. Однак сам код не є ключем до BTC. Немає сенсу просто завантажувати та запускати програмне забезпечення BTCНода та створювати ланцюжок Блоків локально. Справжня цінність програмного забезпечення може бути реалізована тільки в тому випадку, якщо обсяг обчислень Майнінг Блок перевищує обчислювальну потужність будь-якого окремого учасника: ведення неконтрольованого реєстру Децентралізація. Подібно до базового Відкритий вихідний код AI, BTC також є Відкритим вихідним код-проектом, який вимагає ресурсів, що виходять за рамки можливостей окремої людини. Хоча ці два фактори вимагають обчислювальних ресурсів з різних причин — BTC потрібні обчислювальні ресурси, щоб гарантувати, що мережа не може бути підроблена, тоді як базовий штучний інтелект вимагає обчислювальних ресурсів для оптимізації та ітерації моделей — спільним для всіх них є те, що вони обидва покладаються на ресурси, які виходять за межі можливостей окремих людей. «Секрет» BTC, як і будь-якої іншої мережі шифрування, який стимулює учасників вносити ресурси в програмний проект Відкритий вихідний код, полягає в наданні права власності на мережу через Token. Як зазначено в основоположній філософії Джессі, написаній для Variant у 2020 році, право власності є сильним стимулом для постачальників ресурсів бути готовими вносити ресурси в обмін на потенційні прибутки в мережі. Цей механізм схожий на те, як стартапи вирішують проблему нестачі фінансування на ранніх стадіях за допомогою (Sweat Equity) «потового капіталу» – оплачуючи співробітникам на ранніх стадіях (наприклад, засновникам) переважно у формі власності компанії, стартапи можуть залучати робочу силу, яку інакше вони не змогли б собі дозволити. Технологія шифрування розширює концепцію «потового капіталу» від зосередження на тих, хто витрачає час, до постачальників ресурсів. Як наслідок, Variant зосереджується на інвестуванні в проєкти, які використовують механізми власності для створення мережевих ефектів, такі як Uniswap, Morpho та World. Якщо ми хочемо, щоб Відкритий вихідний код AI став реальністю, то механізм власності, реалізований за допомогою технології шифрування, є ключовим вирішенням ресурсної проблеми. Цей механізм дозволяє дослідникам вільно вносити свої ідеї дизайну моделі в проект Відкритий вихідний код, оскільки обчислювальні ресурси та ресурси даних, необхідні для реалізації цих ідей, будуть нести постачальник ресурсів, який повернеться, придбавши дробове володіння проекту, а не проситиме самого дослідника нести високі початкові витрати. У Відкритий вихідний код штучного інтелекту право власності може приймати різні форми, але однією з найбільш очікуваних є власність на саму модель, яка також є рішенням, запропонованим Pluralis. Підхід, запропонований Pluralis, відомий як протокольні моделі. У цьому режимі постачальник обчислювальних ресурсів може навчати певну Відкритий вихідний код моделі, вносячи обчислювальні потужності, і, таким чином, отримувати дробове володіння для майбутнього доходу від логічного висновку моделі. Оскільки це право власності прив'язане до конкретної моделі, а його цінність базується на доході від логічного висновку моделі, постачальники обчислювальних ресурсів зацікавлені у виборі оптимальної моделі для навчання без фальсифікації навчальних даних (оскільки надання марного навчання безпосередньо визначає очікувану вартість майбутнього доходу від логічного висновку). Однак ключове питання полягає в наступному: як Pluralis забезпечує безпеку володіння, якщо процес навчання вимагає, щоб ваги моделі були відправлені постачальнику обчислень? Відповідь криється у використанні методики «розпаралелювання моделі» (Model Parallelism) для розповсюдження моделі Шардинг серед різних працівників. Важливою особливістю нейронних мереж є те, що навіть якщо відома лише крихітна частка ваг моделі, обчислювач все одно може брати участь у навчанні, гарантуючи, що повний набір ваг не може бути вилучений. Крім того, оскільки на платформі Pluralis одночасно тренується багато різних моделей, тренер зіткнеться з великою кількістю різних наборів ваги, що надзвичайно ускладнює перебудову повної моделі. Основна ідея протокольних моделей полягає в тому, що ці моделі можуть бути навчені та використані, але вони не можуть бути повністю вилучені з протоколу (якщо тільки використовувана обчислювальна потужність не перевищує ресурси, необхідні для навчання моделі з нуля). Цей механізм вирішує проблему, яку часто піднімають критики Відкритий вихідний код AI про те, що закриті конкуренти штучного інтелекту можуть незаконно привласнити плоди проекту Відкритий вихідний код. Чому технологія шифрування + Відкритий вихідний код = кращий ШІ На початку статті я проілюстрував етичні та нормативні аспекти закритого ШІ, проаналізувавши контроль ШІ з боку Big Tech. Але в епоху безсилля я боюся, що такий аргумент може не знайти відгуку у більшості читачів. Тому я хотів би почати з практичного ефекту і навести дві причини, чому Відкритий вихідний код AI на основі технології шифрування дійсно може призвести до кращого ШІ. По-перше, поєднання технології шифрування та Відкритий вихідний код штучного інтелекту може координувати більше ресурсів для стимулювання розробки наступного покоління фундаментальних моделей, (Foundation Models). Дослідження показали, що як збільшення обчислювальної потужності, так і ресурсів даних може допомогти підвищити продуктивність моделі, тому розмір базової моделі розширюється. BTC показує нам потенціал програмного забезпечення Відкритий вихідний код у поєднанні з технологією шифрування з точки зору обчислювальної потужності. Вона стала найбільшою та найпотужнішою обчислювальною мережею у світі, набагато більшою, ніж хмарні обчислювальні ресурси, що належать Big Tech. Унікальність технології шифрування полягає в тому, що вона перетворює ізольовану конкуренцію на спільну конкуренцію. Заохочуючи постачальників ресурсів вкладати ресурси для вирішення спільних проблем, а не працювати окремо та дублювати зусилля, мережа шифрування дозволяє ефективно використовувати ресурси. За допомогою технології шифрування Відкритий вихідний код AI зможе використовувати світові обчислювальні ресурси та ресурси даних для побудови моделей, які виходять далеко за межі закритого ШІ. Наприклад, компанія Hyperbolic продемонструвала потенціал цієї моделі. Вони максимально ефективно використовують розподілені обчислювальні ресурси, дозволяючи будь-кому орендувати графічні процесори за нижчою ціною через відкритий ринок. По-друге, поєднання технології шифрування з Відкритий вихідний код штучного інтелекту сприятиме прискоренню інновацій. Це пов'язано з тим, що як тільки проблему ресурсів буде вирішено, дослідження машинного навчання можуть повернутися до своєї високоітеративної та інноваційної природи Відкритий вихідний код. До появи фундаментальних великих мовних моделей (LLM) дослідники в галузі машинного навчання часто публічно оприлюднювали свої моделі та відтворювані креслення дизайну. Ці моделі зазвичай використовують відкритий вихідний код набору даних, який має відносно низькі обчислювальні вимоги, що дозволяє дослідникам постійно оптимізувати та впроваджувати інновації на додаток до них. Саме цей нескінченний ітеративний процес призвів до багатьох проривів у галузі послідовного моделювання, таких як рекурентні нейронні мережі (RNN), мережі довготривалої короткочасної пам'яті (LSTM) та механізми уваги (Attention Mechanisms), це в кінцевому підсумку робить можливою архітектуру моделі Transformer. Однак цей відкритий підхід до досліджень змінився після запуску GPT-3. Завдяки успіху GPT-3 і ChatGPT OpenAI довела, що з достатньою кількістю обчислювальних ресурсів і даних можна навчати великі мовні моделі з можливостями розуміння мови. Ця тенденція призвела до різкого зміщення порогових значень ресурсів, що призвело до поступового виключення академічних кіл і того факту, що великі технологічні компанії більше не розкривають свої модельні архітектури, щоб зберегти конкурентну перевагу. Ця ситуація обмежує нашу здатність просувати передові технології штучного інтелекту. Відкритий вихідний код AI, реалізований за допомогою технології шифрування, може це змінити. Це дозволяє дослідникам знову повторювати передові моделі, щоб відкрити «наступний трансформер». Ця комбінація не тільки вирішує проблему ресурсів, але й активізує інновації в галузі машинного навчання, відкриваючи ширший шлях для майбутнього ШІ.