12 червня 2023 року Gensyn, ринковий протокол обчислювальної потужності AGI на основі блокчейну, оголосив про завершення раунду фінансування серії A вартістю 43 мільйони доларів під керівництвом a16z за участі Eden Block, CoinFund, Galaxy і Protocol Labs.
Що за проект Gensyn? Чому ви можете отримати великі інвестиції від найкращих венчурних капіталів? Golden Finance допоможе вам розібратися в цьому в одній статті.
a16z: Навіщо лідирувати у фінансуванні серії A Gensyn у розмірі 43 мільйони доларів
a16z опублікував статтю, в якій пояснював, чому саме він очолював раунд фінансування серії A Gensyn на 43 мільйони доларів. a16z сказав, що нещодавні досягнення в області штучного інтелекту є неймовірними і можуть врятувати світ (див. попередній звіт Jinse Finance «Довга стаття засновника a16z: Чому ШІ врятує світ»). Але створення систем штучного інтелекту вимагає розгортання набагато більшої обчислювальної потужності для навчання та міркування про найбільші та найпотужніші моделі, доступні сьогодні. Це означає, що великі технологічні компанії мають перевагу над стартапами в змаганнях за одержання цінності зі штучного інтелекту завдяки привілейованому доступу до обчислювальної потужності та ефекту масштабу великих центрів обробки даних. Щоб конкурувати на рівних умовах, стартапи повинні мати можливість доступно використовувати свою власну величезну обчислювальну потужність.
Блокчейни, як новий тип комп’ютера, унікальні тим, що розробники можуть писати код, який дає тверді обіцянки щодо того, як код поводитиметься в майбутньому. Цей компонент блокчейну без дозволу може створити ринок для покупців і продавців обчислювальної потужності — або будь-якого іншого типу цифрових ресурсів, таких як дані чи алгоритми — для торгівлі по всьому світу без посередників.
**Gensyn, заснований на блокчейні обчислювальний протокол AGI, об’єднує розробників (усіх, хто може тренувати моделі машинного навчання) з розв’язувачами (Solver, будь-хто, хто хоче використовувати власні машини для навчання моделей машинного навчання). Gensyn може збільшити доступну обчислювальну потужність для машинного навчання в 10-100 разів, використовуючи довгий хвіст обчислювальних пристроїв, здатних до машинного навчання, які не використовуються в усьому світі, таких як невеликі центри обробки даних, ігрові ПК, комп’ютери Mac M1 і M2 і навіть смартфони. **
Проблеми, з якими стикається AGI (загальний штучний інтелект): висока централізація
Після майже півроку розробки ринок загалом визнає, що за AGI майбутнє. Але індустрія AGI зараз виглядає дуже монополізованою**, між країнами йде торгівля та війна талантів між Китаєм і Сполученими Штатами, а між компаніями грають великі технологічні компанії (Microsoft, Google, Meta). **Оскільки три ключові ресурси AGI (обчислювальна потужність, знання та дані) зараз високо централізовані. **
**Обчислювальна потужність: ** Все більші та складніші моделі потребують потужних обчислювальних процесорів для навчання. Між країнами: війна чіпів між Китаєм і США Сполучені Штати активно перешкоджають Китаю отримати потужні чіпи. Між компаніями: недостатня виробнича потужність, останні чіпи Nvidia зі штучним інтелектом купують деякі великі клієнти, а інші компанії взагалі не можуть їх купувати. Що стосується технологій: деякі компанії навіть створюють власне спеціальне обладнання для глибокого навчання, наприклад кластери TPU від Google. Вони перевершують стандартні графічні процесори для глибокого навчання та не продаються, а лише в оренду.
Знання: багато публічних проривів є результатом нових великомасштабних архітектур моделей, розроблених дослідниками, але існує боротьба за інтелектуальну власність і таланти, що лежать в основі. Наприклад, Сполучені Штати залучили понад 50% талантів Китаю в галузі штучного інтелекту, і великі компанії, які використовують ці таланти для розробки великомасштабних моделей, дедалі більше зменшують доступність цієї технології; GPT-3.5 або 4 OpenAI номінально є загальнодоступними, але він стоїть за API, і лише Microsoft має доступ до його вихідного коду.
Дані. Моделі глибокого навчання AGI вимагають великих обсягів даних — як позначених, так і не позначених — і зазвичай покращуються за допомогою більшої кількості даних. GPT-3 був навчений на 300 мільярдах слів. Позначені дані особливо важливі, а набори даних, необхідні для навчання AGI, зосереджені в руках деяких великих компаній. Наприклад, трохи хороших знань: кожного разу, коли ви відвідуєте веб-сайт, де перевіряється reCaptcha, ви позначаєте навчальні дані для покращення Карт Google.
Труднощі в децентралізованому обчисленні AGI
Децентралізовані обчислення можуть створити дешевшу та вільнішу основу для дослідження та розробки штучного інтелекту. Але існує проблема перевірки роботи в децентралізованому AGI. Як дізнатися, що третя сторона виконала обчислення, які ви запитували?
Головоломка з підтвердженням роботи має два чинники: залежність від стану та високу обчислювальну вартість.
Залежність стану: кожен рівень нейронної мережі підключений до всіх вузлів попереднього рівня. Це означає, що йому потрібен стан попереднього шару. Що ще гірше, усі ваги кожного шару визначаються попереднім часовим кроком. Отже, якщо ви хочете переконатися, що хтось навчив модель, скажімо, вибравши випадкову точку в мережі та подивившись, чи ви отримуєте той самий стан, вам потрібно продовжувати навчання моделі до цього моменту, що дорого обчислюється.
Високі обчислювальні витрати: Вартість одного навчального сеансу GPT-3 у 2020 році становить близько 12 мільйонів доларів США, що більш ніж у 270 разів перевищує орієнтовну вартість навчання GPT-2 у 2019 році в 43 000 доларів США. Загалом складність моделі (розмір) найкращих нейронних мереж нині подвоюється кожні три місяці. Витрати на валідацію, можливо, через залежності стану, прийнятні, якщо нейронна мережа дешевша та/або якщо навчання меншою мірою представляє процес розробки моделі.
Якщо ви хочете зробити навчання глибокого навчання дешевим і децентралізувати контроль, вам потрібна система, яка надійно керує валідацією, пов’язаною зі станом, і водночас є дешевою з точки зору накладних витрат і винагороджує тих, хто вносить обчислення.
Як Gensyn децентралізує AGI Computing
Протокол Gensyn об’єднує всі обчислення в світі в глобальний суперкластер машинного навчання, який доступний кожному. Це дозволяє бездоганно навчати нейронні мережі у дуже великих масштабах і за низькими витратами, поєднуючи дві речі:
1. Інноваційна система перевірки
Система перевірки, яка ефективно вирішує проблему залежності стану при навчанні нейронної мережі довільного масштабу. Система поєднує в собі контрольні точки навчання моделі з імовірнісними перевірками, які закінчуються в ланцюжку. Все це робиться бездоганним способом із накладними витратами, які лінійно масштабуються з розміром моделі (зберігаючи витрати на валідацію постійними).
Відповідно до Gensyn Litepaper, Gensyn в основному вирішує проблему перевірки за допомогою трьох концепцій: ймовірнісне підтвердження навчання (використання метаданих у процесі оптимізації на основі градієнта для створення сертифіката виконаної роботи та швидкої перевірки шляхом повторення певних етапів) , Протокол точкового визначення на основі графів (використовує багатогранний протокол визначення на основі графів і виконання консенсусу між оцінювачами, щоб дозволити повторне виконання перевірки та порівняння на узгодженість, а також остаточне підтвердження самим ланцюжком), заохочення у стилі Truebit ігри (використання ставки та слешингу для створення стимулюючої гри, яка гарантує, що кожен фінансово раціональний гравець діє чесно та виконує свої намічені завдання)
**Система в основному складається з чотирьох основних учасників: субмітентів, розв’язувачів, верифікаторів і інформаторів. **Подавач: кінцевий користувач системи, який надає завдання для розрахунку та оплачує виконану одиницю роботи; розв’язувач: основна робоча частина системи, виконує навчання моделі та генерує докази для перевірки верифікатором; верифікатор : недетермінований Процес навчання пов’язаний із детермінованим лінійним обчисленням, копіюванням частини доказу розв’язувача та порівнянням відстані з очікуваним порогом; інформатор: остання лінія захисту, перевірка роботи верифікатора та виклик для джекпот.
2. Нове постачання
Скористайтеся перевагами недостатньо використаних і недостатньо використаних/недооптимізованих ресурсів обчислювальних пристроїв. Ці пристрої варіюються від ігрових графічних процесорів, які зараз не використовуються, до майнерів графічних процесорів з епохи PoW до Ethereum. А децентралізація протоколу означає, що він, зрештою, керуватиметься більшістю спільноти і не може бути «закритий» без згоди спільноти; на відміну від аналога web2, це робить його стійким до цензури.
Масштаб + низька вартість: протокол Gensyn пропонує таку ж вартість, як і графічні процесори центрів обробки даних, які можуть масштабуватися за межі AWS
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
a16z інвестує 43 мільйони доларів у Gensyn, ринок обчислювальної потужності AGI, щоб зрозуміти Gensyn
12 червня 2023 року Gensyn, ринковий протокол обчислювальної потужності AGI на основі блокчейну, оголосив про завершення раунду фінансування серії A вартістю 43 мільйони доларів під керівництвом a16z за участі Eden Block, CoinFund, Galaxy і Protocol Labs.
Що за проект Gensyn? Чому ви можете отримати великі інвестиції від найкращих венчурних капіталів? Golden Finance допоможе вам розібратися в цьому в одній статті.
a16z: Навіщо лідирувати у фінансуванні серії A Gensyn у розмірі 43 мільйони доларів
a16z опублікував статтю, в якій пояснював, чому саме він очолював раунд фінансування серії A Gensyn на 43 мільйони доларів. a16z сказав, що нещодавні досягнення в області штучного інтелекту є неймовірними і можуть врятувати світ (див. попередній звіт Jinse Finance «Довга стаття засновника a16z: Чому ШІ врятує світ»). Але створення систем штучного інтелекту вимагає розгортання набагато більшої обчислювальної потужності для навчання та міркування про найбільші та найпотужніші моделі, доступні сьогодні. Це означає, що великі технологічні компанії мають перевагу над стартапами в змаганнях за одержання цінності зі штучного інтелекту завдяки привілейованому доступу до обчислювальної потужності та ефекту масштабу великих центрів обробки даних. Щоб конкурувати на рівних умовах, стартапи повинні мати можливість доступно використовувати свою власну величезну обчислювальну потужність.
Блокчейни, як новий тип комп’ютера, унікальні тим, що розробники можуть писати код, який дає тверді обіцянки щодо того, як код поводитиметься в майбутньому. Цей компонент блокчейну без дозволу може створити ринок для покупців і продавців обчислювальної потужності — або будь-якого іншого типу цифрових ресурсів, таких як дані чи алгоритми — для торгівлі по всьому світу без посередників.
**Gensyn, заснований на блокчейні обчислювальний протокол AGI, об’єднує розробників (усіх, хто може тренувати моделі машинного навчання) з розв’язувачами (Solver, будь-хто, хто хоче використовувати власні машини для навчання моделей машинного навчання). Gensyn може збільшити доступну обчислювальну потужність для машинного навчання в 10-100 разів, використовуючи довгий хвіст обчислювальних пристроїв, здатних до машинного навчання, які не використовуються в усьому світі, таких як невеликі центри обробки даних, ігрові ПК, комп’ютери Mac M1 і M2 і навіть смартфони. **
Проблеми, з якими стикається AGI (загальний штучний інтелект): висока централізація
Після майже півроку розробки ринок загалом визнає, що за AGI майбутнє. Але індустрія AGI зараз виглядає дуже монополізованою**, між країнами йде торгівля та війна талантів між Китаєм і Сполученими Штатами, а між компаніями грають великі технологічні компанії (Microsoft, Google, Meta). **Оскільки три ключові ресурси AGI (обчислювальна потужність, знання та дані) зараз високо централізовані. **
**Обчислювальна потужність: ** Все більші та складніші моделі потребують потужних обчислювальних процесорів для навчання. Між країнами: війна чіпів між Китаєм і США Сполучені Штати активно перешкоджають Китаю отримати потужні чіпи. Між компаніями: недостатня виробнича потужність, останні чіпи Nvidia зі штучним інтелектом купують деякі великі клієнти, а інші компанії взагалі не можуть їх купувати. Що стосується технологій: деякі компанії навіть створюють власне спеціальне обладнання для глибокого навчання, наприклад кластери TPU від Google. Вони перевершують стандартні графічні процесори для глибокого навчання та не продаються, а лише в оренду.
Знання: багато публічних проривів є результатом нових великомасштабних архітектур моделей, розроблених дослідниками, але існує боротьба за інтелектуальну власність і таланти, що лежать в основі. Наприклад, Сполучені Штати залучили понад 50% талантів Китаю в галузі штучного інтелекту, і великі компанії, які використовують ці таланти для розробки великомасштабних моделей, дедалі більше зменшують доступність цієї технології; GPT-3.5 або 4 OpenAI номінально є загальнодоступними, але він стоїть за API, і лише Microsoft має доступ до його вихідного коду.
Дані. Моделі глибокого навчання AGI вимагають великих обсягів даних — як позначених, так і не позначених — і зазвичай покращуються за допомогою більшої кількості даних. GPT-3 був навчений на 300 мільярдах слів. Позначені дані особливо важливі, а набори даних, необхідні для навчання AGI, зосереджені в руках деяких великих компаній. Наприклад, трохи хороших знань: кожного разу, коли ви відвідуєте веб-сайт, де перевіряється reCaptcha, ви позначаєте навчальні дані для покращення Карт Google.
Труднощі в децентралізованому обчисленні AGI
Децентралізовані обчислення можуть створити дешевшу та вільнішу основу для дослідження та розробки штучного інтелекту. Але існує проблема перевірки роботи в децентралізованому AGI. Як дізнатися, що третя сторона виконала обчислення, які ви запитували?
Головоломка з підтвердженням роботи має два чинники: залежність від стану та високу обчислювальну вартість.
Залежність стану: кожен рівень нейронної мережі підключений до всіх вузлів попереднього рівня. Це означає, що йому потрібен стан попереднього шару. Що ще гірше, усі ваги кожного шару визначаються попереднім часовим кроком. Отже, якщо ви хочете переконатися, що хтось навчив модель, скажімо, вибравши випадкову точку в мережі та подивившись, чи ви отримуєте той самий стан, вам потрібно продовжувати навчання моделі до цього моменту, що дорого обчислюється.
Високі обчислювальні витрати: Вартість одного навчального сеансу GPT-3 у 2020 році становить близько 12 мільйонів доларів США, що більш ніж у 270 разів перевищує орієнтовну вартість навчання GPT-2 у 2019 році в 43 000 доларів США. Загалом складність моделі (розмір) найкращих нейронних мереж нині подвоюється кожні три місяці. Витрати на валідацію, можливо, через залежності стану, прийнятні, якщо нейронна мережа дешевша та/або якщо навчання меншою мірою представляє процес розробки моделі.
Якщо ви хочете зробити навчання глибокого навчання дешевим і децентралізувати контроль, вам потрібна система, яка надійно керує валідацією, пов’язаною зі станом, і водночас є дешевою з точки зору накладних витрат і винагороджує тих, хто вносить обчислення.
Як Gensyn децентралізує AGI Computing
Протокол Gensyn об’єднує всі обчислення в світі в глобальний суперкластер машинного навчання, який доступний кожному. Це дозволяє бездоганно навчати нейронні мережі у дуже великих масштабах і за низькими витратами, поєднуючи дві речі:
1. Інноваційна система перевірки
Система перевірки, яка ефективно вирішує проблему залежності стану при навчанні нейронної мережі довільного масштабу. Система поєднує в собі контрольні точки навчання моделі з імовірнісними перевірками, які закінчуються в ланцюжку. Все це робиться бездоганним способом із накладними витратами, які лінійно масштабуються з розміром моделі (зберігаючи витрати на валідацію постійними).
Відповідно до Gensyn Litepaper, Gensyn в основному вирішує проблему перевірки за допомогою трьох концепцій: ймовірнісне підтвердження навчання (використання метаданих у процесі оптимізації на основі градієнта для створення сертифіката виконаної роботи та швидкої перевірки шляхом повторення певних етапів) , Протокол точкового визначення на основі графів (використовує багатогранний протокол визначення на основі графів і виконання консенсусу між оцінювачами, щоб дозволити повторне виконання перевірки та порівняння на узгодженість, а також остаточне підтвердження самим ланцюжком), заохочення у стилі Truebit ігри (використання ставки та слешингу для створення стимулюючої гри, яка гарантує, що кожен фінансово раціональний гравець діє чесно та виконує свої намічені завдання)
**Система в основному складається з чотирьох основних учасників: субмітентів, розв’язувачів, верифікаторів і інформаторів. **Подавач: кінцевий користувач системи, який надає завдання для розрахунку та оплачує виконану одиницю роботи; розв’язувач: основна робоча частина системи, виконує навчання моделі та генерує докази для перевірки верифікатором; верифікатор : недетермінований Процес навчання пов’язаний із детермінованим лінійним обчисленням, копіюванням частини доказу розв’язувача та порівнянням відстані з очікуваним порогом; інформатор: остання лінія захисту, перевірка роботи верифікатора та виклик для джекпот.
2. Нове постачання
Скористайтеся перевагами недостатньо використаних і недостатньо використаних/недооптимізованих ресурсів обчислювальних пристроїв. Ці пристрої варіюються від ігрових графічних процесорів, які зараз не використовуються, до майнерів графічних процесорів з епохи PoW до Ethereum. А децентралізація протоколу означає, що він, зрештою, керуватиметься більшістю спільноти і не може бути «закритий» без згоди спільноти; на відміну від аналога web2, це робить його стійким до цензури.
Масштаб + низька вартість: протокол Gensyn пропонує таку ж вартість, як і графічні процесори центрів обробки даних, які можуть масштабуватися за межі AWS