12 июня 2023 года Gensyn, основанный на блокчейне протокол рынка вычислительной мощности AGI, объявил о завершении раунда финансирования серии A на сумму 43 миллиона долларов, возглавляемого a16z, с участием Eden Block, CoinFund, Galaxy и Protocol Labs.
Что за проект Gensyn? Почему вы можете получить огромные инвестиции от ведущих венчурных капиталистов? Golden Finance поможет вам понять это в одной статье.
a16z: почему Gensyn финансирует серию A на сумму 43 млн долларов
a16z опубликовал статью, объясняющую, почему он возглавил раунд финансирования Gensyn в размере 43 миллионов долларов. a16z сказал, что недавний прогресс искусственного интеллекта невероятен и способен спасти мир (см. предыдущий отчет Jinse Finance «Длинная статья основателя a16z: Почему ИИ спасет мир»). Но создание систем искусственного интеллекта требует развертывания гораздо большей вычислительной мощности для обучения и анализа самых больших и мощных моделей, доступных сегодня. Это означает, что крупные технологические компании имеют преимущество перед стартапами в гонке за получением прибыли от ИИ благодаря привилегированному доступу к вычислительной мощности и экономии за счет масштаба крупных центров обработки данных. Чтобы конкурировать на равных, стартапы должны иметь возможность по доступной цене использовать свои огромные вычислительные мощности.
Блокчейны, как новый тип компьютеров, уникальны тем, что разработчики могут писать код, который дает твердые обещания о том, как этот код будет вести себя в будущем. Этот не требующий разрешения компонент блокчейна может создать рынок для покупателей и продавцов вычислительной мощности или любого другого типа цифровых ресурсов, таких как данные или алгоритмы, для глобальной торговли без посредников.
**Gensyn, основанный на блокчейне протокол рынка вычислительной мощности AGI, связывает разработчиков (всех, кто может обучать модели машинного обучения) с решателями (решатели, все, кто хочет использовать свои собственные машины для обучения моделей машинного обучения). Gensyn может увеличить доступную вычислительную мощность для машинного обучения в 10-100 раз за счет использования длинного хвоста вычислительных устройств с поддержкой машинного обучения, которые остаются неиспользованными по всему миру, таких как небольшие центры обработки данных, игровые ПК, M1 и M2 Mac и даже смартфоны. **
Проблемы, с которыми сталкивается AGI (общий искусственный интеллект): высокая степень централизации
После почти полугода разработки рынок в целом осознал, что будущее за AGI. Но индустрия AGI в настоящее время выглядит сильно монополизированной**, между странами идет война торговли и талантов между Китаем и США, а между компаниями — игра крупных технологических компаний (Microsoft, Google, Meta). **Поскольку три ключевых ресурса ОИИ (вычислительная мощность, знания и данные) в настоящее время сильно централизованы. **
Вычислительная мощность. Для обучения все более крупным и сложным моделям требуются высокопроизводительные процессоры. Между странами: Война чипов между Китаем и Соединенными Штатами, Соединенные Штаты активно препятствуют тому, чтобы Китай получил чипы высокой мощности. Между компаниями: недостаточные производственные мощности, новейшие чипы Nvidia для искусственного интеллекта покупаются некоторыми крупными клиентами, а другие компании вообще не могут их купить. В технологическом стеке: некоторые компании даже создают собственное специализированное оборудование для глубокого обучения, например, кластеры Google TPU. Они превосходят стандартные графические процессоры для глубокого обучения и не продаются, а только сдаются в аренду.
Знание: Многие общедоступные прорывы связаны с новыми крупномасштабными архитектурами моделей, разработанными исследователями, но идет борьба за лежащую в их основе интеллектуальную собственность и таланты. Например, США привлекают более 50% талантов Китая в области ИИ, и крупные компании, использующие эти таланты для разработки крупномасштабных моделей, все больше снижают доступность этой технологии; OpenAI GPT-3.5 или 4 номинально общедоступны, но он находится за API, и только Microsoft имеет доступ к его исходному коду.
Данные. Модели глубокого обучения AGI требуют больших объемов данных — как помеченных, так и немаркированных — и обычно улучшаются с увеличением количества данных. GPT-3 был обучен на 300 миллиардах слов. Размеченные данные особенно важны, а наборы данных, необходимые для обучения AGI, сосредоточены в руках нескольких крупных компаний. Например, немного хороших знаний: каждый раз, когда вы посещаете веб-сайт, решающий reCaptcha, вы помечаете обучающие данные для улучшения Google Maps.
Трудности децентрализованных вычислений AGI
Децентрализованные вычисления могут создать более дешевую и бесплатную основу для исследований и разработки искусственного интеллекта. Но в децентрализованном AGI есть проблема с проверкой работы, как узнать, что третья сторона выполнила запрошенный вами расчет?
Головоломка с доказательством работы имеет два фактора: зависимость от состояния и высокие вычислительные затраты.
Зависимость от состояния: каждый слой в нейронной сети связан со всеми узлами в слое перед ним. Это означает, что ему нужно состояние предыдущего слоя. Что еще хуже, все веса каждого слоя определяются предыдущим временным шагом. Поэтому, если вы хотите убедиться, что кто-то обучил модель — скажем, выбрав случайную точку в сети и проверив, получили ли вы то же самое состояние — вам нужно продолжать обучать модель до этой точки, что требует больших вычислительных ресурсов.
Высокие вычислительные затраты: Стоимость одного сеанса обучения GPT-3 в 2020 году составляет около 12 миллионов долларов, что более чем в 270 раз превышает расчетную стоимость обучения GPT-2 в 2019 году, составляющую около 43 000 долларов. В целом сложность модели (размер) лучших нейронных сетей в настоящее время удваивается каждые три месяца. Накладные расходы на проверку, возможно, из-за зависимостей состояния, приемлемы, если нейронная сеть дешевле и/или если обучение представляет собой меньшую часть процесса разработки модели.
Если вы хотите сделать обучение глубокому обучению дешевым и децентрализовать управление, вам нужна система, которая без доверительного управления управляет проверкой, связанной с состоянием, и в то же время является дешевой с точки зрения накладных расходов и вознаграждает тех, кто вносит свой вклад в вычисления.
Как Gensyn децентрализует вычисления AGI
Протокол Gensyn объединяет все вычислительные ресурсы мира в глобальный суперкластер машинного обучения, доступный каждому. Это позволяет безнадежно обучать нейронные сети в очень больших масштабах и с низкими затратами, сочетая две вещи:
1. Инновационная система проверки
Система проверки, которая эффективно решает проблему зависимости от состояния при обучении нейронной сети произвольного масштаба. Система сочетает контрольные точки обучения моделей с вероятностными проверками, которые завершаются в цепочке. Он делает все это без доверия с накладными расходами, которые линейно масштабируются с размером модели (сохраняя постоянные затраты на проверку).
Согласно Gensyn Litepaper, Gensyn в основном решает проблему верификации с помощью трех концепций: вероятностное доказательство обучения (использование метаданных в процессе оптимизации на основе градиента для построения сертификата выполненной работы и быстрой его проверки посредством репликации определенных этапов) , Протокол точного определения на основе графа (использует многогранный протокол точного определения на основе графа и выполнение консенсуса между оценщиками, что позволяет повторно запускать работу по проверке и сравнивать ее на предмет согласованности и, в конечном итоге, подтверждается самой цепью), поощрение в стиле Truebit игры (с использованием ставок и слэшинга для создания поощрительной игры, которая гарантирует, что каждый финансово рациональный игрок действует честно и выполняет поставленные перед ним задачи)
** Система в основном состоит из четырех основных участников: отправителей, решателей, верификаторов и осведомителей. **Отправитель: конечный пользователь системы, который предоставляет задачу для расчета и оплачивает выполненную единицу работы; решатель: основная рабочая часть системы, проводит обучение модели и формирует доказательства для проверки верификатором; верификатор : недетерминированный Процесс обучения связан с детерминированным линейным вычислением, повторяющим часть доказательства решателя и сравнивающим расстояние с ожидаемым порогом; осведомитель: последняя линия защиты, проверяющая работу верификатора и бросающая вызов на джекпот.
2. Новая поставка
Воспользуйтесь преимуществами недоиспользуемых и недоиспользуемых/недооптимизированных ресурсов вычислительных устройств. Эти устройства варьируются от неиспользуемых в настоящее время игровых графических процессоров до майнеров с графическими процессорами эпохи PoW до Ethereum. А децентрализация протокола означает, что в конечном итоге он будет управляться большинством сообщества и не может быть «закрыт» без согласия сообщества; в отличие от его аналога web2, это делает его устойчивым к цензуре.
Масштаб + низкая стоимость: протокол Gensyn предлагает аналогичную стоимость графических процессоров, принадлежащих центру обработки данных, которые могут масштабироваться за пределы AWS.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
a16z инвестирует 43 миллиона долларов в Gensyn, рынок вычислительной мощности AGI, чтобы понять Gensyn
12 июня 2023 года Gensyn, основанный на блокчейне протокол рынка вычислительной мощности AGI, объявил о завершении раунда финансирования серии A на сумму 43 миллиона долларов, возглавляемого a16z, с участием Eden Block, CoinFund, Galaxy и Protocol Labs.
Что за проект Gensyn? Почему вы можете получить огромные инвестиции от ведущих венчурных капиталистов? Golden Finance поможет вам понять это в одной статье.
a16z: почему Gensyn финансирует серию A на сумму 43 млн долларов
a16z опубликовал статью, объясняющую, почему он возглавил раунд финансирования Gensyn в размере 43 миллионов долларов. a16z сказал, что недавний прогресс искусственного интеллекта невероятен и способен спасти мир (см. предыдущий отчет Jinse Finance «Длинная статья основателя a16z: Почему ИИ спасет мир»). Но создание систем искусственного интеллекта требует развертывания гораздо большей вычислительной мощности для обучения и анализа самых больших и мощных моделей, доступных сегодня. Это означает, что крупные технологические компании имеют преимущество перед стартапами в гонке за получением прибыли от ИИ благодаря привилегированному доступу к вычислительной мощности и экономии за счет масштаба крупных центров обработки данных. Чтобы конкурировать на равных, стартапы должны иметь возможность по доступной цене использовать свои огромные вычислительные мощности.
Блокчейны, как новый тип компьютеров, уникальны тем, что разработчики могут писать код, который дает твердые обещания о том, как этот код будет вести себя в будущем. Этот не требующий разрешения компонент блокчейна может создать рынок для покупателей и продавцов вычислительной мощности или любого другого типа цифровых ресурсов, таких как данные или алгоритмы, для глобальной торговли без посредников.
**Gensyn, основанный на блокчейне протокол рынка вычислительной мощности AGI, связывает разработчиков (всех, кто может обучать модели машинного обучения) с решателями (решатели, все, кто хочет использовать свои собственные машины для обучения моделей машинного обучения). Gensyn может увеличить доступную вычислительную мощность для машинного обучения в 10-100 раз за счет использования длинного хвоста вычислительных устройств с поддержкой машинного обучения, которые остаются неиспользованными по всему миру, таких как небольшие центры обработки данных, игровые ПК, M1 и M2 Mac и даже смартфоны. **
Проблемы, с которыми сталкивается AGI (общий искусственный интеллект): высокая степень централизации
После почти полугода разработки рынок в целом осознал, что будущее за AGI. Но индустрия AGI в настоящее время выглядит сильно монополизированной**, между странами идет война торговли и талантов между Китаем и США, а между компаниями — игра крупных технологических компаний (Microsoft, Google, Meta). **Поскольку три ключевых ресурса ОИИ (вычислительная мощность, знания и данные) в настоящее время сильно централизованы. **
Вычислительная мощность. Для обучения все более крупным и сложным моделям требуются высокопроизводительные процессоры. Между странами: Война чипов между Китаем и Соединенными Штатами, Соединенные Штаты активно препятствуют тому, чтобы Китай получил чипы высокой мощности. Между компаниями: недостаточные производственные мощности, новейшие чипы Nvidia для искусственного интеллекта покупаются некоторыми крупными клиентами, а другие компании вообще не могут их купить. В технологическом стеке: некоторые компании даже создают собственное специализированное оборудование для глубокого обучения, например, кластеры Google TPU. Они превосходят стандартные графические процессоры для глубокого обучения и не продаются, а только сдаются в аренду.
Знание: Многие общедоступные прорывы связаны с новыми крупномасштабными архитектурами моделей, разработанными исследователями, но идет борьба за лежащую в их основе интеллектуальную собственность и таланты. Например, США привлекают более 50% талантов Китая в области ИИ, и крупные компании, использующие эти таланты для разработки крупномасштабных моделей, все больше снижают доступность этой технологии; OpenAI GPT-3.5 или 4 номинально общедоступны, но он находится за API, и только Microsoft имеет доступ к его исходному коду.
Данные. Модели глубокого обучения AGI требуют больших объемов данных — как помеченных, так и немаркированных — и обычно улучшаются с увеличением количества данных. GPT-3 был обучен на 300 миллиардах слов. Размеченные данные особенно важны, а наборы данных, необходимые для обучения AGI, сосредоточены в руках нескольких крупных компаний. Например, немного хороших знаний: каждый раз, когда вы посещаете веб-сайт, решающий reCaptcha, вы помечаете обучающие данные для улучшения Google Maps.
Трудности децентрализованных вычислений AGI
Децентрализованные вычисления могут создать более дешевую и бесплатную основу для исследований и разработки искусственного интеллекта. Но в децентрализованном AGI есть проблема с проверкой работы, как узнать, что третья сторона выполнила запрошенный вами расчет?
Головоломка с доказательством работы имеет два фактора: зависимость от состояния и высокие вычислительные затраты.
Зависимость от состояния: каждый слой в нейронной сети связан со всеми узлами в слое перед ним. Это означает, что ему нужно состояние предыдущего слоя. Что еще хуже, все веса каждого слоя определяются предыдущим временным шагом. Поэтому, если вы хотите убедиться, что кто-то обучил модель — скажем, выбрав случайную точку в сети и проверив, получили ли вы то же самое состояние — вам нужно продолжать обучать модель до этой точки, что требует больших вычислительных ресурсов.
Высокие вычислительные затраты: Стоимость одного сеанса обучения GPT-3 в 2020 году составляет около 12 миллионов долларов, что более чем в 270 раз превышает расчетную стоимость обучения GPT-2 в 2019 году, составляющую около 43 000 долларов. В целом сложность модели (размер) лучших нейронных сетей в настоящее время удваивается каждые три месяца. Накладные расходы на проверку, возможно, из-за зависимостей состояния, приемлемы, если нейронная сеть дешевле и/или если обучение представляет собой меньшую часть процесса разработки модели.
Если вы хотите сделать обучение глубокому обучению дешевым и децентрализовать управление, вам нужна система, которая без доверительного управления управляет проверкой, связанной с состоянием, и в то же время является дешевой с точки зрения накладных расходов и вознаграждает тех, кто вносит свой вклад в вычисления.
Как Gensyn децентрализует вычисления AGI
Протокол Gensyn объединяет все вычислительные ресурсы мира в глобальный суперкластер машинного обучения, доступный каждому. Это позволяет безнадежно обучать нейронные сети в очень больших масштабах и с низкими затратами, сочетая две вещи:
1. Инновационная система проверки
Система проверки, которая эффективно решает проблему зависимости от состояния при обучении нейронной сети произвольного масштаба. Система сочетает контрольные точки обучения моделей с вероятностными проверками, которые завершаются в цепочке. Он делает все это без доверия с накладными расходами, которые линейно масштабируются с размером модели (сохраняя постоянные затраты на проверку).
Согласно Gensyn Litepaper, Gensyn в основном решает проблему верификации с помощью трех концепций: вероятностное доказательство обучения (использование метаданных в процессе оптимизации на основе градиента для построения сертификата выполненной работы и быстрой его проверки посредством репликации определенных этапов) , Протокол точного определения на основе графа (использует многогранный протокол точного определения на основе графа и выполнение консенсуса между оценщиками, что позволяет повторно запускать работу по проверке и сравнивать ее на предмет согласованности и, в конечном итоге, подтверждается самой цепью), поощрение в стиле Truebit игры (с использованием ставок и слэшинга для создания поощрительной игры, которая гарантирует, что каждый финансово рациональный игрок действует честно и выполняет поставленные перед ним задачи)
** Система в основном состоит из четырех основных участников: отправителей, решателей, верификаторов и осведомителей. **Отправитель: конечный пользователь системы, который предоставляет задачу для расчета и оплачивает выполненную единицу работы; решатель: основная рабочая часть системы, проводит обучение модели и формирует доказательства для проверки верификатором; верификатор : недетерминированный Процесс обучения связан с детерминированным линейным вычислением, повторяющим часть доказательства решателя и сравнивающим расстояние с ожидаемым порогом; осведомитель: последняя линия защиты, проверяющая работу верификатора и бросающая вызов на джекпот.
2. Новая поставка
Воспользуйтесь преимуществами недоиспользуемых и недоиспользуемых/недооптимизированных ресурсов вычислительных устройств. Эти устройства варьируются от неиспользуемых в настоящее время игровых графических процессоров до майнеров с графическими процессорами эпохи PoW до Ethereum. А децентрализация протокола означает, что в конечном итоге он будет управляться большинством сообщества и не может быть «закрыт» без согласия сообщества; в отличие от его аналога web2, это делает его устойчивым к цензуре.
Масштаб + низкая стоимость: протокол Gensyn предлагает аналогичную стоимость графических процессоров, принадлежащих центру обработки данных, которые могут масштабироваться за пределы AWS.