Вариант Инвестиционный партнер: Открытый исходный код ИИ в затруднительном положении и прорывах, почему технология шифрования является последним кусочком пазла?
Автор: Даниэль Барабандер Составитель: Deep Tide Краткое резюме TechFlow В настоящее время в разработке базового ИИ доминируют несколько технологических компаний, что характеризуется закрытостью и отсутствием конкуренции. В то время как разработка программного обеспечения является потенциальным решением, фундаментальный ИИ не работает так же хорошо, как традиционные проекты Открытый исходный код (например, Linux), потому что он сталкивается с «проблемой ресурсов»: участники Открытого исходного кода должны не только инвестировать время, но и нести затраты на вычисления и данные, превышающие их личные возможности. Ожидается, что технология шифрования решит эту проблему ресурсов, стимулируя поставщиков ресурсов участвовать в базовом проекте Открытый исходный код AI. Сочетание Открытый исходный код ИИ с технологией шифрования может поддерживать более масштабную разработку моделей и стимулировать больше инноваций для создания более совершенных систем ИИ. Согласно опросу, проведенному исследовательским центром Pew Research Center (Pew Research Center) в 2024 году, 64% американцев считают, что влияние социальных сетей на нацию приносит больше вреда, чем пользы; 78% опрошенных считают, что компании, занимающиеся социальными сетями, обладают слишком большой властью и влиянием в политике; 83% считают, что эти платформы, скорее всего, намеренно подвергают цензуре политические взгляды, с которыми они не согласны. Недовольство социальными сетями стало чуть ли не одним из немногих Соглашений в американском обществе. Оглядываясь на эволюцию социальных сетей за последние 20 лет, эта ситуация кажется предопределенной. История несложная: несколько крупных технологических компаний привлекли внимание пользователей и, что более важно, пользовательские данные. Несмотря на первоначальные надежды на открытые данные, компании быстро изменили свою стратегию, используя данные для создания неразрывных сетевых эффектов и блокировки внешнего доступа. В результате сложилась сегодняшняя ситуация: менее 10 крупных технологических компаний доминируют в индустрии социальных сетей, создавая ландшафт «олигополия». Поскольку статус-кво крайне благоприятен для них, у этих компаний мало стимулов для изменений. Эта модель закрыта и лишена конкуренции. Сегодня траектория развития технологий искусственного интеллекта, кажется, повторяется, но на этот раз влияние еще более далеко идущее. Несколько технологических компаний создали базовые модели ИИ, взяв под контроль графические процессоры и ресурсы данных, и закрыли доступ к этим моделям. Для новых участников, у которых нет финансирования в миллиарды долларов, практически невозможно разработать конкурентоспособную модель. Поскольку вычислительные затраты на обучение только одной базовой модели составляют миллиарды долларов, компании, занимающиеся социальными сетями, которые извлекли выгоду из последней волны технологий, используют свой контроль над проприетарными пользовательскими данными для разработки моделей, с которыми конкурентам трудно сравниться. Мы повторяем ошибки социальных сетей и движемся к закрытому и неконкурентному миру ИИ. Если эта тенденция сохранится, горстка технологических компаний будет иметь неограниченный контроль над доступом к информации и возможностям. Открытый исходный код ИИ и «проблема ресурсов» Если мы не хотим видеть закрытый мир ИИ, то какие у нас есть варианты? Очевидным ответом является разработка базовой модели в виде программного проекта Открытый исходный код. Исторически сложилось так, что у нас было бесчисленное количество проектов Открытый исходный код, которые успешно создали базовое программное обеспечение, на которое мы полагаемся каждый день. Например, успех Linux доказывает, что даже базовое программное обеспечение, такое как операционная система, может быть разработано с помощью Открытый исходный код. Так почему же LLM (большие языковые модели) не могут? Однако особые ограничения, с которыми сталкиваются базовые модели ИИ, отличают их от традиционного программного обеспечения, что также значительно ослабляет их жизнеспособность в качестве традиционного проекта Открытый исходный код. В частности, базовые модели ИИ требуют огромных вычислительных ресурсов и ресурсов данных, которые выходят далеко за рамки возможностей отдельного человека. В отличие от традиционных проектов Открытый исходный код, которые полагаются исключительно на людей, жертвующих свое время, Открытый исходный код AI также просит людей пожертвовать вычислительные мощности и ресурсы данных, что известно как «проблема ресурсов». Используя модель LLaMa от Meta в качестве примера, мы можем лучше понять эту проблему ресурсов. В отличие от конкурентов, таких как OpenAI и Google, Meta не прячет свои модели за платными API, а вместо этого открыто предлагает весовые коэффициенты LLaMa для использования всем желающим бесплатно (с определенными ограничениями). Эти весовые коэффициенты содержат то, что модель узнает во время обучения Meta, и необходимы для запуска модели. С помощью этих весовых коэффициентов пользователь может точно настроить модель или использовать выходные данные модели в качестве входных данных для новой модели. Несмотря на то, что выпуск LLaMa от Meta заслуживает признания, он не считается настоящим программным проектом с открытым исходным кодом. За кулисами Meta контролирует процесс обучения, полагаясь на собственные вычислительные ресурсы, данные и решения, и в одностороннем порядке решает, когда сделать модель доступной для общественности. Meta не приглашает независимых исследователей или разработчиков к участию в коллаборациях сообщества, поскольку ресурсы, необходимые для обучения или переобучения моделей, выходят далеко за рамки возможностей обычного человека. Эти ресурсы включают в себя десятки тысяч высокопроизводительных графических процессоров, центры обработки данных для хранения этих графических процессоров, сложные средства охлаждения и триллионы токенов (единиц текстовых данных, необходимых для обучения модели) для обучения. Как отмечается в отчете Стэнфордского университета об индексе ИИ за 2024 год, «высокая стоимость обучения фактически исключает университеты, которые традиционно были центрами исследований в области ИИ, от разработки основных базовых моделей». Например, Сэм Альтман упомянул, что обучение GPT-4 обходится в 100 миллионов долларов, и это даже без учета капитальных затрат на оборудование. Кроме того, капитальные затраты Meta во втором квартале 2024 года увеличились на $2,1 млрд по сравнению с аналогичным периодом 2023 года, в основном на серверы, дата-центры и сетевую инфраструктуру, связанную с обучением моделей ИИ. В результате, несмотря на то, что участники сообщества LLaMa могут иметь техническую возможность улучшить архитектуру модели, им не хватает ресурсов для реализации этих улучшений. Таким образом, в отличие от традиционных программных проектов Открытый исходный код, проекты ИИ Открытый исходный код не только требуют от участников затрат времени, но и требуют от них высоких затрат на вычисления и данные. Нереально полагаться исключительно на добрую волю и добровольчество, чтобы мотивировать достаточное количество поставщиков ресурсов. Им нужны дополнительные стимулы. Возьмем, к примеру, Открытый исходный код большой языковой модели BLOOM, модель со 176 миллиардами параметров, которая объединяет усилия 1000 исследователей-добровольцев из более чем 250 учреждений в более чем 70 странах. Несмотря на то, что успех BLOOM достоин восхищения (и я его полностью поддерживаю), на координацию тренинга ушел год, и он опирался на финансирование в размере 3 миллионов евро от французского научно-исследовательского института (не считая капитальных затрат на суперкомпьютер, использованный для обучения модели). Процесс использования нового раунда финансирования для координации и итераций BLOOM слишком громоздкий, чтобы соответствовать скорости разработки в крупных технологических лабораториях. ПРОШЛО БОЛЕЕ ДВУХ ЛЕТ С ТЕХ ПОР, КАК BLOOM БЫЛ ВЫПУЩЕН, И КОМАНДА ЕЩЕ НЕ СЛЫШАЛА О КАКИХ-ЛИБО ПОСЛЕДУЮЩИХ МОДЕЛЯХ. Для того, чтобы Открытый исходный код стал возможен, нам нужно найти способ стимулировать поставщиков ресурсов предоставлять свои вычислительные мощности и ресурсы данных, а не заставлять участников Открытого исходного кода нести эти расходы самостоятельно. Почему технология шифрования может решить «проблему ресурсов» лежащего в основе Открытый исходный код AI Основной прорыв технологии шифрования заключается в том, чтобы сделать возможным проект программного обеспечения с высокими затратами ресурсов Открытый исходный код с помощью механизма «владения». Он решает проблемы с ресурсами Открытого исходного кода ИИ, стимулируя потенциальных поставщиков ресурсов к участию в сети, вместо того, чтобы участники Открытого исходного кода несли расходы на эти ресурсы заранее. BTC — хороший тому пример. Как самый ранний проект шифрования, BTC является полностью открытым исходным кодом, и его код был публичным с самого начала. Однако сам код не является ключом к BTC. Нет смысла просто скачать и запустить программное обеспечение BTCУзел и создать цепочку блоков локально. Истинная ценность программного обеспечения может быть реализована только в том случае, если объем вычислений, требуемый МайнингБлок, достаточен для того, чтобы превысить вычислительную мощность любого отдельного участника: ведение децентрализации, неконтролируемого реестра. Подобно базовому Открытый исходный код AI, BTC также является проектом Открытый исходный код, который требует ресурсов, выходящих за рамки возможностей человека. Несмотря на то, что они требуют вычислительных ресурсов по разным причинам — BTC нужны вычислительные ресурсы, чтобы гарантировать, что сеть не может быть подделана, в то время как лежащий в основе ИИ требует вычислительных ресурсов для оптимизации и итерации моделей — общим для всех них является то, что они оба полагаются на ресурсы, которые выходят за рамки возможностей отдельных людей. «Секрет» BTC, как и любой другой сети шифрования, который стимулирует участников вкладывать ресурсы в программный проект Открытый исходный код, заключается в предоставлении права собственности на сеть через токены. Как указано в основополагающей философии Джесси, написанной для Variant в 2020 году, владение обеспечивает сильный стимул для поставщиков ресурсов, чтобы они были готовы вносить ресурсы в обмен на потенциальную прибыль в сети. Этот механизм похож на то, как стартапы решают проблему нехватки финансирования на ранних стадиях с помощью (Sweat Equity) «потного капитала» — платя сотрудникам на ранних стадиях (например, основателям) в основном в форме владения компанией, стартапы могут привлечь рабочую силу, которую в противном случае они не смогли бы себе позволить. Технология шифрования расширяет концепцию «потового капитала», фокусируясь на временных вкладчиках и поставщиках ресурсов. В результате Variant фокусируется на инвестировании в проекты, использующие механизмы собственности для создания сетевых эффектов, такие как Uniswap, Morpho и World. Если мы хотим, чтобы Открытый исходный код AI стал реальностью, то механизм владения, реализованный через технологию шифрования, является ключевым решением ресурсной проблемы. Этот механизм дает исследователям свободу вносить свои идеи по проектированию модели в проект Открытый исходный код, поскольку вычислительные ресурсы и ресурсы данных, необходимые для реализации этих идей, будут нести поставщик ресурсов, который будет вознагражден получением дробного владения проектом, а не требовать от исследователя самостоятельно нести высокие первоначальные затраты. В Открытый исходный код ИИ право собственности может принимать различные формы, но одной из наиболее ожидаемых является владение самой моделью, что также является решением, предложенным Pluralis. Подход, предложенный Pluralis, известен как модели протоколов. В этом режиме поставщик вычислительных ресурсов может обучить конкретную модель Открытый исходный код, предоставив вычислительную мощность, и, таким образом, получить дробное владение будущего дохода от логического вывода модели. Поскольку это право собственности привязано к конкретной модели, а его ценность основана на доходе модели от логического вывода, поставщик вычислительных ресурсов заинтересован в выборе оптимальной модели для обучения без фальсификации обучающих данных (поскольку предоставление бесполезного обучения напрямую приравнивается к ожидаемой величине будущего дохода от логического вывода). Однако ключевой вопрос заключается в следующем: как Pluralis обеспечивает безопасность владения, если процесс обучения требует, чтобы весовые коэффициенты модели отправлялись поставщику вычислений? Ответ кроется в использовании (Model Parallelism) техники "распараллеливания моделей" для распространения модели Шардинг между разными рабочими процессами. Важной особенностью нейронных сетей является то, что даже если известна лишь малая часть весов модели, вычислитель все равно может участвовать в обучении, гарантируя, что полный набор весов не может быть извлечен. Кроме того, из-за того, что на платформе Pluralis одновременно тренируется множество различных моделей, тренер столкнется с большим количеством различных весовых наборов, что крайне затрудняет перестройку полной модели. Основная идея моделей протоколов заключается в том, что эти модели могут быть обучены и использованы, но они не могут быть полностью извлечены из протокола (если только используемая вычислительная мощность не превышает ресурсы, необходимые для обучения модели с нуля). Этот механизм решает проблему, часто поднимаемую критиками Открытого исходного кода ИИ, заключающуюся в том, что закрытые конкуренты ИИ могут незаконно присвоить плоды проекта Открытый исходный код. Почему технология шифрования + Открытый исходный код = лучший ИИ В начале статьи я проиллюстрировал этические и нормативные аспекты закрытого ИИ, проанализировав контроль ИИ со стороны Big Tech. Но в век бессилия, боюсь, что такой аргумент может не найти отклика у большинства читателей. Итак, я хотел бы привести две причины, по которым открытый исходный код ИИ, основанный на технологии шифрования, действительно может привести к улучшению ИИ. Во-первых, сочетание технологии шифрования и открытого исходного кода ИИ может координировать больше ресурсов для разработки следующего поколения фундаментальных моделей (Foundation Models). Исследования показали, что увеличение вычислительной мощности и ресурсов данных может помочь повысить производительность модели, поэтому размер базовой модели увеличивается. BTC показывает нам потенциал программного обеспечения Открытый исходный код в сочетании с технологией шифрования с точки зрения вычислительной мощности. Она стала крупнейшей и самой мощной вычислительной сетью в мире, намного превышающей ресурсы облачных вычислений, принадлежащие Big Tech. Технология шифрования уникальна тем, что она превращает изолированную конкуренцию в совместную. Стимулируя поставщиков ресурсов выделять ресурсы для решения общих проблем, а не работать разрозненно и дублировать усилия, сеть шифрования позволяет эффективно использовать ресурсы. С помощью технологии шифрования Открытый исходный код ИИ сможет использовать мировые вычислительные ресурсы и ресурсы данных для создания моделей, которые намного больше, чем закрытый ИИ. Например, компания Hyperbolic продемонстрировала потенциал этой модели. Они максимально эффективно используют распределенные вычислительные ресурсы, позволяя любому желающему арендовать графические процессоры по более низкой цене через открытый рынок. Во-вторых, сочетание технологии шифрования с открытым исходным кодом ИИ будет способствовать ускорению инноваций. Это связано с тем, что, как только проблема ресурсов будет решена, исследования в области машинного обучения могут вернуться к своей итеративной и инновационной природе Открытый исходный код. До появления фундаментальных больших языковых моделей (LLM) исследователи в области машинного обучения часто публично публиковали свои модели и воспроизводимые чертежи. Эти модели обычно используют набор данных Открытый исходный код, который менее ресурсоемок в вычислительном отношении, поэтому исследователи могут постоянно оптимизировать и внедрять инновации на этих основах. Именно этот неограниченный, итеративный процесс привел ко многим прорывам в области последовательного моделирования, таким как рекуррентные нейронные сети (RNN), (LSTM) сетей длительной кратковременной памяти и механизмы внимания (Attention Mechanisms), в конечном счете, это делает возможной архитектуру модели Transformer. Однако этот открытый подход к исследованиям изменился с момента запуска GPT-3. Благодаря успеху GPT-3 и ChatGPT OpenAI доказала, что при достаточном количестве вычислительных ресурсов и данных можно обучать большие языковые модели с возможностями понимания языка. Эта тенденция привела к резкому смещению порогов ресурсов, что привело к постепенному исключению академических кругов и тому факту, что крупные технологические компании больше не публикуют свои модельные архитектуры, чтобы сохранить конкурентное преимущество. Эта ситуация ограничивает наши возможности по развитию ИИ. Открытый исходный код ИИ, реализованный с помощью технологии шифрования, может изменить это. Это позволяет исследователям снова повторять передовые модели, чтобы обнаружить «следующего трансформера». Эта комбинация не только решает проблему ресурсов, но и оживляет инновации в области машинного обучения, открывая более широкий путь для будущего ИИ.
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Вариант Инвестиционный партнер: Открытый исходный код ИИ в затруднительном положении и прорывах, почему технология шифрования является последним кусочком пазла?
Автор: Даниэль Барабандер Составитель: Deep Tide Краткое резюме TechFlow В настоящее время в разработке базового ИИ доминируют несколько технологических компаний, что характеризуется закрытостью и отсутствием конкуренции. В то время как разработка программного обеспечения является потенциальным решением, фундаментальный ИИ не работает так же хорошо, как традиционные проекты Открытый исходный код (например, Linux), потому что он сталкивается с «проблемой ресурсов»: участники Открытого исходного кода должны не только инвестировать время, но и нести затраты на вычисления и данные, превышающие их личные возможности. Ожидается, что технология шифрования решит эту проблему ресурсов, стимулируя поставщиков ресурсов участвовать в базовом проекте Открытый исходный код AI. Сочетание Открытый исходный код ИИ с технологией шифрования может поддерживать более масштабную разработку моделей и стимулировать больше инноваций для создания более совершенных систем ИИ. Согласно опросу, проведенному исследовательским центром Pew Research Center (Pew Research Center) в 2024 году, 64% американцев считают, что влияние социальных сетей на нацию приносит больше вреда, чем пользы; 78% опрошенных считают, что компании, занимающиеся социальными сетями, обладают слишком большой властью и влиянием в политике; 83% считают, что эти платформы, скорее всего, намеренно подвергают цензуре политические взгляды, с которыми они не согласны. Недовольство социальными сетями стало чуть ли не одним из немногих Соглашений в американском обществе. Оглядываясь на эволюцию социальных сетей за последние 20 лет, эта ситуация кажется предопределенной. История несложная: несколько крупных технологических компаний привлекли внимание пользователей и, что более важно, пользовательские данные. Несмотря на первоначальные надежды на открытые данные, компании быстро изменили свою стратегию, используя данные для создания неразрывных сетевых эффектов и блокировки внешнего доступа. В результате сложилась сегодняшняя ситуация: менее 10 крупных технологических компаний доминируют в индустрии социальных сетей, создавая ландшафт «олигополия». Поскольку статус-кво крайне благоприятен для них, у этих компаний мало стимулов для изменений. Эта модель закрыта и лишена конкуренции. Сегодня траектория развития технологий искусственного интеллекта, кажется, повторяется, но на этот раз влияние еще более далеко идущее. Несколько технологических компаний создали базовые модели ИИ, взяв под контроль графические процессоры и ресурсы данных, и закрыли доступ к этим моделям. Для новых участников, у которых нет финансирования в миллиарды долларов, практически невозможно разработать конкурентоспособную модель. Поскольку вычислительные затраты на обучение только одной базовой модели составляют миллиарды долларов, компании, занимающиеся социальными сетями, которые извлекли выгоду из последней волны технологий, используют свой контроль над проприетарными пользовательскими данными для разработки моделей, с которыми конкурентам трудно сравниться. Мы повторяем ошибки социальных сетей и движемся к закрытому и неконкурентному миру ИИ. Если эта тенденция сохранится, горстка технологических компаний будет иметь неограниченный контроль над доступом к информации и возможностям. Открытый исходный код ИИ и «проблема ресурсов» Если мы не хотим видеть закрытый мир ИИ, то какие у нас есть варианты? Очевидным ответом является разработка базовой модели в виде программного проекта Открытый исходный код. Исторически сложилось так, что у нас было бесчисленное количество проектов Открытый исходный код, которые успешно создали базовое программное обеспечение, на которое мы полагаемся каждый день. Например, успех Linux доказывает, что даже базовое программное обеспечение, такое как операционная система, может быть разработано с помощью Открытый исходный код. Так почему же LLM (большие языковые модели) не могут? Однако особые ограничения, с которыми сталкиваются базовые модели ИИ, отличают их от традиционного программного обеспечения, что также значительно ослабляет их жизнеспособность в качестве традиционного проекта Открытый исходный код. В частности, базовые модели ИИ требуют огромных вычислительных ресурсов и ресурсов данных, которые выходят далеко за рамки возможностей отдельного человека. В отличие от традиционных проектов Открытый исходный код, которые полагаются исключительно на людей, жертвующих свое время, Открытый исходный код AI также просит людей пожертвовать вычислительные мощности и ресурсы данных, что известно как «проблема ресурсов». Используя модель LLaMa от Meta в качестве примера, мы можем лучше понять эту проблему ресурсов. В отличие от конкурентов, таких как OpenAI и Google, Meta не прячет свои модели за платными API, а вместо этого открыто предлагает весовые коэффициенты LLaMa для использования всем желающим бесплатно (с определенными ограничениями). Эти весовые коэффициенты содержат то, что модель узнает во время обучения Meta, и необходимы для запуска модели. С помощью этих весовых коэффициентов пользователь может точно настроить модель или использовать выходные данные модели в качестве входных данных для новой модели. Несмотря на то, что выпуск LLaMa от Meta заслуживает признания, он не считается настоящим программным проектом с открытым исходным кодом. За кулисами Meta контролирует процесс обучения, полагаясь на собственные вычислительные ресурсы, данные и решения, и в одностороннем порядке решает, когда сделать модель доступной для общественности. Meta не приглашает независимых исследователей или разработчиков к участию в коллаборациях сообщества, поскольку ресурсы, необходимые для обучения или переобучения моделей, выходят далеко за рамки возможностей обычного человека. Эти ресурсы включают в себя десятки тысяч высокопроизводительных графических процессоров, центры обработки данных для хранения этих графических процессоров, сложные средства охлаждения и триллионы токенов (единиц текстовых данных, необходимых для обучения модели) для обучения. Как отмечается в отчете Стэнфордского университета об индексе ИИ за 2024 год, «высокая стоимость обучения фактически исключает университеты, которые традиционно были центрами исследований в области ИИ, от разработки основных базовых моделей». Например, Сэм Альтман упомянул, что обучение GPT-4 обходится в 100 миллионов долларов, и это даже без учета капитальных затрат на оборудование. Кроме того, капитальные затраты Meta во втором квартале 2024 года увеличились на $2,1 млрд по сравнению с аналогичным периодом 2023 года, в основном на серверы, дата-центры и сетевую инфраструктуру, связанную с обучением моделей ИИ. В результате, несмотря на то, что участники сообщества LLaMa могут иметь техническую возможность улучшить архитектуру модели, им не хватает ресурсов для реализации этих улучшений. Таким образом, в отличие от традиционных программных проектов Открытый исходный код, проекты ИИ Открытый исходный код не только требуют от участников затрат времени, но и требуют от них высоких затрат на вычисления и данные. Нереально полагаться исключительно на добрую волю и добровольчество, чтобы мотивировать достаточное количество поставщиков ресурсов. Им нужны дополнительные стимулы. Возьмем, к примеру, Открытый исходный код большой языковой модели BLOOM, модель со 176 миллиардами параметров, которая объединяет усилия 1000 исследователей-добровольцев из более чем 250 учреждений в более чем 70 странах. Несмотря на то, что успех BLOOM достоин восхищения (и я его полностью поддерживаю), на координацию тренинга ушел год, и он опирался на финансирование в размере 3 миллионов евро от французского научно-исследовательского института (не считая капитальных затрат на суперкомпьютер, использованный для обучения модели). Процесс использования нового раунда финансирования для координации и итераций BLOOM слишком громоздкий, чтобы соответствовать скорости разработки в крупных технологических лабораториях. ПРОШЛО БОЛЕЕ ДВУХ ЛЕТ С ТЕХ ПОР, КАК BLOOM БЫЛ ВЫПУЩЕН, И КОМАНДА ЕЩЕ НЕ СЛЫШАЛА О КАКИХ-ЛИБО ПОСЛЕДУЮЩИХ МОДЕЛЯХ. Для того, чтобы Открытый исходный код стал возможен, нам нужно найти способ стимулировать поставщиков ресурсов предоставлять свои вычислительные мощности и ресурсы данных, а не заставлять участников Открытого исходного кода нести эти расходы самостоятельно. Почему технология шифрования может решить «проблему ресурсов» лежащего в основе Открытый исходный код AI Основной прорыв технологии шифрования заключается в том, чтобы сделать возможным проект программного обеспечения с высокими затратами ресурсов Открытый исходный код с помощью механизма «владения». Он решает проблемы с ресурсами Открытого исходного кода ИИ, стимулируя потенциальных поставщиков ресурсов к участию в сети, вместо того, чтобы участники Открытого исходного кода несли расходы на эти ресурсы заранее. BTC — хороший тому пример. Как самый ранний проект шифрования, BTC является полностью открытым исходным кодом, и его код был публичным с самого начала. Однако сам код не является ключом к BTC. Нет смысла просто скачать и запустить программное обеспечение BTCУзел и создать цепочку блоков локально. Истинная ценность программного обеспечения может быть реализована только в том случае, если объем вычислений, требуемый МайнингБлок, достаточен для того, чтобы превысить вычислительную мощность любого отдельного участника: ведение децентрализации, неконтролируемого реестра. Подобно базовому Открытый исходный код AI, BTC также является проектом Открытый исходный код, который требует ресурсов, выходящих за рамки возможностей человека. Несмотря на то, что они требуют вычислительных ресурсов по разным причинам — BTC нужны вычислительные ресурсы, чтобы гарантировать, что сеть не может быть подделана, в то время как лежащий в основе ИИ требует вычислительных ресурсов для оптимизации и итерации моделей — общим для всех них является то, что они оба полагаются на ресурсы, которые выходят за рамки возможностей отдельных людей. «Секрет» BTC, как и любой другой сети шифрования, который стимулирует участников вкладывать ресурсы в программный проект Открытый исходный код, заключается в предоставлении права собственности на сеть через токены. Как указано в основополагающей философии Джесси, написанной для Variant в 2020 году, владение обеспечивает сильный стимул для поставщиков ресурсов, чтобы они были готовы вносить ресурсы в обмен на потенциальную прибыль в сети. Этот механизм похож на то, как стартапы решают проблему нехватки финансирования на ранних стадиях с помощью (Sweat Equity) «потного капитала» — платя сотрудникам на ранних стадиях (например, основателям) в основном в форме владения компанией, стартапы могут привлечь рабочую силу, которую в противном случае они не смогли бы себе позволить. Технология шифрования расширяет концепцию «потового капитала», фокусируясь на временных вкладчиках и поставщиках ресурсов. В результате Variant фокусируется на инвестировании в проекты, использующие механизмы собственности для создания сетевых эффектов, такие как Uniswap, Morpho и World. Если мы хотим, чтобы Открытый исходный код AI стал реальностью, то механизм владения, реализованный через технологию шифрования, является ключевым решением ресурсной проблемы. Этот механизм дает исследователям свободу вносить свои идеи по проектированию модели в проект Открытый исходный код, поскольку вычислительные ресурсы и ресурсы данных, необходимые для реализации этих идей, будут нести поставщик ресурсов, который будет вознагражден получением дробного владения проектом, а не требовать от исследователя самостоятельно нести высокие первоначальные затраты. В Открытый исходный код ИИ право собственности может принимать различные формы, но одной из наиболее ожидаемых является владение самой моделью, что также является решением, предложенным Pluralis. Подход, предложенный Pluralis, известен как модели протоколов. В этом режиме поставщик вычислительных ресурсов может обучить конкретную модель Открытый исходный код, предоставив вычислительную мощность, и, таким образом, получить дробное владение будущего дохода от логического вывода модели. Поскольку это право собственности привязано к конкретной модели, а его ценность основана на доходе модели от логического вывода, поставщик вычислительных ресурсов заинтересован в выборе оптимальной модели для обучения без фальсификации обучающих данных (поскольку предоставление бесполезного обучения напрямую приравнивается к ожидаемой величине будущего дохода от логического вывода). Однако ключевой вопрос заключается в следующем: как Pluralis обеспечивает безопасность владения, если процесс обучения требует, чтобы весовые коэффициенты модели отправлялись поставщику вычислений? Ответ кроется в использовании (Model Parallelism) техники "распараллеливания моделей" для распространения модели Шардинг между разными рабочими процессами. Важной особенностью нейронных сетей является то, что даже если известна лишь малая часть весов модели, вычислитель все равно может участвовать в обучении, гарантируя, что полный набор весов не может быть извлечен. Кроме того, из-за того, что на платформе Pluralis одновременно тренируется множество различных моделей, тренер столкнется с большим количеством различных весовых наборов, что крайне затрудняет перестройку полной модели. Основная идея моделей протоколов заключается в том, что эти модели могут быть обучены и использованы, но они не могут быть полностью извлечены из протокола (если только используемая вычислительная мощность не превышает ресурсы, необходимые для обучения модели с нуля). Этот механизм решает проблему, часто поднимаемую критиками Открытого исходного кода ИИ, заключающуюся в том, что закрытые конкуренты ИИ могут незаконно присвоить плоды проекта Открытый исходный код. Почему технология шифрования + Открытый исходный код = лучший ИИ В начале статьи я проиллюстрировал этические и нормативные аспекты закрытого ИИ, проанализировав контроль ИИ со стороны Big Tech. Но в век бессилия, боюсь, что такой аргумент может не найти отклика у большинства читателей. Итак, я хотел бы привести две причины, по которым открытый исходный код ИИ, основанный на технологии шифрования, действительно может привести к улучшению ИИ. Во-первых, сочетание технологии шифрования и открытого исходного кода ИИ может координировать больше ресурсов для разработки следующего поколения фундаментальных моделей (Foundation Models). Исследования показали, что увеличение вычислительной мощности и ресурсов данных может помочь повысить производительность модели, поэтому размер базовой модели увеличивается. BTC показывает нам потенциал программного обеспечения Открытый исходный код в сочетании с технологией шифрования с точки зрения вычислительной мощности. Она стала крупнейшей и самой мощной вычислительной сетью в мире, намного превышающей ресурсы облачных вычислений, принадлежащие Big Tech. Технология шифрования уникальна тем, что она превращает изолированную конкуренцию в совместную. Стимулируя поставщиков ресурсов выделять ресурсы для решения общих проблем, а не работать разрозненно и дублировать усилия, сеть шифрования позволяет эффективно использовать ресурсы. С помощью технологии шифрования Открытый исходный код ИИ сможет использовать мировые вычислительные ресурсы и ресурсы данных для создания моделей, которые намного больше, чем закрытый ИИ. Например, компания Hyperbolic продемонстрировала потенциал этой модели. Они максимально эффективно используют распределенные вычислительные ресурсы, позволяя любому желающему арендовать графические процессоры по более низкой цене через открытый рынок. Во-вторых, сочетание технологии шифрования с открытым исходным кодом ИИ будет способствовать ускорению инноваций. Это связано с тем, что, как только проблема ресурсов будет решена, исследования в области машинного обучения могут вернуться к своей итеративной и инновационной природе Открытый исходный код. До появления фундаментальных больших языковых моделей (LLM) исследователи в области машинного обучения часто публично публиковали свои модели и воспроизводимые чертежи. Эти модели обычно используют набор данных Открытый исходный код, который менее ресурсоемок в вычислительном отношении, поэтому исследователи могут постоянно оптимизировать и внедрять инновации на этих основах. Именно этот неограниченный, итеративный процесс привел ко многим прорывам в области последовательного моделирования, таким как рекуррентные нейронные сети (RNN), (LSTM) сетей длительной кратковременной памяти и механизмы внимания (Attention Mechanisms), в конечном счете, это делает возможной архитектуру модели Transformer. Однако этот открытый подход к исследованиям изменился с момента запуска GPT-3. Благодаря успеху GPT-3 и ChatGPT OpenAI доказала, что при достаточном количестве вычислительных ресурсов и данных можно обучать большие языковые модели с возможностями понимания языка. Эта тенденция привела к резкому смещению порогов ресурсов, что привело к постепенному исключению академических кругов и тому факту, что крупные технологические компании больше не публикуют свои модельные архитектуры, чтобы сохранить конкурентное преимущество. Эта ситуация ограничивает наши возможности по развитию ИИ. Открытый исходный код ИИ, реализованный с помощью технологии шифрования, может изменить это. Это позволяет исследователям снова повторять передовые модели, чтобы обнаружить «следующего трансформера». Эта комбинация не только решает проблему ресурсов, но и оживляет инновации в области машинного обучения, открывая более широкий путь для будущего ИИ.