Бросьте вызов гегемонии Nvidia H100! IBM моделирует чип искусственной нейронной сети человеческого мозга, что повышает эффективность в 14 раз и решает проблему энергопотребления модели искусственного интеллекта.
Недавно IBM выпустила новый 14-нм аналоговый чип искусственного интеллекта, который в 14 раз более эффективен, чем ведущий графический процессор, поэтому H100 стоит своих денег.
Бумажный адрес:
В настоящее время самым большим препятствием в развитии генеративного искусственного интеллекта является его ошеломляющее энергопотребление. Ресурсы, необходимые для ИИ, не могут расти устойчиво.
IBM, с другой стороны, исследует способы изменить компьютерные технологии искусственного интеллекта. Одним из их достижений является метод моделирования вычислений в памяти/моделирования искусственного интеллекта, который может снизить потребление энергии за счет использования ключевых особенностей нейронных сетей, работающих в биологическом мозге.
Такой подход сводит к минимуму время и усилия, которые мы тратим на вычисления.
Монополия Nvidia скоро будет подорвана?
## Новейший проект IBM по будущему искусственного интеллекта: аналоговые чипы искусственного интеллекта в 14 раз более энергоэффективны
Согласно сообщению зарубежного СМИ Insider, Дилан Патель, главный аналитик исследовательской компании SemiAnalysis, занимающейся исследованием полупроводников, проанализировал, что ежедневные эксплуатационные расходы ChatGPT превысили 700 000 долларов США.
ChatGPT требует большой вычислительной мощности для генерации ответов на основе запросов пользователя. Большая часть затрат приходится на дорогие серверы.
В будущем стоимость моделей обучения и эксплуатации инфраструктуры будет только расти все больше и больше.
IBM опубликовала в журнале Nature, что этот новый чип может снизить нагрузку на создание и эксплуатацию предприятий, занимающихся генеративным искусственным интеллектом, таких как Midjourney или GPT-4, за счет снижения энергопотребления.
Эти аналоговые чипы устроены иначе, чем цифровые чипы, которые могут манипулировать аналоговыми сигналами и понимать градиенты от 0 до 1, но только для разных двоичных сигналов.
Имитация вычислений в памяти/Имитация искусственного интеллекта
А новый подход IBM заключается в моделировании вычислений в памяти или, для краткости, моделировании искусственного интеллекта. Он снижает потребление энергии за счет использования ключевой особенности нейронных сетей, работающих в биологическом мозге.
В мозгу людей и других животных сила (или «вес») синапсов определяет связь между нейронами.
Для аналоговых систем искусственного интеллекта IBM сохраняет эти синаптические веса в значениях проводимости устройств резистивной памяти нанометрового масштаба (таких как память PCM с фазовым изменением) и использует законы цепей, чтобы уменьшить необходимость постоянной передачи данных между памятью и процессор выполняет операцию умножения-накопления (MAC) — основную операцию в DNN.
Сейчас на многих платформах генеративного искусственного интеллекта используются H100 и A100 от Nvidia.
Однако, если IBM доработает прототип чипа и успешно выведет его на массовый рынок, этот новый чип вполне может заменить Nvidia в качестве новой опоры.
Этот 14-нм аналоговый чип искусственного интеллекта может кодировать 35 миллионов устройств памяти с фазовым изменением для каждого компонента и моделировать до 17 миллионов параметров.
Чип имитирует работу человеческого мозга: микрочип выполняет вычисления непосредственно в памяти.
Система чипа может обеспечить эффективное распознавание и транскрипцию речи с точностью, близкой к точности цифрового оборудования.
Этот чип достигает этого показателя примерно в 14 раз, а предыдущие моделирования показывают, что энергоэффективность этого оборудования даже в 40–140 раз выше, чем у ведущих сегодня графических процессоров.
Поперечная матрица PCM, программирование и цифровая обработка сигналов
Эта генеративная революция искусственного интеллекта только началась. Глубокие нейронные сети (DNN) произвели революцию в области искусственного интеллекта, получив известность благодаря разработке фундаментальных моделей и генеративного искусственного интеллекта.
Однако запуск этих моделей на традиционных архитектурах математических вычислений ограничивает их производительность и энергоэффективность.
Несмотря на достигнутый прогресс в разработке аппаратного обеспечения для вывода ИИ, многие из этих архитектур физически разделяют память и процессоры.
Это означает, что модели ИИ обычно хранятся в отдельных ячейках памяти, а вычислительные задачи требуют постоянного перемещения данных между памятью и процессорами. Этот процесс может существенно замедлить вычисления, ограничивая максимальную достижимую энергоэффективность.
Характеристики производительности устройств PCM с использованием фазовой конфигурации и допуска для хранения синаптических весов аналогового типа.
Чип ускорения искусственного интеллекта IBM на основе памяти с фазовым изменением (PCM) избавляет от этого ограничения.
Память с фазовым изменением (PCM) может реализовать интеграцию вычислений и хранения, а также напрямую выполнять матрично-векторное умножение в памяти, избегая проблем передачи данных.
В то же время аналоговый чип искусственного интеллекта IBM обеспечивает эффективное ускорение рассуждений искусственного интеллекта за счет интеграции вычислений и хранения данных на аппаратном уровне, что является важным прогрессом в этой области.
Две ключевые проблемы моделирования ИИ
Чтобы воплотить в жизнь концепцию моделирования искусственного интеллекта, необходимо решить две ключевые проблемы:
Вычислительная точность массива памяти должна быть сопоставима с таковой у существующих цифровых систем.
Массив памяти может легко взаимодействовать с другими цифровыми вычислительными блоками и структурой цифровой связи на аналоговом чипе искусственного интеллекта.
IBM производит чип-ускоритель искусственного интеллекта на основе памяти с фазовым изменением в своем технологическом центре в Олбани-Нано.
Чип состоит из 64 вычислительных ядер аналоговой памяти, каждое из которых содержит 256×256 перекрестно-полосных синаптических блоков.
В каждый чип интегрирован компактный аналогово-цифровой преобразователь, работающий по времени, для преобразования между аналоговым и цифровым мирами.
Легкий цифровой процессор в чипе также может выполнять простые нелинейные функции активации нейронов и операции масштабирования.
Каждое ядро можно рассматривать как плитку, которая может выполнять матрично-векторное умножение и другие операции, связанные со слоем (например, сверточным слоем) модели глубокой нейронной сети (DNN).
Весовая матрица кодируется в моделируемое значение проводимости устройства PCM и сохраняется на кристалле.
Глобальный цифровой процессор встроен в середину основного массива чипа для реализации некоторых более сложных операций, чем матрично-векторное умножение, что имеет решающее значение для выполнения определенных типов нейронных сетей (например, LSTM).
Каналы цифровой связи интегрированы внутри кристалла между всеми ядрами и глобальными цифровыми процессорами для передачи данных между ядрами, а также между ядрами и глобальными блоками.
A: снимок автоматизации электронного проектирования и микрофотография чипа, вы можете видеть 64 ядра и 5616 площадок.
б: Принципиальная схема различных компонентов чипа, включая 64 ядра, 8 глобальных цифровых процессоров и каналы передачи данных между ядрами.
c: Структура одного вычислительного ядра в памяти на базе PCM.
d: Структура глобального цифрового процессора для вычислений, связанных с LSTM.
Используя этот чип, IBM провела комплексное исследование вычислительной точности вычислений в аналоговой памяти и достигла точности 92,81% на наборе данных изображений CIFAR-10.
Это самая высокая точность, зарегистрированная на данный момент для чипа, использующего аналогичную технологию.
IBM также органично сочетает аналоговые вычисления в памяти с несколькими цифровыми процессорами и структурами цифровой связи.
8-битная матрица умножения ввода-вывода чипа имеет пропускную способность единицы площади 400 GOPS/мм2, что более чем в 15 раз выше, чем у предыдущих чипов многоядерной памяти, основанных на резистивной памяти, при этом достигая значительной энергоэффективности.
В задаче прогнозирования символов и генерации аннотаций изображений IBM сравнила результаты, измеренные на оборудовании, с другими методами, а также продемонстрировала структуру сети, программирование веса и результаты измерений связанных задач, выполняемых на моделируемом чипе искусственного интеллекта.
Измерения LSTM для предсказания символов
Сетевые измерения LSTM для создания аннотаций изображений
процесс программирования веса
**Ров NVIDIA бездонен? **
Так ли легко сломать монополию Nvidia?
Навин Рао — предприниматель, занимающийся нейробиологией и технологиями, который пытался конкурировать с Nvidia, ведущим мировым производителем искусственного интеллекта.
"Все разрабатывают продукты на базе Nvidia, - сказал Рао. - Если вы хотите выпускать новое оборудование, вам придется догонять и конкурировать с Nvidia".
Рао работал над чипами, предназначенными для замены графических процессоров Nvidia, в стартапе, приобретенном Intel, но после ухода из Intel он использовал чипы Nvidia в MosaicML, стартапе по разработке программного обеспечения, которым он руководил.
Рао сказал, что Nvidia не только создала огромный разрыв с другими продуктами на чипе, но и добилась дифференциации за пределами чипа, создав большое сообщество программистов ИИ ——
Программисты искусственного интеллекта используют технологии компании для инноваций.
За более чем десять лет Nvidia завоевала практически неоспоримое лидерство в производстве чипов, которые могут выполнять сложные задачи искусственного интеллекта, такие как распознавание изображений, лиц и речи, а также генерировать текст для чат-ботов, таких как ChatGPT.
Некогда выскочка в отрасли смогла добиться доминирования в производстве чипов для искусственного интеллекта, поскольку она заранее распознала тенденции в области искусственного интеллекта, создала специальные чипы для этих задач и разработала важное программное обеспечение, которое облегчило разработку искусственного интеллекта.
С тех пор соучредитель и генеральный директор Nvidia Дженсен Хуанг поднимает планку для Nvidia.
Это делает Nvidia универсальным поставщиком средств разработки искусственного интеллекта.
По данным исследовательской компании Omdia, в то время как Google, Amazon, Meta, IBM и другие также производят чипы искусственного интеллекта, на Nvidia в настоящее время приходится более 70% продаж чипов искусственного интеллекта.
В июне этого года рыночная стоимость Nvidia превысила 1 триллион долларов, что сделало ее самым ценным производителем чипов в мире.
«Клиенты будут ждать 18 месяцев, чтобы купить системы Nvidia, вместо того, чтобы покупать готовые чипы у стартапов или других конкурентов. Это невероятно», — говорят аналитики FuturumGroup.
NVIDIA меняет методы вычислений
Дженсен Хуанг стал соучредителем Nvidia в 1993 году, занимаясь производством чипов для рендеринга изображений в видеоиграх. Стандартные микропроцессоры того времени хорошо справлялись с последовательным выполнением сложных вычислений, но Nvidia создала графические процессоры, способные одновременно выполнять несколько простых задач.
В 2006 году Дженсен Хуанг продвинул этот процесс еще дальше. Он выпустил программную технологию под названием CUDA, которая помогает программировать графические процессоры для новых задач, превращая графические процессоры из одноцелевых чипов в чипы более общего назначения, которые могут выполнять другие задачи в таких областях, как физическое и химическое моделирование.
В 2012 году исследователи использовали графические процессоры для достижения человеческой точности в таких задачах, как идентификация кошек на изображениях, что стало крупным прорывом и предшественником недавних разработок, таких как создание изображений из текстовых сигналов.
Усилия, которые, по оценкам Nvidia, обошлись более чем в 30 миллиардов долларов за десять лет, делают Nvidia больше, чем просто поставщиком запчастей. Помимо сотрудничества с ведущими учеными и стартапами, компания собрала команду, которая непосредственно занимается деятельностью в области искусственного интеллекта, такой как создание и обучение языковых моделей.
Кроме того, потребности практиков побудили Nvidia разработать несколько уровней ключевого программного обеспечения помимо CUDA, которое также включало библиотеки из сотен строк предварительно созданного кода.
Что касается аппаратного обеспечения, Nvidia заслужила репутацию компании, которая постоянно поставляет более быстрые чипы каждые два или три года. В 2017 году Nvidia начала настраивать графические процессоры для выполнения конкретных вычислений ИИ.
В сентябре прошлого года Nvidia объявила, что производит новый чип под названием H100, который был улучшен для выполнения так называемых операций Transformer. Подобные расчеты лежат в основе таких сервисов, как ChatGPT, который Хуан назвал «моментом iPhone» для генеративного искусственного интеллекта.
Сегодня, если продукты других производителей не смогут составить положительную конкуренцию графическим процессорам Nvidia, можно сломать нынешнюю монополию Nvidia на вычислительную мощность ИИ.
Возможно ли создание аналогового ИИ-чипа IBM?
Использованная литература:
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Бросьте вызов гегемонии Nvidia H100! IBM моделирует чип искусственной нейронной сети человеческого мозга, что повышает эффективность в 14 раз и решает проблему энергопотребления модели искусственного интеллекта.
Первоисточник: Синьчжиюань
Недавно IBM выпустила новый 14-нм аналоговый чип искусственного интеллекта, который в 14 раз более эффективен, чем ведущий графический процессор, поэтому H100 стоит своих денег.
В настоящее время самым большим препятствием в развитии генеративного искусственного интеллекта является его ошеломляющее энергопотребление. Ресурсы, необходимые для ИИ, не могут расти устойчиво.
IBM, с другой стороны, исследует способы изменить компьютерные технологии искусственного интеллекта. Одним из их достижений является метод моделирования вычислений в памяти/моделирования искусственного интеллекта, который может снизить потребление энергии за счет использования ключевых особенностей нейронных сетей, работающих в биологическом мозге.
Такой подход сводит к минимуму время и усилия, которые мы тратим на вычисления.
Монополия Nvidia скоро будет подорвана?
Согласно сообщению зарубежного СМИ Insider, Дилан Патель, главный аналитик исследовательской компании SemiAnalysis, занимающейся исследованием полупроводников, проанализировал, что ежедневные эксплуатационные расходы ChatGPT превысили 700 000 долларов США.
ChatGPT требует большой вычислительной мощности для генерации ответов на основе запросов пользователя. Большая часть затрат приходится на дорогие серверы.
В будущем стоимость моделей обучения и эксплуатации инфраструктуры будет только расти все больше и больше.
Эти аналоговые чипы устроены иначе, чем цифровые чипы, которые могут манипулировать аналоговыми сигналами и понимать градиенты от 0 до 1, но только для разных двоичных сигналов.
Имитация вычислений в памяти/Имитация искусственного интеллекта
А новый подход IBM заключается в моделировании вычислений в памяти или, для краткости, моделировании искусственного интеллекта. Он снижает потребление энергии за счет использования ключевой особенности нейронных сетей, работающих в биологическом мозге.
В мозгу людей и других животных сила (или «вес») синапсов определяет связь между нейронами.
Для аналоговых систем искусственного интеллекта IBM сохраняет эти синаптические веса в значениях проводимости устройств резистивной памяти нанометрового масштаба (таких как память PCM с фазовым изменением) и использует законы цепей, чтобы уменьшить необходимость постоянной передачи данных между памятью и процессор выполняет операцию умножения-накопления (MAC) — основную операцию в DNN.
Сейчас на многих платформах генеративного искусственного интеллекта используются H100 и A100 от Nvidia.
Однако, если IBM доработает прототип чипа и успешно выведет его на массовый рынок, этот новый чип вполне может заменить Nvidia в качестве новой опоры.
Чип имитирует работу человеческого мозга: микрочип выполняет вычисления непосредственно в памяти.
Система чипа может обеспечить эффективное распознавание и транскрипцию речи с точностью, близкой к точности цифрового оборудования.
Этот чип достигает этого показателя примерно в 14 раз, а предыдущие моделирования показывают, что энергоэффективность этого оборудования даже в 40–140 раз выше, чем у ведущих сегодня графических процессоров.
Эта генеративная революция искусственного интеллекта только началась. Глубокие нейронные сети (DNN) произвели революцию в области искусственного интеллекта, получив известность благодаря разработке фундаментальных моделей и генеративного искусственного интеллекта.
Однако запуск этих моделей на традиционных архитектурах математических вычислений ограничивает их производительность и энергоэффективность.
Несмотря на достигнутый прогресс в разработке аппаратного обеспечения для вывода ИИ, многие из этих архитектур физически разделяют память и процессоры.
Это означает, что модели ИИ обычно хранятся в отдельных ячейках памяти, а вычислительные задачи требуют постоянного перемещения данных между памятью и процессорами. Этот процесс может существенно замедлить вычисления, ограничивая максимальную достижимую энергоэффективность.
Чип ускорения искусственного интеллекта IBM на основе памяти с фазовым изменением (PCM) избавляет от этого ограничения.
Память с фазовым изменением (PCM) может реализовать интеграцию вычислений и хранения, а также напрямую выполнять матрично-векторное умножение в памяти, избегая проблем передачи данных.
В то же время аналоговый чип искусственного интеллекта IBM обеспечивает эффективное ускорение рассуждений искусственного интеллекта за счет интеграции вычислений и хранения данных на аппаратном уровне, что является важным прогрессом в этой области.
Две ключевые проблемы моделирования ИИ
Чтобы воплотить в жизнь концепцию моделирования искусственного интеллекта, необходимо решить две ключевые проблемы:
Вычислительная точность массива памяти должна быть сопоставима с таковой у существующих цифровых систем.
Массив памяти может легко взаимодействовать с другими цифровыми вычислительными блоками и структурой цифровой связи на аналоговом чипе искусственного интеллекта.
IBM производит чип-ускоритель искусственного интеллекта на основе памяти с фазовым изменением в своем технологическом центре в Олбани-Нано.
Чип состоит из 64 вычислительных ядер аналоговой памяти, каждое из которых содержит 256×256 перекрестно-полосных синаптических блоков.
В каждый чип интегрирован компактный аналогово-цифровой преобразователь, работающий по времени, для преобразования между аналоговым и цифровым мирами.
Легкий цифровой процессор в чипе также может выполнять простые нелинейные функции активации нейронов и операции масштабирования.
Каждое ядро можно рассматривать как плитку, которая может выполнять матрично-векторное умножение и другие операции, связанные со слоем (например, сверточным слоем) модели глубокой нейронной сети (DNN).
Весовая матрица кодируется в моделируемое значение проводимости устройства PCM и сохраняется на кристалле.
Глобальный цифровой процессор встроен в середину основного массива чипа для реализации некоторых более сложных операций, чем матрично-векторное умножение, что имеет решающее значение для выполнения определенных типов нейронных сетей (например, LSTM).
Каналы цифровой связи интегрированы внутри кристалла между всеми ядрами и глобальными цифровыми процессорами для передачи данных между ядрами, а также между ядрами и глобальными блоками.
б: Принципиальная схема различных компонентов чипа, включая 64 ядра, 8 глобальных цифровых процессоров и каналы передачи данных между ядрами.
c: Структура одного вычислительного ядра в памяти на базе PCM.
d: Структура глобального цифрового процессора для вычислений, связанных с LSTM.
Используя этот чип, IBM провела комплексное исследование вычислительной точности вычислений в аналоговой памяти и достигла точности 92,81% на наборе данных изображений CIFAR-10.
б: способ отображения этой сети на чипе
c: аппаратно реализованная точность теста CIFAR-10.
Это самая высокая точность, зарегистрированная на данный момент для чипа, использующего аналогичную технологию.
IBM также органично сочетает аналоговые вычисления в памяти с несколькими цифровыми процессорами и структурами цифровой связи.
8-битная матрица умножения ввода-вывода чипа имеет пропускную способность единицы площади 400 GOPS/мм2, что более чем в 15 раз выше, чем у предыдущих чипов многоядерной памяти, основанных на резистивной памяти, при этом достигая значительной энергоэффективности.
В задаче прогнозирования символов и генерации аннотаций изображений IBM сравнила результаты, измеренные на оборудовании, с другими методами, а также продемонстрировала структуру сети, программирование веса и результаты измерений связанных задач, выполняемых на моделируемом чипе искусственного интеллекта.
**Ров NVIDIA бездонен? **
Так ли легко сломать монополию Nvidia?
Навин Рао — предприниматель, занимающийся нейробиологией и технологиями, который пытался конкурировать с Nvidia, ведущим мировым производителем искусственного интеллекта.
"Все разрабатывают продукты на базе Nvidia, - сказал Рао. - Если вы хотите выпускать новое оборудование, вам придется догонять и конкурировать с Nvidia".
Рао работал над чипами, предназначенными для замены графических процессоров Nvidia, в стартапе, приобретенном Intel, но после ухода из Intel он использовал чипы Nvidia в MosaicML, стартапе по разработке программного обеспечения, которым он руководил.
Рао сказал, что Nvidia не только создала огромный разрыв с другими продуктами на чипе, но и добилась дифференциации за пределами чипа, создав большое сообщество программистов ИИ ——
Программисты искусственного интеллекта используют технологии компании для инноваций.
Некогда выскочка в отрасли смогла добиться доминирования в производстве чипов для искусственного интеллекта, поскольку она заранее распознала тенденции в области искусственного интеллекта, создала специальные чипы для этих задач и разработала важное программное обеспечение, которое облегчило разработку искусственного интеллекта.
С тех пор соучредитель и генеральный директор Nvidia Дженсен Хуанг поднимает планку для Nvidia.
По данным исследовательской компании Omdia, в то время как Google, Amazon, Meta, IBM и другие также производят чипы искусственного интеллекта, на Nvidia в настоящее время приходится более 70% продаж чипов искусственного интеллекта.
В июне этого года рыночная стоимость Nvidia превысила 1 триллион долларов, что сделало ее самым ценным производителем чипов в мире.
NVIDIA меняет методы вычислений
Дженсен Хуанг стал соучредителем Nvidia в 1993 году, занимаясь производством чипов для рендеринга изображений в видеоиграх. Стандартные микропроцессоры того времени хорошо справлялись с последовательным выполнением сложных вычислений, но Nvidia создала графические процессоры, способные одновременно выполнять несколько простых задач.
В 2006 году Дженсен Хуанг продвинул этот процесс еще дальше. Он выпустил программную технологию под названием CUDA, которая помогает программировать графические процессоры для новых задач, превращая графические процессоры из одноцелевых чипов в чипы более общего назначения, которые могут выполнять другие задачи в таких областях, как физическое и химическое моделирование.
Усилия, которые, по оценкам Nvidia, обошлись более чем в 30 миллиардов долларов за десять лет, делают Nvidia больше, чем просто поставщиком запчастей. Помимо сотрудничества с ведущими учеными и стартапами, компания собрала команду, которая непосредственно занимается деятельностью в области искусственного интеллекта, такой как создание и обучение языковых моделей.
Кроме того, потребности практиков побудили Nvidia разработать несколько уровней ключевого программного обеспечения помимо CUDA, которое также включало библиотеки из сотен строк предварительно созданного кода.
Что касается аппаратного обеспечения, Nvidia заслужила репутацию компании, которая постоянно поставляет более быстрые чипы каждые два или три года. В 2017 году Nvidia начала настраивать графические процессоры для выполнения конкретных вычислений ИИ.
В сентябре прошлого года Nvidia объявила, что производит новый чип под названием H100, который был улучшен для выполнения так называемых операций Transformer. Подобные расчеты лежат в основе таких сервисов, как ChatGPT, который Хуан назвал «моментом iPhone» для генеративного искусственного интеллекта.
Возможно ли создание аналогового ИИ-чипа IBM?
Использованная литература: