Киньте виклик гегемонії Nvidia H100! IBM моделює чіп штучної нейронної мережі людського мозку, що підвищує ефективність у 14 разів і вирішує проблему енергоспоживання моделі AI.
Нещодавно IBM випустила нову 14-нм аналогову мікросхему штучного інтелекту, яка в 14 разів ефективніша за провідний графічний процесор, завдяки чому H100 коштує грошей.
Адреса паперу:
Зараз найбільшою перешкодою для розвитку генеративного ШІ є його вражаюче енергоспоживання. Ресурси, необхідні для штучного інтелекту, не можуть зростати стабільно.
IBM, з іншого боку, досліджує способи змінити обчислення ШІ. Одним із їхніх досягнень є метод імітації обчислення пам’яті/імітації штучного інтелекту, який може зменшити споживання енергії за допомогою ключових функцій нейронних мереж, що працюють у біологічному мозку.
Такий підхід мінімізує час і зусилля, які ми витрачаємо на обчислення.
Монополію Nvidia збираються знищити?
## Останній проект IBM щодо майбутнього штучного інтелекту: аналогові мікросхеми штучного інтелекту в 14 разів енергоефективніші
Згідно зі звітом іноземного ЗМІ Insider, Ділан Пател, головний аналітик компанії з дослідження напівпровідників SemiAnalysis, проаналізував, що щоденні операційні витрати ChatGPT перевищили 700 000 доларів США.
ChatGPT потребує великої обчислювальної потужності для створення відповідей на основі підказок користувача. Більшість витрат припадає на дорогі сервери.
У майбутньому вартість навчальних моделей та операційної інфраструктури буде зростати все більше і більше.
IBM опублікувала в Nature, що цей новий чіп може зменшити навантаження на створення та експлуатацію генеративних підприємств штучного інтелекту, таких як Midjourney або GPT-4, шляхом зменшення споживання енергії.
Ці аналогові мікросхеми побудовані інакше, ніж цифрові мікросхеми, які можуть маніпулювати аналоговими сигналами та розуміти градієнти від 0 до 1, але лише для різних двійкових сигналів.
І новий підхід IBM полягає в симуляції обчислень пам’яті, або, скорочено, симуляції ШІ. Він зменшує споживання енергії, використовуючи ключову функцію нейронних мереж, що працюють у біологічному мозку.
У мозку людини та інших тварин сила (або «вага») синапсів визначає зв’язок між нейронами.
Для аналогових систем штучного інтелекту IBM зберігає ці синаптичні ваги в значеннях провідності пристроїв резистивної пам’яті нанометрового масштабу (таких як PCM пам’яті зі зміною фази) і використовує закони ланцюгів, щоб зменшити потребу постійно пересилати дані між пам’яттю та процесор, виконувати операцію множення-накопичення (MAC) - основну операцію в DNN.
Нині H100 і A100 Nvidia працюють над багатьма генеративними платформами ШІ.
Однак, якщо IBM повторить прототип чіпа та успішно виведе його на масовий ринок, цей новий чіп цілком може замінити Nvidia як нову опору.
Цей 14-нм аналоговий чіп AI може кодувати 35 мільйонів пристроїв пам’яті зі зміною фази для кожного компонента та може імітувати до 17 мільйонів параметрів.
Крім того, чіп імітує роботу людського мозку, коли мікрочіп виконує обчислення безпосередньо в пам’яті.
Система чіпа може досягти ефективного розпізнавання мови та транскрипції з точністю, близькою до цифрового апаратного забезпечення.
Цей чіп досягає приблизно в 14 разів, а попередні симуляції показують, що енергоефективність цього апаратного забезпечення навіть у 40-140 разів перевищує енергоефективність сучасних графічних процесорів.
Поперечна матриця PCM, програмування та цифрова обробка сигналу
Ця генеративна революція ШІ тільки почалася. Глибинні нейронні мережі (DNN) зробили революцію в області ШІ, набувши популярності з розробкою фундаментальних моделей і генеративного ШІ.
Однак запуск цих моделей на традиційних математичних обчислювальних архітектурах обмежує їх продуктивність та енергоефективність.
Незважаючи на прогрес у розробці апаратного забезпечення для висновків штучного інтелекту, багато з цих архітектур фізично розділяють пам’ять і процесори.
Це означає, що моделі штучного інтелекту зазвичай зберігаються в окремих місцях пам’яті, а обчислювальні завдання вимагають постійного перемішування даних між пам’яттю та процесорами. Цей процес може значно уповільнити обчислення, обмежуючи максимальну енергоефективність, яку можна досягти.
Експлуатаційні характеристики пристроїв PCM із використанням фазової конфігурації та доступу для зберігання синаптичних ваг аналогового типу
Мікросхема прискорення штучного інтелекту на основі фазової пам’яті (PCM) від IBM позбавляється цього обмеження.
Пам'ять зі зміною фази (PCM) може реалізувати інтеграцію обчислень і зберігання, а також безпосередньо виконувати множення матриці на вектор у пам'яті, уникаючи проблеми передачі даних.
У той же час, аналоговий чіп IBM AI реалізує ефективне прискорення штучного інтелекту за допомогою обчислень на апаратному рівні та інтеграції зберігання, що є важливим прогресом у цій галузі.
Два ключові проблеми моделювання ШІ
Щоб втілити в життя концепцію симуляції штучного інтелекту, потрібно подолати дві ключові проблеми:
Обчислювальна точність масиву пам’яті повинна бути порівнянна з точністю існуючих цифрових систем
Масив пам’яті може бездоганно взаємодіяти з іншими цифровими обчислювальними блоками та структурою цифрового зв’язку на аналоговому чіпі штучного інтелекту
IBM виробляє чіп-прискорювач штучного інтелекту на основі фазової пам’яті у своєму технологічному центрі в Олбані Нано.
Чіп складається з 64 обчислювальних ядер аналогової пам'яті, і кожне ядро містить 256×256 поперечних синаптичних блоків.
Крім того, у кожну мікросхему вбудовано компактний аналого-цифровий перетворювач з часовим діапазоном для перетворення між аналоговим і цифровим світами.
Легкий цифровий процесор у чіпі також може виконувати прості нелінійні функції активації нейронів і операції масштабування.
Кожне ядро можна розглядати як тайл, який може виконувати множення матриці-вектора та інші операції, пов’язані з шаром (наприклад, згортковим шаром) моделі глибокої нейронної мережі (DNN).
Вагова матриця кодується в змодельоване значення провідності пристрою PCM і зберігається на мікросхемі.
Глобальний цифровий процесор інтегрований у середину основного масиву чіпа для реалізації деяких більш складних операцій, ніж множення матриці на вектор, що є критичним для певних типів виконання нейронних мереж (таких як LSTM).
Цифрові канали зв’язку інтегровані на кристалі між усіма ядрами та глобальними цифровими процесорами для передачі даних між ядрами та між ядрами та глобальними блоками.
a: знімок автоматизації електронного дизайну та мікрофотографія мікросхеми, ви можете побачити 64 ядра та 5616 колодок
b: Схематична діаграма різних компонентів мікросхеми, включаючи 64 ядра, 8 глобальних цифрових процесорів і канали передачі даних між ядрами
c: Структура єдиного обчислювального ядра в пам'яті на базі PCM
d: Структура глобального цифрового процесора для обчислень, пов’язаних з LSTM
Використовуючи чіп, IBM провела комплексне дослідження точності обчислень аналогової пам’яті та досягла точності 92,81% на наборі зображень CIFAR-10.
a: Структура мережі ResNet-9 для CIFAR-10
b: спосіб відображення цієї мережі на чіпі
c: апаратно реалізована точність тесту CIFAR-10
Це найвища точність чіпа, що використовує аналогічну технологію.
IBM також легко поєднує аналогові обчислення в пам'яті з кількома цифровими процесорами та цифровими комунікаційними структурами.
8-розрядна матриця вводу-виводу множення чіпа має пропускну здатність одиниці площі 400 GOPS/мм2, що більш ніж у 15 разів вище, ніж у попередніх багатоядерних обчислювальних мікросхем пам’яті на основі резистивної пам’яті, при досягненні значної енергоефективності.
У завданні прогнозування символів і створенні анотацій зображень IBM порівняла результати, виміряні на апаратному забезпеченні, з іншими методами та продемонструвала структуру мережі, програмування ваги та результати вимірювань пов’язаних завдань, що виконуються на змодельованому чіпі ШІ.
Вимірювання LSTM для прогнозування характеру
Мережеві вимірювання LSTM для генерації анотацій зображень
процес програмування ваги
**Рів Nvidia бездонний? **
Чи так легко порушити монополію Nvidia?
Навін Рао — підприємець із нейронаук, який став технологічним, і намагався конкурувати з Nvidia, провідним у світі виробником штучного інтелекту.
"Усі розробляють на Nvidia, - сказав Рао. - Якщо ви хочете запустити нове обладнання, ви повинні наздогнати і конкурувати з Nvidia".
Рао працював над чіпами, призначеними для заміни графічних процесорів Nvidia в стартапі, придбаному Intel, але після відходу з Intel він використовував чіпи Nvidia в MosaicML, програмному стартапі, який він очолив.
Рао сказав, що Nvidia не тільки відкрила величезний розрив з іншими продуктами на чіпі, але й досягла диференціації за межами чіпа, створивши велику спільноту програмістів ШІ ——
Програмісти штучного інтелекту використовують технології компанії для інновацій.
Більше десяти років Nvidia займає майже безперечне лідерство у виробництві чіпів, які можуть виконувати складні завдання штучного інтелекту, такі як розпізнавання зображень, обличчя та мови, а також генерувати текст для чат-ботів, таких як ChatGPT.
Колишній новачок індустрії зміг досягти домінування у виробництві чіпів зі штучним інтелектом, оскільки він на ранній стадії розпізнав тенденції в ШІ, створив чіпи на замовлення для цих завдань і розробив критичне програмне забезпечення, яке сприяло розробці ШІ.
Відтоді співзасновник і генеральний директор Nvidia Дженсен Хуанг піднімає планку для Nvidia.
Це робить Nvidia єдиним постачальником для розробки ШІ.
Хоча Google, Amazon, Meta, IBM та інші також виробляють мікросхеми штучного інтелекту, на Nvidia в даний час припадає понад 70% продажів мікросхем штучного інтелекту, згідно з даними дослідницької компанії Omdia.
У червні цього року ринкова вартість Nvidia перевищила 1 трильйон доларів, що зробило її найдорожчим виробником мікросхем у світі.
«Клієнти чекатимуть 18 місяців, перш ніж купувати системи Nvidia, замість того, щоб купувати готові чіпи у стартапів чи інших конкурентів. Це неймовірно», — кажуть аналітики FuturumGroup.
NVIDIA, зміна методів обчислення
Дженсен Хуанг став співзасновником Nvidia в 1993 році, створюючи чіпи, які відтворюють зображення у відеоіграх. Стандартні мікропроцесори того часу добре виконували складні послідовні обчислення, але Nvidia створила графічні процесори, які могли виконувати кілька простих завдань одночасно.
У 2006 році Дженсен Хуанг пішов далі. Він випустив програмну технологію під назвою CUDA, яка допомагає програмувати графічні процесори для нових завдань, перетворюючи графічні процесори з одноцільових чіпів на чіпи більш загального призначення, які можуть виконувати інші завдання в таких галузях, як моделювання фізики та хімії.
У 2012 році дослідники використовували графічні процесори для досягнення людської точності в таких завданнях, як ідентифікація котів на зображеннях, що стало великим проривом і попередником останніх розробок, таких як генерація зображень із текстових підказок.
Ці зусилля, які, за оцінками Nvidia, коштують понад 30 мільярдів доларів за десятиліття, роблять Nvidia не просто постачальником запчастин. Окрім співпраці з провідними вченими та стартапами, компанія зібрала команду, яка безпосередньо бере участь у діяльності ШІ, наприклад створенні та навчанні мовних моделей.
Крім того, потреби практиків спонукали Nvidia до розробки кількох рівнів ключового програмного забезпечення, крім CUDA, яке також включало бібліотеки із сотень рядків попередньо створеного коду.
Що стосується апаратного забезпечення, то Nvidia заслужила репутацію компанії, що постійно постачає більш швидкісні чіпи кожні два-три роки. У 2017 році Nvidia почала налаштовувати графічні процесори для обробки конкретних обчислень ШІ.
У вересні минулого року Nvidia оголосила, що виробляє новий чіп під назвою H100, який був вдосконалений для обробки так званих операцій Transformer. Такі розрахунки стали основою таких сервісів, як ChatGPT, який Хуанг назвав «моментом iPhone» генеративного штучного інтелекту.
Сьогодні, якщо продукти інших виробників не зможуть скласти позитивну конкуренцію GPU Nvidia, можна порушити поточну монополію Nvidia на обчислювальну потужність AI.
Чи можливо це для аналогового чіпа AI від IBM?
Література:
Переглянути оригінал
Контент має виключно довідковий характер і не є запрошенням до участі або пропозицією. Інвестиційні, податкові чи юридичні консультації не надаються. Перегляньте Відмову від відповідальності , щоб дізнатися більше про ризики.
Киньте виклик гегемонії Nvidia H100! IBM моделює чіп штучної нейронної мережі людського мозку, що підвищує ефективність у 14 разів і вирішує проблему енергоспоживання моделі AI.
Перше джерело: Xinzhiyuan
Нещодавно IBM випустила нову 14-нм аналогову мікросхему штучного інтелекту, яка в 14 разів ефективніша за провідний графічний процесор, завдяки чому H100 коштує грошей.
Зараз найбільшою перешкодою для розвитку генеративного ШІ є його вражаюче енергоспоживання. Ресурси, необхідні для штучного інтелекту, не можуть зростати стабільно.
IBM, з іншого боку, досліджує способи змінити обчислення ШІ. Одним із їхніх досягнень є метод імітації обчислення пам’яті/імітації штучного інтелекту, який може зменшити споживання енергії за допомогою ключових функцій нейронних мереж, що працюють у біологічному мозку.
Такий підхід мінімізує час і зусилля, які ми витрачаємо на обчислення.
Монополію Nvidia збираються знищити?
Згідно зі звітом іноземного ЗМІ Insider, Ділан Пател, головний аналітик компанії з дослідження напівпровідників SemiAnalysis, проаналізував, що щоденні операційні витрати ChatGPT перевищили 700 000 доларів США.
ChatGPT потребує великої обчислювальної потужності для створення відповідей на основі підказок користувача. Більшість витрат припадає на дорогі сервери.
У майбутньому вартість навчальних моделей та операційної інфраструктури буде зростати все більше і більше.
Ці аналогові мікросхеми побудовані інакше, ніж цифрові мікросхеми, які можуть маніпулювати аналоговими сигналами та розуміти градієнти від 0 до 1, але лише для різних двійкових сигналів.
Імітація обчислень пам'яті/Імітація штучного інтелекту
І новий підхід IBM полягає в симуляції обчислень пам’яті, або, скорочено, симуляції ШІ. Він зменшує споживання енергії, використовуючи ключову функцію нейронних мереж, що працюють у біологічному мозку.
У мозку людини та інших тварин сила (або «вага») синапсів визначає зв’язок між нейронами.
Для аналогових систем штучного інтелекту IBM зберігає ці синаптичні ваги в значеннях провідності пристроїв резистивної пам’яті нанометрового масштабу (таких як PCM пам’яті зі зміною фази) і використовує закони ланцюгів, щоб зменшити потребу постійно пересилати дані між пам’яттю та процесор, виконувати операцію множення-накопичення (MAC) - основну операцію в DNN.
Нині H100 і A100 Nvidia працюють над багатьма генеративними платформами ШІ.
Однак, якщо IBM повторить прототип чіпа та успішно виведе його на масовий ринок, цей новий чіп цілком може замінити Nvidia як нову опору.
Крім того, чіп імітує роботу людського мозку, коли мікрочіп виконує обчислення безпосередньо в пам’яті.
Система чіпа може досягти ефективного розпізнавання мови та транскрипції з точністю, близькою до цифрового апаратного забезпечення.
Цей чіп досягає приблизно в 14 разів, а попередні симуляції показують, що енергоефективність цього апаратного забезпечення навіть у 40-140 разів перевищує енергоефективність сучасних графічних процесорів.
Ця генеративна революція ШІ тільки почалася. Глибинні нейронні мережі (DNN) зробили революцію в області ШІ, набувши популярності з розробкою фундаментальних моделей і генеративного ШІ.
Однак запуск цих моделей на традиційних математичних обчислювальних архітектурах обмежує їх продуктивність та енергоефективність.
Незважаючи на прогрес у розробці апаратного забезпечення для висновків штучного інтелекту, багато з цих архітектур фізично розділяють пам’ять і процесори.
Це означає, що моделі штучного інтелекту зазвичай зберігаються в окремих місцях пам’яті, а обчислювальні завдання вимагають постійного перемішування даних між пам’яттю та процесорами. Цей процес може значно уповільнити обчислення, обмежуючи максимальну енергоефективність, яку можна досягти.
Мікросхема прискорення штучного інтелекту на основі фазової пам’яті (PCM) від IBM позбавляється цього обмеження.
Пам'ять зі зміною фази (PCM) може реалізувати інтеграцію обчислень і зберігання, а також безпосередньо виконувати множення матриці на вектор у пам'яті, уникаючи проблеми передачі даних.
У той же час, аналоговий чіп IBM AI реалізує ефективне прискорення штучного інтелекту за допомогою обчислень на апаратному рівні та інтеграції зберігання, що є важливим прогресом у цій галузі.
Два ключові проблеми моделювання ШІ
Щоб втілити в життя концепцію симуляції штучного інтелекту, потрібно подолати дві ключові проблеми:
Обчислювальна точність масиву пам’яті повинна бути порівнянна з точністю існуючих цифрових систем
Масив пам’яті може бездоганно взаємодіяти з іншими цифровими обчислювальними блоками та структурою цифрового зв’язку на аналоговому чіпі штучного інтелекту
IBM виробляє чіп-прискорювач штучного інтелекту на основі фазової пам’яті у своєму технологічному центрі в Олбані Нано.
Чіп складається з 64 обчислювальних ядер аналогової пам'яті, і кожне ядро містить 256×256 поперечних синаптичних блоків.
Крім того, у кожну мікросхему вбудовано компактний аналого-цифровий перетворювач з часовим діапазоном для перетворення між аналоговим і цифровим світами.
Легкий цифровий процесор у чіпі також може виконувати прості нелінійні функції активації нейронів і операції масштабування.
Кожне ядро можна розглядати як тайл, який може виконувати множення матриці-вектора та інші операції, пов’язані з шаром (наприклад, згортковим шаром) моделі глибокої нейронної мережі (DNN).
Вагова матриця кодується в змодельоване значення провідності пристрою PCM і зберігається на мікросхемі.
Глобальний цифровий процесор інтегрований у середину основного масиву чіпа для реалізації деяких більш складних операцій, ніж множення матриці на вектор, що є критичним для певних типів виконання нейронних мереж (таких як LSTM).
Цифрові канали зв’язку інтегровані на кристалі між усіма ядрами та глобальними цифровими процесорами для передачі даних між ядрами та між ядрами та глобальними блоками.
b: Схематична діаграма різних компонентів мікросхеми, включаючи 64 ядра, 8 глобальних цифрових процесорів і канали передачі даних між ядрами
c: Структура єдиного обчислювального ядра в пам'яті на базі PCM
d: Структура глобального цифрового процесора для обчислень, пов’язаних з LSTM
Використовуючи чіп, IBM провела комплексне дослідження точності обчислень аналогової пам’яті та досягла точності 92,81% на наборі зображень CIFAR-10.
b: спосіб відображення цієї мережі на чіпі
c: апаратно реалізована точність тесту CIFAR-10
Це найвища точність чіпа, що використовує аналогічну технологію.
IBM також легко поєднує аналогові обчислення в пам'яті з кількома цифровими процесорами та цифровими комунікаційними структурами.
8-розрядна матриця вводу-виводу множення чіпа має пропускну здатність одиниці площі 400 GOPS/мм2, що більш ніж у 15 разів вище, ніж у попередніх багатоядерних обчислювальних мікросхем пам’яті на основі резистивної пам’яті, при досягненні значної енергоефективності.
У завданні прогнозування символів і створенні анотацій зображень IBM порівняла результати, виміряні на апаратному забезпеченні, з іншими методами та продемонструвала структуру мережі, програмування ваги та результати вимірювань пов’язаних завдань, що виконуються на змодельованому чіпі ШІ.
**Рів Nvidia бездонний? **
Чи так легко порушити монополію Nvidia?
Навін Рао — підприємець із нейронаук, який став технологічним, і намагався конкурувати з Nvidia, провідним у світі виробником штучного інтелекту.
"Усі розробляють на Nvidia, - сказав Рао. - Якщо ви хочете запустити нове обладнання, ви повинні наздогнати і конкурувати з Nvidia".
Рао працював над чіпами, призначеними для заміни графічних процесорів Nvidia в стартапі, придбаному Intel, але після відходу з Intel він використовував чіпи Nvidia в MosaicML, програмному стартапі, який він очолив.
Рао сказав, що Nvidia не тільки відкрила величезний розрив з іншими продуктами на чіпі, але й досягла диференціації за межами чіпа, створивши велику спільноту програмістів ШІ ——
Програмісти штучного інтелекту використовують технології компанії для інновацій.
Колишній новачок індустрії зміг досягти домінування у виробництві чіпів зі штучним інтелектом, оскільки він на ранній стадії розпізнав тенденції в ШІ, створив чіпи на замовлення для цих завдань і розробив критичне програмне забезпечення, яке сприяло розробці ШІ.
Відтоді співзасновник і генеральний директор Nvidia Дженсен Хуанг піднімає планку для Nvidia.
Хоча Google, Amazon, Meta, IBM та інші також виробляють мікросхеми штучного інтелекту, на Nvidia в даний час припадає понад 70% продажів мікросхем штучного інтелекту, згідно з даними дослідницької компанії Omdia.
У червні цього року ринкова вартість Nvidia перевищила 1 трильйон доларів, що зробило її найдорожчим виробником мікросхем у світі.
NVIDIA, зміна методів обчислення
Дженсен Хуанг став співзасновником Nvidia в 1993 році, створюючи чіпи, які відтворюють зображення у відеоіграх. Стандартні мікропроцесори того часу добре виконували складні послідовні обчислення, але Nvidia створила графічні процесори, які могли виконувати кілька простих завдань одночасно.
У 2006 році Дженсен Хуанг пішов далі. Він випустив програмну технологію під назвою CUDA, яка допомагає програмувати графічні процесори для нових завдань, перетворюючи графічні процесори з одноцільових чіпів на чіпи більш загального призначення, які можуть виконувати інші завдання в таких галузях, як моделювання фізики та хімії.
Ці зусилля, які, за оцінками Nvidia, коштують понад 30 мільярдів доларів за десятиліття, роблять Nvidia не просто постачальником запчастин. Окрім співпраці з провідними вченими та стартапами, компанія зібрала команду, яка безпосередньо бере участь у діяльності ШІ, наприклад створенні та навчанні мовних моделей.
Крім того, потреби практиків спонукали Nvidia до розробки кількох рівнів ключового програмного забезпечення, крім CUDA, яке також включало бібліотеки із сотень рядків попередньо створеного коду.
Що стосується апаратного забезпечення, то Nvidia заслужила репутацію компанії, що постійно постачає більш швидкісні чіпи кожні два-три роки. У 2017 році Nvidia почала налаштовувати графічні процесори для обробки конкретних обчислень ШІ.
У вересні минулого року Nvidia оголосила, що виробляє новий чіп під назвою H100, який був вдосконалений для обробки так званих операцій Transformer. Такі розрахунки стали основою таких сервісів, як ChatGPT, який Хуанг назвав «моментом iPhone» генеративного штучного інтелекту.
Чи можливо це для аналогового чіпа AI від IBM?
Література: