Я наткнулся на компанию Taalas, производителя AI-чипов, команда которой насчитывает всего около двадцати человек, а уже привлечено более 200 миллионов долларов финансирования.

Первый продукт HC1 выбрал экстремальный путь: с помощью технологии Mask ROM прямо зафиксировал веса Llama 3.18B в металлическом слое чипа, объединяя вычислительные блоки и параметры модели на одном кристалле, практически отказавшись от программируемости ради достижения предельных показателей пропускной способности, задержки и энергоэффективности.
Сейчас они зафиксировали веса Llama 3.18B, попробовали — ответы получаются ненадёжными, очень нестабильными.
Но проблема в том, что он невероятно быстр, что кажется противоречащим интуиции: способен превзойти Groq, выдавая 17 000 токенов в секунду на один чип, за мгновение способен написать десятки тысяч слов — это даже лучше, чем возможности баз данных по запросам.
Если в будущем крупные модели действительно будут только у нескольких лидеров, структура моделей станет постепенно стабильной, а частота обновлений весов снизится, то создание отдельного чипа для конкретной модели вовсе не будет безумной идеей.
Сейчас мы предполагаем, что модели будут постоянно сильно меняться, поэтому вычислительные ресурсы должны быть универсальными.
Но что если модели начнут становиться стандартизированными?
Запечатать веса прямо в чипе, а затем использовать максимально специализированную архитектуру для повышения пропускной способности, снизив при этом затраты.
Сейчас видно, что структура моделей начинает концентрироваться, и как только изменения в ведущих моделях стабилизируются, действительно стоит задуматься о создании специализированных чипов, ориентированных на их архитектуру.
Эта стратегия может иметь очень сильный взрывной потенциал.
Если так, возникает контринтуитивный вопрос: действительно ли форма GPU навсегда останется финальной точкой развития?