Просто мысль: может быть, "битпоток" лучше передает суть, чем "токен", когда мы говорим об архитектуре ИИ. И вот в чем дело - почему мы все еще одержимы количеством параметров? Реальные узкие места находятся прямо перед нами: емкость памяти, пределы пропускной способности и вычислительные операции. Размер файла дает вам гораздо больше информации о том, что действительно осуществимо. Мы должны оценивать модели ИИ по тому, что физически ограничивает их, а не по какому-то абстрактному числу, которое выглядит впечатляюще на бумаге.