Серверы Lenovo AI впервые реализуют локальное развертывание DeepSeek Full Blood Big Model менее чем 1TB, поддерживают 100 параллельных запросов

Данные Jinshi 3 марта сообщили, что недавно концерн Lenovo объявил о том, что на сервере Lenovo Wentian WA7780 G3 впервые в отрасли была реализована одноплатная установка глубокой модели DeepSeek-R1/V3 671B с использованием памяти, меньшей, чем 1TGB (фактически 768GB), чтобы обеспечить плавный опыт для 100 одновременных пользователей. По данным Lenovo, в стандартной тестовой среде с 512 токенами этот система может поддерживать стабильный вывод 10 токенов в секунду для 100 одновременных пользователей, сокращая время отклика на первый токен до менее 30 секунд.

Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
  • Награда
  • 1
  • Поделиться
комментарий
0/400
Нет комментариев
  • Закрепить