Источник: Shen Ran, авторы: Jin Yufan, He Shulong, редактор: He Shulong
Источник изображения: сгенерировано инструментом Unbounded AI
Спустя полгода после запуска ChatGPT по обе стороны Тихого океана продолжали устраивать масштабные модельные погони.
Альянс, созданный OpenAI, Microsoft и Nvidia, разрастается на восточном побережье Тихого океана. С марта этого года китайские технологические компании срочно последовали за ними. Baidu, Ali, SenseTime и iFLYTEK последовательно запустили продукты, похожие на ChatGPT. Tencent, Huawei и JD. Времена также «в десять раз больше» возможностей.
В момент «Войны сотен моделей» Xiaomi, как крупная отечественная технологическая компания, выглядит необычайно спокойной.
Лэй Цзюнь, глава Xiaomi, сказал, что Xiaomi разрабатывает некоторые технологии и продукты и продемонстрирует их всем после того, как они будут отшлифованы. Лу Вейбинг, президент Xiaomi Group, сказал, что Xiaomi в настоящее время имеет команду искусственного интеллекта, насчитывающую более 1200 человек, и будет активно использовать крупномасштабные модели и интегрировать их с глубиной бизнеса, но не будет создавать крупномасштабные модели общего назначения, такие как OpenAI. .
Эта информация усилила сомнения внешнего мира: присоединится ли Xiaomi к «войне сотен моделей»?
Доктор Ван Бинь, директор лаборатории искусственного интеллекта Xiaomi Group, сказал Shenran, что Xiaomi разработает свою собственную модель общего назначения, но не будет выпускать только продукт, подобный ChatGPT, «и не будет выпускать PPT или демонстрировать несколько примеров, скажем, у нас есть большая модель », но большая модель собственной разработки в конечном итоге будет реализована в продукте.
Это первый случай, когда маршрут и прогресс большой модели были раскрыты внешнему миру после того, как Xiaomi официально объявила о команде большой модели. 14 апреля этого года Xiaomi объявила, что большую модельную команду возглавит Луань Цзянь и будет подчиняться Ван Биню. Ван Бин занимается исследованиями и разработками, связанными с НЛП (обработкой естественного языка) в Китайской академии наук более 20 лет, он присоединился к Xiaomi в 2018 году и с 2019 года возглавляет лабораторию искусственного интеллекта. Лаборатория искусственного интеллекта является основным отделом стратегии искусственного интеллекта Xiaomi.
Xiaomi, создавшая крупномасштабную диалоговую модель, является редким рационалистом в общецелевой предварительно обученной крупномасштабной языковой модели. Ван Бин сообщил, что в настоящее время существует более 30 штатных групп крупномасштабных моделей, и они не будут быстро расширяться; целью этой группы по-прежнему является крупномасштабная языковая модель, а целевые параметры базовой модели первого шага составляют десятки миллиардов** , а затем, в зависимости от результатов предыдущего восхождения, будет решаться следующий шаг.
"От разработки крупномасштабных моделей до приземления еще далеко. Смогут ли они найти подходящие важные сцены, это проблема для многих компаний, занимающихся крупномасштабными моделями". у него достаточно готовых больших моделей.Сценарии посадки, в том числе Xiao Ai, loT, автономное вождение, роботы и т. д., богатые сценарии приложений также могут давать обратную связь способности больших моделей.
У Xiaomi нет недостатка в сценариях, но для обучения большой модели необходимы накопление данных, вычислительная мощность и таланты. Ван Бин сказал, что у Xiaomi есть определенный запас талантов, а задачи с точки зрения вычислительной мощности и объема данных относительно велики. С одной стороны, вычислительная мощность должна преодолевать проблемы системного уровня, а затраты на обучение должны быть контролируемыми; с другой стороны, для получения и очистки высококачественных данных требуется много времени и средств.
Почему в новой волне больших моделей ИИ команда Xiaomi AI не выпускает «продукты, подобные ChatGPT»? Как Xiaomi оценивает технический маршрут и техническую сложность большой модели? Несколько дней назад Хэ Шулонг, главный редактор Shenran, провел диалог с Ван Бином, директором лаборатории искусственного интеллекта технического комитета Xiaomi. Ниже приводится основное содержание:
Крупная модель Xiaomi: 30 человек в команде, без "ChatGPT-подобных"
**Шен Ран: 14 апреля Xiaomi назначила Луань Цзяня главой большой модельной группы, которая будет отчитываться перед вами. Можете ли вы рассказать нам, как родилась команда крупных моделей Xiaomi? **
**Ван Бинь:**Большая модельная команда была объявлена в апреле, но она уже начала свою работу до этого.
30 ноября прошлого года, после того как OpenAI выпустила ChatGPT, многие из нас быстро зарегистрировали учетную запись и начали играть на ней. ChatGPT действительно подрывной: мы много лет работаем над ИИ, и многие его возможности превзошли ожидания наших разработчиков.
Вскоре мы организовали ряд внутренних коммуникационных групп по крупномасштабным моделям для обсуждения технологии крупномасштабных моделей и ее прорывного влияния на машинный перевод, диалог между человеком и машиной, интеллектуальные ответы на вопросы и обслуживание клиентов. **Многие из тех, кто участвовал в первых семинарах, позже стали ключевыми членами команды макетов, работающей на полную ставку. **
**Шен Ран: Не задержится ли команда крупномасштабных моделей Xiaomi? **
Ван Бинь: Что касается больших моделей, мы относимся к рациональной школе.
До рождения ChatGPT Xiaomi проводила внутренние исследования, разработку и применение больших моделей, в основном в форме предварительного обучения + наблюдения за последующими задачами и тонкой настройки для диалога человек-машина, а параметры модели были в миллиарды. Конечно, этот тип модели не является универсальной крупномасштабной моделью, как ее сейчас называют.
Нам совершенно ясно, что разработка и применение общей большой модели — это долгосрочная работа, а не вопрос времени. Мы шли по собственному временному плану и шагам, в то время мы чувствовали, что время вышло, поэтому сделали командный релиз.
**Шен Ран: Сколько человек в большой команде моделей? Есть ли планы по дальнейшему расширению? **
**Ван Бинь:**В настоящее время основная команда насчитывает более 30 человек. В настоящее время мы готовимся в соответствии с аспектами талантов, данных, моделей, вычислительной мощности, оценки и продуктов, а затем постепенно корректируем или расширяем после определенного этапа.
Мы не будем сразу расширять количество людей, например, набирать сразу 100 человек. Потому что на этапе восхождения по накоплению потенциала набор такого количества людей может не знать, как это организовать, но это пустая трата времени.
Благодаря постоянному раскрытию информации о крупных моделях и постоянному притоку капитала и талантов область крупных моделей развивалась очень быстро, и все взгляды сильно изменились. Когда ChatGPT впервые появился не так давно, все чувствовали, что реализовать подобную крупномасштабную модель в принципе невозможно, но постепенно многие люди почувствовали, что вероятность очень высока, а некоторые люди поверили, что многие продукты могут быть удовлетворены без такой масштабная модель спрос. Инвестиционная интенсивность у всех также очень разная. Кто-то может подумать, что команде нужно хотя бы несколько сотен человек, а кто-то считает, что это не обязательно.
**Shenran: Есть ли какие-то поэтапные планы на будущее, когда он будет протестирован внутри и выпущен снаружи? **
Ван Бинь: В отличие от других компаний, Xiaomi рождается с атрибутами продуктов Я считаю, что когда выходит большая модель Xiaomi, это проявляется в продукте.
Мы можем провести внутреннее тестирование до Q3. Однако это не неизбежный узел.
**Шен Ран: Другими словами, Xiaomi не выпустит продукт, подобный ChatGPT? **
Ван Бинь: Да, мы не будем выпускать PPT или демонстрировать, что у нас есть большая модель. Богатые сценарии приложений — наше самое большое преимущество. **Большая модель Xiaomi будет более тесно интегрирована со сценой, и соответствующий план выпуска должен быть составлен в соответствии с ритмом продукта. **
**Шенран: Помимо рабочей силы, какова стоимость вычислительной мощности Xiaomi для создания большой модели? **
Ван Бинь: Мы являемся инвестором среднего масштаба, и мы примем решение о следующем этапе инвестирования на основе результатов предыдущего подъема.
Наше основное суждение заключается в том, что модель, подходящая для продуктов и предприятий Xiaomi, может иметь параметры в десятки миллиардов**, что будет ниже шкалы в 100 миллиардов, а инвестиции в тренажеры составляют около десятков миллионов юаней.
**Шен Ран: Как модель с миллиардами параметров, сделанная Xiaomi раньше? **
**Ван Бинь: **ChatGPT, выпущенный в прошлом году, представляет собой своего рода крупномасштабную модель, называемую большой моделью предварительно обученного языка общего назначения. Но сама большая модель появилась очень рано, и пути и методы у всех разные.
Мы начали работать над большой моделью раньше, в то время мы создали модель диалога с параметрами от 2,8 до 3 миллиардов. Реализуется тонкой настройкой данных диалога на основе предварительно обученной базовой модели.Это не текущая универсальная большая модель, а посвящена диалогу человек-машина.Секс, пусть продолжается. Позже эта модель была запущена в Xiaoai, и было проведено небольшое онлайн-тестирование.
Таким образом, AIGC уже использовался в Xiao Ai, но на уровне продукта мы не используем эту большую модель полностью, а используем взаимодополняемость традиционной модели и модели большого диалога, чтобы использовать их вместе.
** Крупная модель Xiaomi общего назначения, вероятно, будет этой гибридной моделью, когда она будет запущена в продукт **. Проблемы, с которыми традиционная модель справляется очень хорошо, передаются традиционной модели. Большая модель решает проблемы, в которых она хороша, например, некоторые маловероятные события или длинные диалоги.
Диалоговый уровень вышедшей сейчас большой модели общего назначения значительно выше, чем у предыдущей диалоговой большой модели, поэтому эта часть команды также перешла на универсальную большую модель. Эта команда пробежала весь процесс обучения модели большого диалога, перелезла через некоторые ямы и, по мере накопления данных, имеет определенные преимущества.
Большая модель Милле: доминирует сцена, а данные представляют собой проблему
**Shenran: В этот период времени технический прогресс был очень быстрым, и отечественные крупносерийные модели выпускаются интенсивно.Будете ли вы беспокоиться из-за медленного прогресса? **
Ван Бинь: Какое-то время я очень беспокоился, потому что немного паниковал, если не делал этого постоянно, и ты думал: «Как другие могут так быстро прогрессировать и сделать это все сразу?» Теперь мы спускаемся, чтобы сделать это. Больше не беспокойтесь.
Говорят, что в Китае сейчас «война сотен моделей», и было выпущено более 80 крупных моделей, некоторые из которых проходят внутреннее тестирование, а некоторые выпускаются только компанией PPT. Эффект от некоторых моделей пока хороший.Судя по уровню выпуска, уровень имеющихся у нас больших моделей собственной разработки вроде бы не хуже многих моделей. Но мы не торопимся делать внешний релиз. Во-первых, для такой компании, как Xiaomi, это не имеет особого смысла. Во-вторых, мы все еще надеемся улучшить разработанную нами модель вокруг продукта, а затем выпустить ее вместе.
**Шенран: Как вы думаете, есть ли у крупных моделей отечественных компаний шанс догнать OpenAI? Насколько велик разрыв? Они любят использовать три месяца, шесть месяцев для описания. **
Ван Бинь: В настоящее время OpenAI должен быть очень продвинутым.Он инвестировал в него на раннем этапе и имеет очень сильное накопление талантов, данных, вычислительной мощности, инженерных разработок и продуктов. Судя по внутренней ситуации, я чувствую, что между OpenAI и OpenAI все еще существует определенный разрыв, Некоторые люди говорят, что это три месяца или шесть месяцев, а другие говорят, что это один год или два года. По времени сложно сказать.
Потому что как оценить большую модель — это сама по себе очень сложная проблема. Сейчас существуют рейтинги различных крупных моделей, но ни одна из них не признана всеми единодушно. ** Реального стандарта оценки не существует, поэтому говорить о том, чтобы наверстать упущенное за три или шесть месяцев, — это просто пощечина. **
Что касается того, сможет ли Китай догнать OpenAI, я был настроен пессимистично в первые дни и думал, что это почти невозможно, но с притоком различных решений с открытым исходным кодом, различных команд и капитала мое мнение становится более оптимистичным. Я думаю, что у Китая есть возможность сократить дистанцию с помощью OpenAI, приблизиться или даже превзойти его во многих сценариях.
** Большие модели, похоже, не имеют такого высокого порога для чипов.Посредством постоянного накопления и оптимизации талантов, данных, вычислительной мощности и т. д. можно постоянно сокращать разрыв. **
**Shenran: Какие типы отечественных компаний имеют больше преимуществ в крупномасштабных моделях? Где возможности для Xiaomi? **
Ван Бинь: Независимо от того, крупные компании или малые и средние начинающие компании, у каждой есть свое жизненное пространство. Большая модель — это экология, и ни одна большая не может взять ее все.Все компании в экологии, включая вычислительные мощности, данные, приложения, и компании, которые действительно делают большие модели, имеют свои возможности.
Крупномасштабные модели, такие как Xiaomi, имеют преимущество сценариев применения. Мы считаем, что сочетание больших моделей и сцен даст огромные возможности.
Потому что если просто выпустить большую модель и ей никто не пользуется, она может не получиться быстро развиваться за счет прокатки. И мы можем немедленно приземлиться на сцену, и посредством непрерывной итерации мы можем в полной мере использовать возможности большой модели в этих сценах.
Хотя в настоящее время мы интегрируем только основную команду из более чем 30 человек, на самом деле на периферии много людей. Во всей лаборатории ИИ работает более 100 человек, которые имеют опыт НЛП и работают с конкретными приложениями, включая граф знаний, машинный перевод, диалог между человеком и машиной, интеллектуальное обслуживание клиентов и интеллектуальные ответы на вопросы. Все они — люди с базовым мышлением о больших моделях и связанных с ними технологиях, и они продвигают исследование больших моделей с точки зрения их соответствующих приложений.
Ван Бинь
**Шен Ран: Насколько ценен опыт Xiaomi в исследованиях НЛП для больших моделей? **
Ван Бинь: В отрасли существует два мнения. Один из способов сказать, что у тех из нас может не быть работы, а ИИ убил нас, особенно у тех, кто занимается НЛП, может не быть работы. Есть также поговорка, что, в конце концов, большая модель сделана из НЛП, а те, кто занимается НЛП, обладают неотъемлемыми преимуществами.
В обоих этих утверждениях есть доля правды, но ведь это связано с моей работой, я больше склоняюсь к последнему утверждению.
Первоначально большие модели исследовались в различных областях, включая зрение, речь и НЛП. Но почему это первый прорыв в области НЛП, я считаю, что для этого есть существенные причины. Я понимаю как минимум два момента: первый — это богатство и доступность языковых данных, а второй — то, что за языковыми данными скрыто очень богатое знание, отражающее процесс человеческого мышления.
Поэтому я считаю, что люди, которые много лет работали в области НЛП, обладают определенными врожденными преимуществами в понимании и преобразовании больших моделей. Многие члены команды крупномасштабных моделей Xiaomi изначально работали в направлении НЛП. Несколько начинающих компаний, которые очень хорошо умеют создавать крупномасштабные модели в Китае, также вышли из области НЛП.
**Шен Ран: Какие текущие трудности возникают у Xiaomi, чтобы преодолеть большую модель? Как это преодолеть? **
**Ван Бинь:**Во-первых, я все же хочу сказать, что у самой большой модели есть очень большие проблемы.
Огромной проблемой является неопределенность технологии. Мы видели некоторые отчеты, и даже сама команда OpenAI не очень ясно представляет себе настоящие принципы, лежащие в основе большой модели, и если они сделают это снова, они не уверены, будут ли получены те же самые «возникающие» результаты. Я считаю, что OpenAI говорит правду в этом вопросе Из-за большой неопределенности в технологии инвестиции не могут гарантировать, что большая модель, которая соответствует ожиданиям, может быть обучена.
Накопление высококачественных данных также является проблемой. Обычно считается, что большие модели требуют очень больших и качественных обучающих данных. Качество общедоступных данных в Интернете в целом относительно низкое, поэтому получение и очистка ** данных представляют собой относительно большие проблемы. **
Другой проблемой, конечно же, является вычислительная мощность. Во-первых, это не значит, что существует так много карточек, которые можно обучить. Во-вторых, поскольку в процессе обучения могут быть допущены ошибки, могут быть сожжены деньги, а сжечь ничего нельзя, так что это зависит от того, есть ли у вас возможность обучить большую модель по контролируемой стоимости.
С практической точки зрения текущие проблемы ** данных и вычислительной мощности все еще относительно велики, особенно крупномасштабные высококачественные данные **. После предыдущего периода восхождения мы теперь в основном уверены, что, пока данные на месте и с использованием существующей вычислительной мощности, мы, вероятно, можем знать, сколько дней потребуется для обучения хорошей базовой модели.
**Shenran: Снижена ли сейчас стоимость обучения больших моделей? **
Ван Бинь: С одной стороны, стоимость проб и ошибок ниже, чем раньше. Потому что обучение больших моделей может идти в обход и давать сбои, но при раскрытии различной информации можно быстро найти правильное направление обучения. С другой стороны, многие облачные вычисления, чипы и другие компании, а также многие начинающие компании предоставляют более дешевые услуги по обучению больших моделей и логическим выводам. С дальнейшим развитием всей экологии, я считаю, что стоимость обучения будет продолжать снижаться.
Как большая модель влияет на бизнес Xiaomi?
**Шен Ран: Не могли бы вы подробно рассказать о лаборатории искусственного интеллекта Xiaomi, за которую вы отвечаете? **
Ван Бинь: После рождения «AlphaGo» в 2016 году г-н Лэй сразу же способствовал созданию команды ИИ. Лаборатория искусственного интеллекта была официально создана в 2016 году, и я возглавляю ее с 2019 года.
Оказывается, Лаборатория ИИ входит в состав Министерства искусственного интеллекта. Позже отдел искусственного интеллекта был объединен с Техническим комитетом Группы, и теперь Лаборатория ИИ находится непосредственно в ведении Технического комитета.
Текущий размер команды AI Lab составляет около 350 человек, и она имеет шесть направлений, а именно машинное обучение, обработку естественного языка (NLP), компьютерное зрение, акустику, речь и графы знаний.
После того, как вышла большая модель, Лаборатория искусственного интеллекта создала постоянную команду большой модели.Сейчас мы сосредоточены на большой модели языка, но мы также уделяем внимание кросс-модальной большой модели.
**Шен Ран: Г-н Лу (президент Xiaomi Group Лу Вейбинг) сказал, что в настоящее время команда Xiaomi AI насчитывает более 1200 человек. Помимо лаборатории искусственного интеллекта, какие еще отделы в Xiaomi тесно связаны с искусственным интеллектом? **
**Ван Бинь:**Помимо лаборатории искусственного интеллекта, есть также команда Сяо Ай, обе из которых входят в состав технического комитета.
В дополнение к техническому комитету есть много отделов с относительно большими командами ИИ, в том числе отдел автопилота автомобильного отдела, отдел камеры мобильного телефона и отдел программного обеспечения.Кроме того, рост пользователей и рекламные рекомендации в Все отделы интернет-бизнеса связаны с ИИ.
Короче говоря, некоторые команды, связанные с ИИ, находятся в бизнес-отделе, а некоторые — в техническом комитете, всего около 1200. Если рассматривать небольшие команды, лично мне кажется, что это число еще больше.
**Шен Ран: Какова роль лаборатории искусственного интеллекта Xiaomi в стратегии искусственного интеллекта Xiaomi? **
**Ван Бинь:**Лаборатория ИИ — это отдел исследований, разработок и производства технологий ИИ на групповом уровне. Проще говоря, мы экспортируем технологию искусственного интеллекта во всю компанию.
Мы когда-то сравнивали лабораторию ИИ с «экспериментальным полем» и «складом боеприпасов» технологии ИИ на групповом уровне. Из-за быстрого развития ИИ лаборатория ИИ будет разрабатывать некоторые среднесрочные и долгосрочные передовые технологии, создавать резервы вокруг бизнеса Xiaomi и выпускать «боеприпасы», когда они понадобятся группе.
С точки зрения технологии ИИ у нас должны быть самые полные резервы в компании, и мы также очень сильны в отрасли.
**Шен Ран: Каковы важные исследовательские достижения Xiaomi AI Lab? **
Ван Бинь: Концепция нашей лаборатории искусственного интеллекта делает упор на сочетание технологий и сценариев.В настоящее время опубликованные статьи не считаются OKR. Поэтому после того, как я пришел в Xiaomi из Китайской академии наук (Chinese Academy of Sciences), я чувствую, что величайшим достижением является не прогресс одной точки технологии, а гениальная интеграция технологий и продуктов.
Xiaomi является компанией To C. Наши возможности ИИ в настоящее время экспортируются не напрямую во внешний мир, а через продукты компании. Мы сделали много достижений, в том числе множество алгоритмов обработки камер и фотоальбомов в мобильных телефонах Xiaomi, алгоритмы голоса и НЛП, задействованные в Xiao Ai, и алгоритмы ИИ в системах рекомендаций, поиска и обслуживания клиентов Xiaomi Mall.
Позвольте мне привести вам пример.Мы разработали функцию перевода в автономном режиме на нашем мобильном телефоне.Например, после выезда за границу сеть во многих случаях не так хороша.В это время включите функцию перевода мобильного телефона Xiaomi без использования облака.В автономном режиме, в режиме реального времени, конфиденциальность и эффект перевода лучше. Реализация и применение этой функции непростая, мы проделали большую работу по оптимизации эффектов перевода и производительности.
**В Xiaomi это не наша собственная технология, которая будет использоваться первой.Внутренние технологии также должны честно конкурировать с внешними технологиями.Только победитель может выжить и быть примененным к продуктам. **
**Shenran: На какие предприятия Xiaomi повлияет масштабная модельная технология, представленная ChatGPT? **
**Ван Бинь:**Самая сильная способность большой модели, говоря простым языком, заключается в том, что она лучше понимает людей и, очевидно, может оптимизировать способ взаимодействия человека с компьютером. Одноклассник Xiaomi Xiao Ai, операционная система мобильного телефона MIUI, автомобильная кабина, IoT и роботы — все это типичные сценарии, в которых применяются большие модели.
**Шен Ран: Не могли бы вы привести Сяо Ай в качестве примера? **
Ван Бинь: Применительно к Сяо Ай, он может делать две вещи одновременно. Один из них — сделать невозможное возможным, что эквивалентно появлению новых функций. Например, я попросил Сяо Ай составить план поездки или заказать еду и т. д. Первоначальная техническая возможность не была достигнута, и если пользователь сформулирует это по-другому, это будет испорчено. Но Благодаря поддержке больших моделей он лучше понимает человеческую речь, что позволяет выполнять сложные задачи, и этот тип приложений вполне осуществим.
Другая категория — это улучшение исходной функции, что эквивалентно вишенке на торте. Из-за непостоянства и разнообразия человеческого самовыражения в процессе взаимодействия человека с компьютером Сяоай самой большой проблемой является столкновение с маловероятными событиями. Мы называем это краеугольным камнем и обычно придерживаемся консервативной стратегии, позволяющей Сяоай сказать: «Я могу». t answer», «Я все еще учусь»**. Такой подкрепляющий ответ также может продолжить разговор, но опыт не очень хороший. Но технология больших моделей может поддерживать диалог в течение более длительного времени и значительно повысить удовлетворенность пользователей.
**Шенран: Влияет ли большая модель на умный дом? **
**Ван Бинь:**По моему личному мнению, большая модель может, по крайней мере, улучшить пользовательский опыт умного дома с точки зрения интерактивных возможностей.
Хотя есть много устройств, которые претендуют на звание «умных», они часто ведут себя как «умственно отсталые», а коэффициент использования невелик. Например, включение кондиционера или регулировка температуры кондиционера, если инструкция отличается от стандартной команды, может быть невозможно управлять IoT-устройством.
Но после появления большой модели у нее появилось более глубокое понимание человеческого языка.Во многих случаях существуют различные выражения.Большая модель может перевести выражение пользователя в инструкции, понятные машине. Это побудит больше людей использовать интеллектуальные устройства и позволит всей экосистеме расти быстрее.
**Шенран: Помимо улучшения существующего бизнеса, есть ли другие вещи, которые Xiaomi не могла сделать раньше, но которые можно сделать после того, как у них появится большая модель? **
Ван Бинь: Мы наладим тесное сотрудничество между крупной моделью и этими предприятиями.Конечно, помимо этого, мы также ищем дополнительные возможности.
Наша команда написала много статей для продвижения больших моделей внутри компании, включая разработку концепции и технологии больших моделей, а также для обучения всех, как использовать ChatGPT для решения бизнес-задач. Г-н Лэй попросил все отделы изучить крупномасштабные модели и требует, чтобы все имели базовое представление о крупномасштабных моделях и думали о том, как интегрироваться с бизнесом.
Посмотреть Оригинал
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
Крупная модель Xiaomi, не занимайтесь "ChatGPT"
Источник: Shen Ran, авторы: Jin Yufan, He Shulong, редактор: He Shulong
Спустя полгода после запуска ChatGPT по обе стороны Тихого океана продолжали устраивать масштабные модельные погони.
Альянс, созданный OpenAI, Microsoft и Nvidia, разрастается на восточном побережье Тихого океана. С марта этого года китайские технологические компании срочно последовали за ними. Baidu, Ali, SenseTime и iFLYTEK последовательно запустили продукты, похожие на ChatGPT. Tencent, Huawei и JD. Времена также «в десять раз больше» возможностей.
В момент «Войны сотен моделей» Xiaomi, как крупная отечественная технологическая компания, выглядит необычайно спокойной.
Лэй Цзюнь, глава Xiaomi, сказал, что Xiaomi разрабатывает некоторые технологии и продукты и продемонстрирует их всем после того, как они будут отшлифованы. Лу Вейбинг, президент Xiaomi Group, сказал, что Xiaomi в настоящее время имеет команду искусственного интеллекта, насчитывающую более 1200 человек, и будет активно использовать крупномасштабные модели и интегрировать их с глубиной бизнеса, но не будет создавать крупномасштабные модели общего назначения, такие как OpenAI. .
Эта информация усилила сомнения внешнего мира: присоединится ли Xiaomi к «войне сотен моделей»?
Доктор Ван Бинь, директор лаборатории искусственного интеллекта Xiaomi Group, сказал Shenran, что Xiaomi разработает свою собственную модель общего назначения, но не будет выпускать только продукт, подобный ChatGPT, «и не будет выпускать PPT или демонстрировать несколько примеров, скажем, у нас есть большая модель », но большая модель собственной разработки в конечном итоге будет реализована в продукте.
Это первый случай, когда маршрут и прогресс большой модели были раскрыты внешнему миру после того, как Xiaomi официально объявила о команде большой модели. 14 апреля этого года Xiaomi объявила, что большую модельную команду возглавит Луань Цзянь и будет подчиняться Ван Биню. Ван Бин занимается исследованиями и разработками, связанными с НЛП (обработкой естественного языка) в Китайской академии наук более 20 лет, он присоединился к Xiaomi в 2018 году и с 2019 года возглавляет лабораторию искусственного интеллекта. Лаборатория искусственного интеллекта является основным отделом стратегии искусственного интеллекта Xiaomi.
Xiaomi, создавшая крупномасштабную диалоговую модель, является редким рационалистом в общецелевой предварительно обученной крупномасштабной языковой модели. Ван Бин сообщил, что в настоящее время существует более 30 штатных групп крупномасштабных моделей, и они не будут быстро расширяться; целью этой группы по-прежнему является крупномасштабная языковая модель, а целевые параметры базовой модели первого шага составляют десятки миллиардов** , а затем, в зависимости от результатов предыдущего восхождения, будет решаться следующий шаг.
"От разработки крупномасштабных моделей до приземления еще далеко. Смогут ли они найти подходящие важные сцены, это проблема для многих компаний, занимающихся крупномасштабными моделями". у него достаточно готовых больших моделей.Сценарии посадки, в том числе Xiao Ai, loT, автономное вождение, роботы и т. д., богатые сценарии приложений также могут давать обратную связь способности больших моделей.
У Xiaomi нет недостатка в сценариях, но для обучения большой модели необходимы накопление данных, вычислительная мощность и таланты. Ван Бин сказал, что у Xiaomi есть определенный запас талантов, а задачи с точки зрения вычислительной мощности и объема данных относительно велики. С одной стороны, вычислительная мощность должна преодолевать проблемы системного уровня, а затраты на обучение должны быть контролируемыми; с другой стороны, для получения и очистки высококачественных данных требуется много времени и средств.
Почему в новой волне больших моделей ИИ команда Xiaomi AI не выпускает «продукты, подобные ChatGPT»? Как Xiaomi оценивает технический маршрут и техническую сложность большой модели? Несколько дней назад Хэ Шулонг, главный редактор Shenran, провел диалог с Ван Бином, директором лаборатории искусственного интеллекта технического комитета Xiaomi. Ниже приводится основное содержание:
Крупная модель Xiaomi: 30 человек в команде, без "ChatGPT-подобных"
**Шен Ран: 14 апреля Xiaomi назначила Луань Цзяня главой большой модельной группы, которая будет отчитываться перед вами. Можете ли вы рассказать нам, как родилась команда крупных моделей Xiaomi? **
**Ван Бинь:**Большая модельная команда была объявлена в апреле, но она уже начала свою работу до этого.
30 ноября прошлого года, после того как OpenAI выпустила ChatGPT, многие из нас быстро зарегистрировали учетную запись и начали играть на ней. ChatGPT действительно подрывной: мы много лет работаем над ИИ, и многие его возможности превзошли ожидания наших разработчиков.
Вскоре мы организовали ряд внутренних коммуникационных групп по крупномасштабным моделям для обсуждения технологии крупномасштабных моделей и ее прорывного влияния на машинный перевод, диалог между человеком и машиной, интеллектуальные ответы на вопросы и обслуживание клиентов. **Многие из тех, кто участвовал в первых семинарах, позже стали ключевыми членами команды макетов, работающей на полную ставку. **
**Шен Ран: Не задержится ли команда крупномасштабных моделей Xiaomi? **
Ван Бинь: Что касается больших моделей, мы относимся к рациональной школе.
До рождения ChatGPT Xiaomi проводила внутренние исследования, разработку и применение больших моделей, в основном в форме предварительного обучения + наблюдения за последующими задачами и тонкой настройки для диалога человек-машина, а параметры модели были в миллиарды. Конечно, этот тип модели не является универсальной крупномасштабной моделью, как ее сейчас называют.
Нам совершенно ясно, что разработка и применение общей большой модели — это долгосрочная работа, а не вопрос времени. Мы шли по собственному временному плану и шагам, в то время мы чувствовали, что время вышло, поэтому сделали командный релиз.
**Шен Ран: Сколько человек в большой команде моделей? Есть ли планы по дальнейшему расширению? **
**Ван Бинь:**В настоящее время основная команда насчитывает более 30 человек. В настоящее время мы готовимся в соответствии с аспектами талантов, данных, моделей, вычислительной мощности, оценки и продуктов, а затем постепенно корректируем или расширяем после определенного этапа.
Мы не будем сразу расширять количество людей, например, набирать сразу 100 человек. Потому что на этапе восхождения по накоплению потенциала набор такого количества людей может не знать, как это организовать, но это пустая трата времени.
Благодаря постоянному раскрытию информации о крупных моделях и постоянному притоку капитала и талантов область крупных моделей развивалась очень быстро, и все взгляды сильно изменились. Когда ChatGPT впервые появился не так давно, все чувствовали, что реализовать подобную крупномасштабную модель в принципе невозможно, но постепенно многие люди почувствовали, что вероятность очень высока, а некоторые люди поверили, что многие продукты могут быть удовлетворены без такой масштабная модель спрос. Инвестиционная интенсивность у всех также очень разная. Кто-то может подумать, что команде нужно хотя бы несколько сотен человек, а кто-то считает, что это не обязательно.
**Shenran: Есть ли какие-то поэтапные планы на будущее, когда он будет протестирован внутри и выпущен снаружи? **
Ван Бинь: В отличие от других компаний, Xiaomi рождается с атрибутами продуктов Я считаю, что когда выходит большая модель Xiaomi, это проявляется в продукте.
Мы можем провести внутреннее тестирование до Q3. Однако это не неизбежный узел.
**Шен Ран: Другими словами, Xiaomi не выпустит продукт, подобный ChatGPT? **
Ван Бинь: Да, мы не будем выпускать PPT или демонстрировать, что у нас есть большая модель. Богатые сценарии приложений — наше самое большое преимущество. **Большая модель Xiaomi будет более тесно интегрирована со сценой, и соответствующий план выпуска должен быть составлен в соответствии с ритмом продукта. **
**Шенран: Помимо рабочей силы, какова стоимость вычислительной мощности Xiaomi для создания большой модели? **
Ван Бинь: Мы являемся инвестором среднего масштаба, и мы примем решение о следующем этапе инвестирования на основе результатов предыдущего подъема.
Наше основное суждение заключается в том, что модель, подходящая для продуктов и предприятий Xiaomi, может иметь параметры в десятки миллиардов**, что будет ниже шкалы в 100 миллиардов, а инвестиции в тренажеры составляют около десятков миллионов юаней.
**Шен Ран: Как модель с миллиардами параметров, сделанная Xiaomi раньше? **
**Ван Бинь: **ChatGPT, выпущенный в прошлом году, представляет собой своего рода крупномасштабную модель, называемую большой моделью предварительно обученного языка общего назначения. Но сама большая модель появилась очень рано, и пути и методы у всех разные.
Мы начали работать над большой моделью раньше, в то время мы создали модель диалога с параметрами от 2,8 до 3 миллиардов. Реализуется тонкой настройкой данных диалога на основе предварительно обученной базовой модели.Это не текущая универсальная большая модель, а посвящена диалогу человек-машина.Секс, пусть продолжается. Позже эта модель была запущена в Xiaoai, и было проведено небольшое онлайн-тестирование.
Таким образом, AIGC уже использовался в Xiao Ai, но на уровне продукта мы не используем эту большую модель полностью, а используем взаимодополняемость традиционной модели и модели большого диалога, чтобы использовать их вместе.
** Крупная модель Xiaomi общего назначения, вероятно, будет этой гибридной моделью, когда она будет запущена в продукт **. Проблемы, с которыми традиционная модель справляется очень хорошо, передаются традиционной модели. Большая модель решает проблемы, в которых она хороша, например, некоторые маловероятные события или длинные диалоги.
Диалоговый уровень вышедшей сейчас большой модели общего назначения значительно выше, чем у предыдущей диалоговой большой модели, поэтому эта часть команды также перешла на универсальную большую модель. Эта команда пробежала весь процесс обучения модели большого диалога, перелезла через некоторые ямы и, по мере накопления данных, имеет определенные преимущества.
Большая модель Милле: доминирует сцена, а данные представляют собой проблему
**Shenran: В этот период времени технический прогресс был очень быстрым, и отечественные крупносерийные модели выпускаются интенсивно.Будете ли вы беспокоиться из-за медленного прогресса? **
Ван Бинь: Какое-то время я очень беспокоился, потому что немного паниковал, если не делал этого постоянно, и ты думал: «Как другие могут так быстро прогрессировать и сделать это все сразу?» Теперь мы спускаемся, чтобы сделать это. Больше не беспокойтесь.
Говорят, что в Китае сейчас «война сотен моделей», и было выпущено более 80 крупных моделей, некоторые из которых проходят внутреннее тестирование, а некоторые выпускаются только компанией PPT. Эффект от некоторых моделей пока хороший.Судя по уровню выпуска, уровень имеющихся у нас больших моделей собственной разработки вроде бы не хуже многих моделей. Но мы не торопимся делать внешний релиз. Во-первых, для такой компании, как Xiaomi, это не имеет особого смысла. Во-вторых, мы все еще надеемся улучшить разработанную нами модель вокруг продукта, а затем выпустить ее вместе.
**Шенран: Как вы думаете, есть ли у крупных моделей отечественных компаний шанс догнать OpenAI? Насколько велик разрыв? Они любят использовать три месяца, шесть месяцев для описания. **
Ван Бинь: В настоящее время OpenAI должен быть очень продвинутым.Он инвестировал в него на раннем этапе и имеет очень сильное накопление талантов, данных, вычислительной мощности, инженерных разработок и продуктов. Судя по внутренней ситуации, я чувствую, что между OpenAI и OpenAI все еще существует определенный разрыв, Некоторые люди говорят, что это три месяца или шесть месяцев, а другие говорят, что это один год или два года. По времени сложно сказать.
Потому что как оценить большую модель — это сама по себе очень сложная проблема. Сейчас существуют рейтинги различных крупных моделей, но ни одна из них не признана всеми единодушно. ** Реального стандарта оценки не существует, поэтому говорить о том, чтобы наверстать упущенное за три или шесть месяцев, — это просто пощечина. **
Что касается того, сможет ли Китай догнать OpenAI, я был настроен пессимистично в первые дни и думал, что это почти невозможно, но с притоком различных решений с открытым исходным кодом, различных команд и капитала мое мнение становится более оптимистичным. Я думаю, что у Китая есть возможность сократить дистанцию с помощью OpenAI, приблизиться или даже превзойти его во многих сценариях.
** Большие модели, похоже, не имеют такого высокого порога для чипов.Посредством постоянного накопления и оптимизации талантов, данных, вычислительной мощности и т. д. можно постоянно сокращать разрыв. **
**Shenran: Какие типы отечественных компаний имеют больше преимуществ в крупномасштабных моделях? Где возможности для Xiaomi? **
Ван Бинь: Независимо от того, крупные компании или малые и средние начинающие компании, у каждой есть свое жизненное пространство. Большая модель — это экология, и ни одна большая не может взять ее все.Все компании в экологии, включая вычислительные мощности, данные, приложения, и компании, которые действительно делают большие модели, имеют свои возможности.
Крупномасштабные модели, такие как Xiaomi, имеют преимущество сценариев применения. Мы считаем, что сочетание больших моделей и сцен даст огромные возможности.
Потому что если просто выпустить большую модель и ей никто не пользуется, она может не получиться быстро развиваться за счет прокатки. И мы можем немедленно приземлиться на сцену, и посредством непрерывной итерации мы можем в полной мере использовать возможности большой модели в этих сценах.
Хотя в настоящее время мы интегрируем только основную команду из более чем 30 человек, на самом деле на периферии много людей. Во всей лаборатории ИИ работает более 100 человек, которые имеют опыт НЛП и работают с конкретными приложениями, включая граф знаний, машинный перевод, диалог между человеком и машиной, интеллектуальное обслуживание клиентов и интеллектуальные ответы на вопросы. Все они — люди с базовым мышлением о больших моделях и связанных с ними технологиях, и они продвигают исследование больших моделей с точки зрения их соответствующих приложений.
**Шен Ран: Насколько ценен опыт Xiaomi в исследованиях НЛП для больших моделей? **
Ван Бинь: В отрасли существует два мнения. Один из способов сказать, что у тех из нас может не быть работы, а ИИ убил нас, особенно у тех, кто занимается НЛП, может не быть работы. Есть также поговорка, что, в конце концов, большая модель сделана из НЛП, а те, кто занимается НЛП, обладают неотъемлемыми преимуществами.
В обоих этих утверждениях есть доля правды, но ведь это связано с моей работой, я больше склоняюсь к последнему утверждению.
Первоначально большие модели исследовались в различных областях, включая зрение, речь и НЛП. Но почему это первый прорыв в области НЛП, я считаю, что для этого есть существенные причины. Я понимаю как минимум два момента: первый — это богатство и доступность языковых данных, а второй — то, что за языковыми данными скрыто очень богатое знание, отражающее процесс человеческого мышления.
Поэтому я считаю, что люди, которые много лет работали в области НЛП, обладают определенными врожденными преимуществами в понимании и преобразовании больших моделей. Многие члены команды крупномасштабных моделей Xiaomi изначально работали в направлении НЛП. Несколько начинающих компаний, которые очень хорошо умеют создавать крупномасштабные модели в Китае, также вышли из области НЛП.
**Шен Ран: Какие текущие трудности возникают у Xiaomi, чтобы преодолеть большую модель? Как это преодолеть? **
**Ван Бинь:**Во-первых, я все же хочу сказать, что у самой большой модели есть очень большие проблемы.
Огромной проблемой является неопределенность технологии. Мы видели некоторые отчеты, и даже сама команда OpenAI не очень ясно представляет себе настоящие принципы, лежащие в основе большой модели, и если они сделают это снова, они не уверены, будут ли получены те же самые «возникающие» результаты. Я считаю, что OpenAI говорит правду в этом вопросе Из-за большой неопределенности в технологии инвестиции не могут гарантировать, что большая модель, которая соответствует ожиданиям, может быть обучена.
Накопление высококачественных данных также является проблемой. Обычно считается, что большие модели требуют очень больших и качественных обучающих данных. Качество общедоступных данных в Интернете в целом относительно низкое, поэтому получение и очистка ** данных представляют собой относительно большие проблемы. **
Другой проблемой, конечно же, является вычислительная мощность. Во-первых, это не значит, что существует так много карточек, которые можно обучить. Во-вторых, поскольку в процессе обучения могут быть допущены ошибки, могут быть сожжены деньги, а сжечь ничего нельзя, так что это зависит от того, есть ли у вас возможность обучить большую модель по контролируемой стоимости.
С практической точки зрения текущие проблемы ** данных и вычислительной мощности все еще относительно велики, особенно крупномасштабные высококачественные данные **. После предыдущего периода восхождения мы теперь в основном уверены, что, пока данные на месте и с использованием существующей вычислительной мощности, мы, вероятно, можем знать, сколько дней потребуется для обучения хорошей базовой модели.
**Shenran: Снижена ли сейчас стоимость обучения больших моделей? **
Ван Бинь: С одной стороны, стоимость проб и ошибок ниже, чем раньше. Потому что обучение больших моделей может идти в обход и давать сбои, но при раскрытии различной информации можно быстро найти правильное направление обучения. С другой стороны, многие облачные вычисления, чипы и другие компании, а также многие начинающие компании предоставляют более дешевые услуги по обучению больших моделей и логическим выводам. С дальнейшим развитием всей экологии, я считаю, что стоимость обучения будет продолжать снижаться.
Как большая модель влияет на бизнес Xiaomi?
**Шен Ран: Не могли бы вы подробно рассказать о лаборатории искусственного интеллекта Xiaomi, за которую вы отвечаете? **
Ван Бинь: После рождения «AlphaGo» в 2016 году г-н Лэй сразу же способствовал созданию команды ИИ. Лаборатория искусственного интеллекта была официально создана в 2016 году, и я возглавляю ее с 2019 года.
Оказывается, Лаборатория ИИ входит в состав Министерства искусственного интеллекта. Позже отдел искусственного интеллекта был объединен с Техническим комитетом Группы, и теперь Лаборатория ИИ находится непосредственно в ведении Технического комитета.
Текущий размер команды AI Lab составляет около 350 человек, и она имеет шесть направлений, а именно машинное обучение, обработку естественного языка (NLP), компьютерное зрение, акустику, речь и графы знаний.
После того, как вышла большая модель, Лаборатория искусственного интеллекта создала постоянную команду большой модели.Сейчас мы сосредоточены на большой модели языка, но мы также уделяем внимание кросс-модальной большой модели.
**Шен Ран: Г-н Лу (президент Xiaomi Group Лу Вейбинг) сказал, что в настоящее время команда Xiaomi AI насчитывает более 1200 человек. Помимо лаборатории искусственного интеллекта, какие еще отделы в Xiaomi тесно связаны с искусственным интеллектом? **
**Ван Бинь:**Помимо лаборатории искусственного интеллекта, есть также команда Сяо Ай, обе из которых входят в состав технического комитета.
В дополнение к техническому комитету есть много отделов с относительно большими командами ИИ, в том числе отдел автопилота автомобильного отдела, отдел камеры мобильного телефона и отдел программного обеспечения.Кроме того, рост пользователей и рекламные рекомендации в Все отделы интернет-бизнеса связаны с ИИ.
Короче говоря, некоторые команды, связанные с ИИ, находятся в бизнес-отделе, а некоторые — в техническом комитете, всего около 1200. Если рассматривать небольшие команды, лично мне кажется, что это число еще больше.
**Шен Ран: Какова роль лаборатории искусственного интеллекта Xiaomi в стратегии искусственного интеллекта Xiaomi? **
**Ван Бинь:**Лаборатория ИИ — это отдел исследований, разработок и производства технологий ИИ на групповом уровне. Проще говоря, мы экспортируем технологию искусственного интеллекта во всю компанию.
Мы когда-то сравнивали лабораторию ИИ с «экспериментальным полем» и «складом боеприпасов» технологии ИИ на групповом уровне. Из-за быстрого развития ИИ лаборатория ИИ будет разрабатывать некоторые среднесрочные и долгосрочные передовые технологии, создавать резервы вокруг бизнеса Xiaomi и выпускать «боеприпасы», когда они понадобятся группе.
С точки зрения технологии ИИ у нас должны быть самые полные резервы в компании, и мы также очень сильны в отрасли.
**Шен Ран: Каковы важные исследовательские достижения Xiaomi AI Lab? **
Ван Бинь: Концепция нашей лаборатории искусственного интеллекта делает упор на сочетание технологий и сценариев.В настоящее время опубликованные статьи не считаются OKR. Поэтому после того, как я пришел в Xiaomi из Китайской академии наук (Chinese Academy of Sciences), я чувствую, что величайшим достижением является не прогресс одной точки технологии, а гениальная интеграция технологий и продуктов.
Xiaomi является компанией To C. Наши возможности ИИ в настоящее время экспортируются не напрямую во внешний мир, а через продукты компании. Мы сделали много достижений, в том числе множество алгоритмов обработки камер и фотоальбомов в мобильных телефонах Xiaomi, алгоритмы голоса и НЛП, задействованные в Xiao Ai, и алгоритмы ИИ в системах рекомендаций, поиска и обслуживания клиентов Xiaomi Mall.
Позвольте мне привести вам пример.Мы разработали функцию перевода в автономном режиме на нашем мобильном телефоне.Например, после выезда за границу сеть во многих случаях не так хороша.В это время включите функцию перевода мобильного телефона Xiaomi без использования облака.В автономном режиме, в режиме реального времени, конфиденциальность и эффект перевода лучше. Реализация и применение этой функции непростая, мы проделали большую работу по оптимизации эффектов перевода и производительности.
**В Xiaomi это не наша собственная технология, которая будет использоваться первой.Внутренние технологии также должны честно конкурировать с внешними технологиями.Только победитель может выжить и быть примененным к продуктам. **
**Ван Бинь:**Самая сильная способность большой модели, говоря простым языком, заключается в том, что она лучше понимает людей и, очевидно, может оптимизировать способ взаимодействия человека с компьютером. Одноклассник Xiaomi Xiao Ai, операционная система мобильного телефона MIUI, автомобильная кабина, IoT и роботы — все это типичные сценарии, в которых применяются большие модели.
**Шен Ран: Не могли бы вы привести Сяо Ай в качестве примера? **
Ван Бинь: Применительно к Сяо Ай, он может делать две вещи одновременно. Один из них — сделать невозможное возможным, что эквивалентно появлению новых функций. Например, я попросил Сяо Ай составить план поездки или заказать еду и т. д. Первоначальная техническая возможность не была достигнута, и если пользователь сформулирует это по-другому, это будет испорчено. Но Благодаря поддержке больших моделей он лучше понимает человеческую речь, что позволяет выполнять сложные задачи, и этот тип приложений вполне осуществим.
Другая категория — это улучшение исходной функции, что эквивалентно вишенке на торте. Из-за непостоянства и разнообразия человеческого самовыражения в процессе взаимодействия человека с компьютером Сяоай самой большой проблемой является столкновение с маловероятными событиями. Мы называем это краеугольным камнем и обычно придерживаемся консервативной стратегии, позволяющей Сяоай сказать: «Я могу». t answer», «Я все еще учусь»**. Такой подкрепляющий ответ также может продолжить разговор, но опыт не очень хороший. Но технология больших моделей может поддерживать диалог в течение более длительного времени и значительно повысить удовлетворенность пользователей.
**Шенран: Влияет ли большая модель на умный дом? **
**Ван Бинь:**По моему личному мнению, большая модель может, по крайней мере, улучшить пользовательский опыт умного дома с точки зрения интерактивных возможностей.
Хотя есть много устройств, которые претендуют на звание «умных», они часто ведут себя как «умственно отсталые», а коэффициент использования невелик. Например, включение кондиционера или регулировка температуры кондиционера, если инструкция отличается от стандартной команды, может быть невозможно управлять IoT-устройством.
Но после появления большой модели у нее появилось более глубокое понимание человеческого языка.Во многих случаях существуют различные выражения.Большая модель может перевести выражение пользователя в инструкции, понятные машине. Это побудит больше людей использовать интеллектуальные устройства и позволит всей экосистеме расти быстрее.
**Шенран: Помимо улучшения существующего бизнеса, есть ли другие вещи, которые Xiaomi не могла сделать раньше, но которые можно сделать после того, как у них появится большая модель? **
Ван Бинь: Мы наладим тесное сотрудничество между крупной моделью и этими предприятиями.Конечно, помимо этого, мы также ищем дополнительные возможности.
Наша команда написала много статей для продвижения больших моделей внутри компании, включая разработку концепции и технологии больших моделей, а также для обучения всех, как использовать ChatGPT для решения бизнес-задач. Г-н Лэй попросил все отделы изучить крупномасштабные модели и требует, чтобы все имели базовое представление о крупномасштабных моделях и думали о том, как интегрироваться с бизнесом.