NVIDIA улучшает свою Riva ASR с новыми многоязычными возможностями с использованием моделей Whisper и Canary, интегрируя передовые функции для автономного и автоматического перевода речи.
NVIDIA добилась значительных успехов в развитии своих систем автоматического распознавания речи (ASR), представив расширенные возможности через контейнер Riva 2.18.0 и SDK. Эти разработки являются частью продолжающихся усилий NVIDIA по совершенствованию микросервисов ИИ для речи и перевода с ускорением на GPU, о чем подробно рассказал Свен Чилтон (Sven Chilton) в блоге разработчиков NVIDIA.
Интеграция новых моделей
Последняя версия Riva включает в себя поддержку архитектуры Parakeet, которая облегчает потоковую передачу многоязычного ASR, а также моделей Whisper и Canary для автономного ASR и автоматического перевода речи (AST). Whisper, разработанный OpenAI, и модели Distil-Whisper от HuggingFace теперь являются неотъемлемой частью автономных возможностей Riva ASR, позволяя транскрипцию и перевод аудиозаписей с нескольких языков непосредственно на английский.
Модели Canary еще больше расширяют функциональность Riva, поддерживая автономные переводы ASR и AST в нескольких языковых комбинациях, включая переводы с любого на английский, с английского на любой и любой на любой. Эти модели удовлетворяют разнообразные лингвистические потребности, обеспечивая надежную поддержку задач определения языка и перевода.
Выборочная деактивация NMT
Одной из примечательных функций, представленных в этом обновлении, является возможность выборочной деактивации частей процесса нейронного машинного перевода (NMT) с помощью тега SSML. Эта функция позволяет пользователям указывать текстовые сегменты, которые не должны быть переведены, обеспечивая больший контроль над выходными данными перевода. Кроме того, новый словарь DNT позволяет указать, как должны быть переведены определенные слова или фразы, улучшая настройку процессов перевода.
Развертывание и использование
Развертывание этих новых возможностей осуществляется через папку ресурсов Riva Skills Quick Start, которая включает сценарии и файлы конфигурации, необходимые для настройки сервера Riva с функциональностью Whisper и Canary. Пользователи могут выбирать между моделями Whisper и Canary в зависимости от своих конкретных потребностей в ASR, используя предоставленные сценарии для оптимизации развертывания моделей в соответствии с архитектурой их GPU.
Стремление NVIDIA к расширению лингвистических и функциональных возможностей своих систем ASR очевидно в интеграции этих передовых моделей и функций. Поддерживая более широкий спектр языков и предлагая улучшенные средства управления переводом, Riva продолжает устанавливать отраслевые стандарты в области технологий распознавания речи и перевода.
Для получения дополнительной информации о последних достижениях NVIDIA в области ASR посетите блог NVIDIA Developer.
Содержание носит исключительно справочный характер и не является предложением или офертой. Консультации по инвестициям, налогообложению или юридическим вопросам не предоставляются. Более подробную информацию о рисках см. в разделе «Дисклеймер».
NVIDIA расширяет возможности ASR Riva с моделями Whisper и Canary
Ребека Моен
21 февраля 2025 года 10:54
NVIDIA улучшает свою Riva ASR с новыми многоязычными возможностями с использованием моделей Whisper и Canary, интегрируя передовые функции для автономного и автоматического перевода речи.
! NVIDIA расширяет возможности Riva ASR с помощью моделей Whisper и Canary
NVIDIA добилась значительных успехов в развитии своих систем автоматического распознавания речи (ASR), представив расширенные возможности через контейнер Riva 2.18.0 и SDK. Эти разработки являются частью продолжающихся усилий NVIDIA по совершенствованию микросервисов ИИ для речи и перевода с ускорением на GPU, о чем подробно рассказал Свен Чилтон (Sven Chilton) в блоге разработчиков NVIDIA.
Интеграция новых моделей
Последняя версия Riva включает в себя поддержку архитектуры Parakeet, которая облегчает потоковую передачу многоязычного ASR, а также моделей Whisper и Canary для автономного ASR и автоматического перевода речи (AST). Whisper, разработанный OpenAI, и модели Distil-Whisper от HuggingFace теперь являются неотъемлемой частью автономных возможностей Riva ASR, позволяя транскрипцию и перевод аудиозаписей с нескольких языков непосредственно на английский.
Модели Canary еще больше расширяют функциональность Riva, поддерживая автономные переводы ASR и AST в нескольких языковых комбинациях, включая переводы с любого на английский, с английского на любой и любой на любой. Эти модели удовлетворяют разнообразные лингвистические потребности, обеспечивая надежную поддержку задач определения языка и перевода.
Выборочная деактивация NMT
Одной из примечательных функций, представленных в этом обновлении, является возможность выборочной деактивации частей процесса нейронного машинного перевода (NMT) с помощью тега SSML. Эта функция позволяет пользователям указывать текстовые сегменты, которые не должны быть переведены, обеспечивая больший контроль над выходными данными перевода. Кроме того, новый словарь DNT позволяет указать, как должны быть переведены определенные слова или фразы, улучшая настройку процессов перевода.
Развертывание и использование
Развертывание этих новых возможностей осуществляется через папку ресурсов Riva Skills Quick Start, которая включает сценарии и файлы конфигурации, необходимые для настройки сервера Riva с функциональностью Whisper и Canary. Пользователи могут выбирать между моделями Whisper и Canary в зависимости от своих конкретных потребностей в ASR, используя предоставленные сценарии для оптимизации развертывания моделей в соответствии с архитектурой их GPU.
Стремление NVIDIA к расширению лингвистических и функциональных возможностей своих систем ASR очевидно в интеграции этих передовых моделей и функций. Поддерживая более широкий спектр языков и предлагая улучшенные средства управления переводом, Riva продолжает устанавливать отраслевые стандарты в области технологий распознавания речи и перевода.
Для получения дополнительной информации о последних достижениях NVIDIA в области ASR посетите блог NVIDIA Developer.
Источник изображения: Shutterstock