英偉達通過Whisper和Canary模型擴展Riva ASR功能

robot
摘要生成中

麗貝卡·摩恩

2025年2月21日10:54

英偉達利用Whisper和Canary模型增強其Riva ASR,集成離線和自動語音翻譯的先進功能,實現多語言能力的提升。

NVIDIA 推出 Whisper 和 Canary 模型擴展 Riva ASR 功能

NVIDIA通過引入Riva 2.18.0容器和SDK,顯著推進了其自動語音識別(ASR)系統的增強功能。這些發展是NVIDIA持續努力改進其基於GPU加速的語音和翻譯人工智能微服務的一部分,詳情請參閱NVIDIA開發者博客中Sven Chilton的介紹。

新模型的整合

Riva的最新版本包括對Parakeet架構的支持,該架構促進了流式多語言ASR,以及Whisper和Canary模型,用於離線ASR和自動語音翻譯(AST)。Whisper由OpenAI開發,而HuggingFace的Distil-Whisper模型現已成為Riva離線ASR功能的一部分,允許直接將多種語言的音頻錄音轉錄和翻譯為英文。

Canary模型通過支持離線自動語音識別(ASR)和自動語音翻譯(AST)進一步擴展了Riva的功能,涵蓋了多種語言組合,包括任意語言到英語,英語到任意語言,以及任意語言到任意語言的翻譯。這些模型滿足了多樣化的語言需求,為語言檢測和翻譯任務提供了強大的支持。

選擇性NMT停用

此更新引入的一個顯著特點是通過SSML標記選擇性地停用神經機器翻譯(NMT)過程的部分能力。此功能允許用戶指定不應翻譯的文本段,從而更好地控制翻譯輸出。此外,新的DNT字典使得可以指定某些單詞或短語的翻譯方式,增強了翻譯過程的定製化。

部署和使用

通過Riva Skills快速入門資源文件夾,可以簡化部署這些新功能,其中包括設置具有Whisper和Canary功能的Riva服務器所需的腳本和配置文件。用戶可以根據其特定的ASR需求選擇Whisper和Canary模型,並利用提供的腳本根據其GPU架構優化模型部署。

英偉達致力於擴大其ASR系統的語言和功能範圍,這一點在集成這些先進模型和功能中得以體現。通過支持更廣泛的語言範圍並提供增強的翻譯控制,Riva在語音識別和翻譯技術方面繼續樹立行業標準。

有關英偉達最新的 ASR 進展的更多信息,請訪問英偉達開發者博客。

圖片來源:Shutterstock

查看原文
本頁面內容僅供參考,非招攬或要約,也不提供投資、稅務或法律諮詢。詳見聲明了解更多風險披露。
  • 讚賞
  • 留言
  • 分享
留言
0/400
暫無留言
交易,隨時隨地
qrCode
掃碼下載 Gate.io APP
社群列表
繁體中文
  • 简体中文
  • English
  • Tiếng Việt
  • 繁體中文
  • Español
  • Русский
  • Français (Afrique)
  • Português (Portugal)
  • ไทย
  • Indonesia
  • 日本語
  • بالعربية
  • Українська
  • Português (Brasil)