首頁|滾動|國內|國際|運營|制造|監管|原創|業務|技術|報告|測試|博客|特約記者
手機|互聯網|IT|5G|光通信|LTE|云計算|芯片|電源|虛擬運營商|移動互聯網|會展
首頁 >> 飛象原創 >> 正文

NVIDIA發布TensorRT 7,讓推理延遲不再是交互式互動阻礙

2019年12月18日 14:26  CCTIME飛象網  

飛象網訊(源初/文)12月18日, NVIDIA于今日發布一款突破性的推理軟件TensorRT 7。借助于該軟件,全球各地的開發者都可以實現會話式AI應用,大幅減少推理延遲。而此前,巨大的推理延遲一直都是實現真正交互式互動的一大阻礙。然而,使用TensorRT 7可以對所有模型進行編譯,使其在 NVIDIA GPU上運行,T4 GPU上推理會話AI只需要0.3秒。而傳統一套端到端有20-30個模型的流程,CPU的推理延遲一般為3秒。

NVIDIA TensorRT 7作為NVIDIA第七代推理軟件開發套件,為實現更加智能的AI人機交互打開了新大門,從而能夠實現與語音代理、聊天機器人和推薦引擎等應用進行實時互動。相比于TensorRT 5支持的30種計算變換,TensorRT 7能夠支持1000多種不同設計的計算變換和優化。

據Juniper Research估計,全世界有32.5億個數字語音助理被應用于設備中。到2023年,該數字預計將達到80億,比當今全球人口總和還要多。

TensorRT 7內置新型深度學習編譯器。該編譯器能夠自動優化和加速遞歸神經網絡與基于轉換器的神經網絡。這些日益復雜的神經網絡是AI語音應用所必需的。與在CPU上運行時相比,會話式AI組件速度提高了10倍以上,從而將延遲降低到實時交互所需的300毫秒閾值以下。

NVIDIA創始人兼首席執行官黃仁勛在GTC China主題演講中表示:“我們已進入了一個機器可以實時理解人類語言的AI新時代。TensorRT 7使這成為可能,為世界各地的開發者提供工具,使他們能夠構建和部署更快、更智能的會話式AI服務,從而實現更自然的AI人機交互。”

全球一些最大、最具創新性的公司已在使用NVIDIA的會話式AI加速功能。在首批使用NVIDIA會話式AI加速能力的企業中,包括了阿里巴巴、百度、滴滴出行、美團、快手、平安、搜狗、騰訊和字節跳動等一些中國最具創新力的領先企業。

搜狗公司為全球使用頻率最高的手機應用程序——微信,提供搜索服務。搜狗首席技術官楊洪濤表示:“搜狗每天通過輸入法、AI硬件、搜索等產品為數億用戶提供語音、圖像、翻譯、對話以及問答等優質的AI服務,我們使用NVIDIA TensorRT推理平臺實現線上實時快速的服務響應,領先的AI能力顯著提升了我們的用戶體驗。”

遞歸神經網絡變得日益重要

TensorRT 7加快了AI模型的領域擴展。這些模型被用于預測使用遞歸循環結構(RNN)的時間序列、數據情景。除了用于會話式 AI語音網絡之外,RNN還可以幫助規劃汽車或衛星到達時間、預測電子病歷中的異常情況預測金融資產和識別欺詐。

RNN配置和功能組合的爆炸式增長為快速部署可以滿足實時性能標準的生產代碼帶來了挑戰,使得開發者需要花費長達數月的時間創建手寫代碼優化,從而使得會話式AI僅局限于擁有必要專業人才的少數公司。

通過TensorRT的新型深度學習編譯器,全球各地的開發者能夠將這些網絡(例如定制的自動語音識別網絡以及用于文本-語音轉換的WaveRNN和Tacotron 2)實現自動化,并實現最佳的性能和最低的延遲。

新的編譯器還能優化基于transformer的模型,例如用于自然語言處理的BERT等。 

從邊緣到云,為推理提供加速

TensorRT 7可以快速優化、驗證并部署經過訓練的神經網絡,為超大型數據中心、嵌入式或汽車GPU平臺提供推理能力。

NVIDIA的推理平臺,包括TensorRT以及多個NVIDIA CUDA-X AI™ 庫和NVIDIA GPU,不只能為會話式AI提供低延遲、高吞吐量的推理能力,也同樣能為包括圖像分類、欺詐識別、分割、目標檢測和推薦引擎在內的其它應用提供低延遲、高吞吐量的推理能力。 該平臺的各項能力已被一些世界領先的企業和消費技術公司廣泛使用,其中包括阿里巴巴、美國運通(American Express)、百度、PayPal、Pinterest、Snap、騰訊和Twitter。 

未來幾天內TensorRT 7 將可開放訪問,以用于開發和部署。NVIDIA開發者計劃成員可通過 TensorRT 網頁免費獲得TensorRT 7。此外,新版本插件、語法分析器和樣本也將作為開放資源,通過TensorRT GitHub 庫提供。

編 輯:值班記者
免責聲明:刊載本文目的在于傳播更多行業信息,不代表本站對讀者構成任何其它建議,請讀者僅作參考,更不能作為投資使用依據,請自行核實相關內容。
相關新聞              
 
人物
王志勤:今年年底5G套餐的簽約用戶數將超300萬
精彩專題
MWC19 上海 - 智聯萬物
2019年世界電信和信息社會日大會
中國電信5G創新合作大會
2019年世界移動大會
CCTIME推薦
關于我們 | 廣告報價 | 聯系我們 | 隱私聲明 | 本站地圖
CCTIME飛象網 CopyRight © 2007-2017 By CCTIME.COM
京ICP備08004280號  電信與信息服務業務經營許可證080234號 京公網安備110105000771號
公司名稱: 北京飛象互動文化傳媒有限公司
未經書面許可,禁止轉載、摘編、復制、鏡像
广西快3