Nvidia的TensorRT深度学习推理平台在对话式AI中开辟了新天地

Nvidia公司通过发布TensorRT软件平台的新版本来增强其人工智能游戏，以实现高性能深度学习推理。

TensorRT是一个结合了高性能深度学习推理优化器和可为AI应用程序提供低延迟，高吞吐量推理的运行时的平台。

推理是AI的重要方面。AI培训与算法理解数据集的能力的发展有关，而推理则是指算法对数据采取行动以推断出特定查询答案的能力。

最新版本在性能方面进行了一些重大改进。其中包括大大缩短了最先进的AI语言模型之一的推理时间，该模型称为“来自大型变压器的双向编码器表示形式”。 众所周知，BERT-Large是一种自然语言处理培训的方法。它涉及在大型文本语料库(例如Wikipedia)上训练通用语言理解模型，然后将其用作下游NLP任务(例如回答人们的问题)的基础。

Nvidia表示TensorRT 6带有新的优化功能，可将具有T4图形处理单元的BERT的算法推理时间减少到5.8毫秒，而之前的性能阈值为10毫秒。

Nvidia表示，这种改进的性能足够快，以至于BERT现在对于企业首次在生产中进行部署是切实可行的。传统观点认为，NLP模型需要在不到10毫秒的时间内执行，以提供自然而引人入胜的体验。

英伟达表示，该平台还进行了优化，以加快对与语音识别，医疗应用的3D图像分割以及工业自动化中基于图像的应用有关的任务的推断。

Nvidia表示，TensorRT 6还增加了对动态输入批处理大小的支持，这应该有助于加快AI应用程序(例如具有变化的计算需求的在线服务)的速度。TensorRT开源存储库也不断发展，提供了新的培训样本，这些样本应有助于加快基于语言和图像的应用程序的推理速度。

Constellation Research Inc.分析师Holger Mueller表示，由于目前对话式AI平台的竞赛如火如荼，今天的改进是及时的。

“但Nvidia仍然需要解决下一代应用程序的本地部署，除非它设法将TensorRT平台引入公共云，” Mueller说。“英伟达在此方面拥有良好的业绩记录，但是这需要时间才能实现。”

Nvidia表示TensorRT 6平台可从今天开始通过其产品页面下载。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！