新算法克服了AI发展的主要障碍

随着深度学习领域以及整个人工智能领域的不断发展，公司正在越来越多地投资于专用加速硬件，例如图形处理单元(GPU)，以开发其产品。但是，依赖GPU的问题之一是它们的相对较高的成本，这使得发展和竞争比原本要困难的多。

为了减轻研究人员和企业的财务负担，莱斯大学的一组工程师开发了一种称为“亚线性深度学习引擎”(SLIDE)的算法，该算法将GPU替换为通用处理器(CPU)。

系统的共同作者Anshumali Shrivastava说：“我们的测试表明SLIDE是在CPU上进行深度学习的第一个智能算法实现，可以在具有大型完全连接架构的行业规模推荐数据集上胜过GPU硬件加速。”

为了减少计算开销，Shrivastava和研究生Beidi Chen和Tharun Medini将神经网络训练变成了可以通过哈希表解决的搜索问题，而不是使用需要强大的GPU的无处不在的反向传播技术。

由于不必在每种情况下都训练所有人造神经元，因此该任务可能会转化为搜索问题，从而仅选择相关的神经元。Medini说：“因此，从算法上讲，这个想法是使用局部敏感的散列来摆脱矩阵乘法。”

根据Shrivastava的说法，相对于反向传播，SLIDE的主要优势在于它可以同时更新或训练几个数据实例，从而更好地利用CPU的并行性。

在2019年3月在arXiv上发布了初步结果并将其代码上传到GitHub之后，英特尔很快联系了该团队，为解决与使用大内存相关的问题提供了帮助，最终将结果提高了约50%。

尽管SLIDE尽管存在上述问题，但已经可以提供比基于GPU的系统更快的培训时间，但Shrivastava声称，该团队几乎没有触及表面。

Shrivastava说：“整个信息是，'不要被乘法矩阵和GPU内存所困扰'。” “我们可能是击败GPU的第一种算法方法，但我希望这不是最后一种。这个领域需要新的想法，这是MLSys [关于机器学习和系统的会议]的重要组成部分。”

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！