Google详细介绍了用于构建更高效的神经网络的RigL算法

Google LLC今天详细介绍了RigL，RigL是由其研究人员开发的算法，通过缩小人工智能模型，可以使人工智能模型的硬件效率更高。

神经网络由所谓的人工神经元组成，这些人工神经元通过代码实现，并通过软件连接链接在一起。这些连接使人工神经元能够相互传递数据进行处理。RigL通过解决机器学习模型中的一个常见优化问题来提高AI软件的效率：神经元之间的联系经常超过其严格需要的联系。

AI模型中的连接有效地用作数据路径，并且模型处理的数据通常仅通过那些路径的子集传递。其他的则保持闲置状态，不必要地占用处理器和内存资源。根据Google的说法，RigL通过在开发的训练阶段对神经网络的结构进行策略性调整来消除冗余连接。

Google研究人员在一项涉及图像处理模型的实验中对RigL进行了测试。它的任务是分析包含不同字符的图像。

在模型训练阶段，RigL确定AI只需要分析每个图像前景中的字符，并且可以跳过对背景像素的处理，而背景像素不包含任何有用的信息。然后，该算法会删除用于处理背景像素的连接，并在其位置添加新的更有效的连接。

Google研究工程师Utku Evci和Pablo Samuel Castro在博客中解释说：“该算法识别出训练过程中哪些神经元应该处于活动状态，这有助于优化过程利用最相关的连接并获得更好的稀疏解决方案。” “我们以规则的间隔删除一部分连接。”

除了RigL，还有其他方法尝试通过删除冗余连接来压缩神经网络。但是，这些方法的缺点是大大降低了压缩模型的准确性，这限制了它们的实际应用。谷歌表示，RigL比三种最先进的替代技术具有更高的准确性，同时“与其他方法相比，始终需要更少的FLOP(和内存占用)”。

在一项测试中，Google研究人员使用RigL删除了流行的ResNet-50模型中的80%的连接。最终的神经网络获得了与原始神经网络相当的准确性。在另一个实验中，研究人员将ResNet-50缩小了99%，但仍然看到了70.55%的最高准确性。

“ RigL在三种不同的情况下很有用：提高用于部署的稀疏模型的准确性…提高只能针对有限的迭代次数进行训练的大型稀疏模型的准确性[并且]与稀疏原语相结合，从而可以训练非常大的稀疏模型稀疏模型，否则将无法实现。” Evci和Castro详细介绍。

　　免责声明：本文由用户上传，与本网站立场无关。财经信息仅供读者参考，并不构成投资建议。投资者据此操作，风险自担。 如有侵权请联系删除！