除了追求人工智能的实际应用之外，英特尔公司还投资研究以发展该技术的理论基础。芯片制造商工作的最新成果是可以加速复杂AI模型开发的算法。

协同进化强化学习或CERL算法今天在加利福尼亚州的ICML机器学习会议上提出。它有望加快AI项目的培训阶段，这是开发周期中最耗时的部分之一。

工程师通过让他们在模拟设置中反复执行给定的任务来提高模型的准确性。该过程通常涉及虚拟奖励的使用：当AI做正确的事情(例如，正确识别照片中的动物)时，它会得到一个积分，并将经验中的教训应用到未来的图像中。这是一种强大的方法，但是英特尔在描述CERL的学术论文中强调说，该方法有一定的局限性。

通过基于奖励的培训来授课的神经网络通常会采用“安全路线”，以最大限度地提高其获得的积分数量。然后，人工智能变得不太可能冒险并尝试新方法。这最终限制了模型在训练期间学到的知识，这意味着一旦将模型部署到应用程序中，模型的运行效率可能会降低。

所谓的基于策略梯度的机器学习方法尤为突出，这是工程师训练AI模型的最常见方式之一。有一种没有这种限制的替代方法-进化强化学习-但它有自己的权衡：它需要更多的硬件。英特尔的CERL算法旨在通过将两种方法的关键概念组合到混合工作流程中来提供解决方案。

CERL通过生成一组具有随机设置的神经网络来启动培训课程。该算法挑选出在学习中获得最多积分的模型，将其余的丢弃，并根据性能最高的模型生成新一批的AI。这就创造了一种情况，其中新一代的神经网络都比其前辈更好。

英特尔AI实验室的工程研究负责人Somdeb Majumdar解释说：“保留了排名最高的'精英'，其余的则被丢弃。” “我们还对精英分子进行突变(以小扰动克隆)……以产生高性能的后代，以回填被丢弃的网络。”

为了加快培训速度，英特尔研究人员为CERL配备了一种称为重播缓冲区的机制。这是一个交流渠道，可以使每一代的神经网络彼此共享经验，以更快地学习。同时，第二种机制优化了硬件分配，从而为最快学习的模型提供了更多的计算能力，从而进一步加快了速度。

结果就是英特尔将培训时间大大缩短。为了衡量CERL的性能，该公司将该算法应用于Humanoid上，这是一项AI挑战，涉及到教导要行走的三维人体模型。CERL仅在4,000次部署或与模拟交互后即可完成任务，而传统的进化强化学习系统则需要6250万次部署。

Majumdar写道：“ CERL解决方案适合解决复杂任务的任何大规模决策问题。” “它特别适合具有多个层次需求的任务，例如物理机器人，复杂游戏和自动驾驶等。”