导读 优化算法是机器学习和人工智能(AI)中的关键。长期以来，人们普遍认为优化算法的设计/配置是一项严重依赖人类智能的任务，需要针对特定...
优化算法是机器学习和人工智能(AI)中的关键。长期以来，人们普遍认为优化算法的设计/配置是一项严重依赖人类智能的任务，需要针对特定问题进行定制设计。
然而，随着人工智能需求的不断增加以及新的复杂问题的出现，手动设计范式面临着重大挑战。如果机器能够以某种方式自动或半自动设计优化算法，那么不仅可以大大缓解这些挑战，而且可以大大扩展人工智能的视野。
近年来，研究人员一直在探索通过从一组训练问题实例中学习来自动化算法配置和设计过程的方法。这些工作被称为学习优化(L2O)，利用大量优化问题实例作为输入，并尝试在具有泛化能力的配置空间(甚至代码空间)内训练优化算法。
SAT、机器学习、计算机视觉和对抗性示例生成等领域的结果表明，自动/半自动设计的优化算法的性能可以与手动设计的算法相媲美，甚至优于手动设计的算法。这表明优化算法设计领域可能已经进入“机器换人”的曙光。
本文回顾了L2O的三种主要方法：训练性能预测模型、训练单个求解器以及训练求解器组合。还讨论了L2O的培训过程的理论保证、成功的应用案例以及泛化问题。最后，本文指出了未来有希望的研究方向。
“L2O预计将发展成为一项关键技术，缓解人工智能领域日益难以承担的人力成本。”唐说。然而，他也指出，保证合理的泛化对于L2O来说仍然是一个挑战，特别是在处理复杂的问题类和求解器类时。
“在许多现实场景中，第二阶段的微调可能是必要的，”唐建议。“学习到的求解器可以被视为进一步微调的基础模型。”
他认为，在基础模型的训练和微调之间建立协同作用，将是充分发挥L2O未来发展潜力的关键方向。