优化问题的分类

①按照目标函数图像的模态分：多模态问题和单峰态问题

多模态函数：有多个甚至无数个极值，这种函数的优化问题很容易陷入局部最优且难以跳出。
如：Griewank函数

单模态函数：也就是只有一个极值的函数。

②按照目标函数图像的确定性分：确定性问题与随机优化问题

如果公式中没有任何随机性，这个问题就称为确定性问题 deterministic optimization。
如果公式中有随机性，则称为随机优化或鲁棒优化stochastic optimization or robust optimization。

使优化问题更具挑战性的三个因素是：目标函数的非线性、问题的高维性和搜索域的复杂形状。

• 非线性和多模态：高度非线性的函数通常意味着多模态，也就是多个局部最优解，在大多数情况下，解决这类问题的算法时更有可能陷入局部最优当中。
• 高维度：高维数与所谓的维数诅咒有关，即距离变得很大，任何算法的实际搜索体量与巨大的可行解空间相比都变得微不足道。也就是收敛速度缓慢。
• 约束条件多：多重约束条件可能会使得可行解空间变得复杂。在某些情况下，可行解空间被分割成多个孤立的断开区域，这使得算法更难搜索所有的可行区域（因此可能会错过真正的最优解）。

其他因素，如一个目标的评价时间也很重要。在许多应用中，如蛋白质折叠、生物信息学、航空航天工程和深度机器学习，对单一目标的评估可能需要很长时间（从几个小时到几天甚至几周），因此计算成本可能非常高。因此，选择有效的算法变得至关重要。

优化算法的分类

NFL定理 NFL Theorems

由沃尔伯特和麦克雷迪在1997年证明:如果任何算法A在搜索一个目标函数的最优值时优于另一个算法B，那么算法B在其他目标函数上求最优值时就会优于算法A。

换句话说，性能独立于算法A本身。也就是说，当对所有可能的函数进行平均时，所有的优化算法都会给出相同的平均性能，这意味着对所有的优化问题都不存在普遍适用的最佳方法。

NFL定理的含义不是说没有必要制定新的算法，因为所有算法的性能都是相同的。因为这里的平均性能是在一个非常大的数据集上的统计意义，这并不意味着所有算法在某些特定函数或一组特定问题上都同样好。

现实情况是，没有任何优化问题需要一个在所有优化问题上都是平均表现的算法。对于某一特定问题总有更合适的优化算法。