非凸函数(Non-convex function)是数学中一个重要的概念,尤其在优化理论中非常重要。一个函数如果在其定义域内的任意两点之间连线的所有点都在函数的图形之下或在其上,那么这个函数就是凸函数。相反,如果至少存在一对点,使得这两点之间的连线在某些点上低于或高于函数图形,那么这个函数就是非凸函数。
具体来说,对于函数 ( f(x) ):
1. 如果对于任意的 ( x_1, x_2 ) 属于定义域 ( D ) 和任意的 ( lambda in [0, 1] ),都有 ( f(lambda x_1 + (1-lambda) x_2) leq lambda f(x_1) + (1-lambda) f(x_2) ),则 ( f(x) ) 是凸函数。
2. 如果存在 ( x_1, x_2 ) 属于定义域 ( D ) 和某个 ( lambda in (0, 1) ),使得 ( f(lambda x_1 + (1-lambda) x_2) > lambda f(x_1) + (1-lambda) f(x_2) ),则 ( f(x) ) 是非凸函数。
非凸函数的图形往往有“凹凸不平”的特点,这意味着它们可能包含局部极小值点,但没有全局极小值点。在优化问题中,非凸函数的求解通常比凸函数更困难,因为它们可能存在多个局部最优解,而全局最优解可能并不容易找到。
在机器学习和工程领域,处理非凸优化问题是一个挑战,因为它们可能导致算法在局部最优解附近停滞不前。因此,研究者们开发了许多算法来处理非凸优化问题,例如随机梯度下降、模拟退火等。