拉格朗日乘子法（Lagrange Multiplier）

什么是拉格朗日乘子法？

在数学最优问题中，拉格朗日乘子法（Lagrange Multiplier，以数学家拉格朗日命名）是一种寻找变量受一个或多个条件限制的多元函数的极值的方法。

这种方法将一个有n 个变量与k 个约束条件的最优化问题转换为一个有n + k个变量的方程组的极值问题，其变量不受任何约束。

这种方法引入了一种新的标量未知数，即拉格朗日乘数：约束方程的梯度（gradient）的线性组合里每个向量的系数。

如何使用拉格朗日乘子法？

在机器学习的过程中，我们经常遇到在有限制的情况下，最大化表达式的问题。如 maximizef(x,y）s.t. \quad g(x,y)=0

此时我们就可以构造 L(x,y,λ)=f(x,y)λg(x,y) ，其中 \lambda 称为拉格朗日乘子。接下来要对拉格朗日表达式求导，令其为0，解方程即可。