优化是找到做某事的最佳方式的科学。毫不奇怪，它在许多领域都很普遍，包括工程、科学、商业、金融等等。我们想找到实现利润最大化、故障最小化、节省燃料等的方法。
在最简单的形式中，优化问题以函数形式给出，我们寻找该函数变为最小值或最大值的点。
作为例子，我会从金融中挑选一个问题，称为 Markowitz Portfolio。假设我持有两种风险证券，其回报率的方差分别为 σ₁ 和 σ₂。它们的协方差是c。我应该持有每种证券的多少百分比才能使投资组合的方差最小化？
设w是投资于第一个证券的投资组合的一部分，这意味着投资于第二个证券的部分是(1-w)。给定这些参数，两种证券组合的总方差可以写成（推导见此处）：
为了解决这个问题，我们必须找到一个w来最小化这个方差。
在上面的示例中，问题被建模为一个未知变量的函数。我们寻求将导致函数最小值的值。我们应该首先明确我们所说的最低限度的意思。
最小值的定义
设是一个集合，f:→ℝ是从这个集合到实数的函数。f 在 ₀∈ 处有一个局部最小值，如果存在 ₀ 的邻域使得对于所有∈ ()≥(₀)。如果()≥(₀)∀∈，则₀ 是全局最小值。
我还没有定义我所说的社区是什么意思。直观上，它意味着 的一个子集，由靠近 的点组成。为了确定点是近还是远，我们需要一些在集合 上定义的距离度量。幸运的是，实线以及任何欧几里德空间都配备了距离的自然度量。
如果x和y是 n 维向量空间中的点，我们可以将它们写成坐标x=(x₁, x₂, .., xₙ) 和 y=(y₁, y₂, …, yₙ)。x和y之间的距离由它们的差范数给出：
解决优化问题的关键结果是以下微积分定理：
定理：必要的最优性条件
设 f: ℝₙ→ℝ 是一个连续的可微分函数。如果 在 ₀处有局部最小值，则 ∇( ₀ )=0。
反之并不总是正确的，但如果 具有二阶导数，则存在更强的条件来保证最小值。
在 ₀处有一个局部最小值当且仅当 ∇( ₀ )=0 且 ∇²( ₀ )≥0
请注意，∇代表向量 (∂/∂1,…∂/∂)。在一维情况下，这就是著名的导数/。
下图，说明了函数:ℝ→ℝ 以及导数为 0 的各个点。
此属性建议使用一种简单的算法来寻找最小值：找到函数导数为 0 的所有点。如果有多个，则计算每个点处的函数值，然后选择最小值。
使用这个算法，我们现在可以解决方差最小化问题：
我们有一个强大的工具来计算大量维度的最优性。然而，到目前为止，这个框架仍然存在无法解决的问题。考虑以下问题：
我画了一个函数()的图形：ℝ→ℝ在两点1和2之间。然后我围绕 t 轴旋转图形以创建一个曲面。如此描述的表面面积由下式给出（参见此维基百科页面）：
这是一个旋转表面的例子
我们感兴趣的是找到导致最小面积旋转表面的两个固定点之间的函数。这个问题不能用我们目前开发的方法来解决，因为我们不只是在寻找一个数字，而是在寻找一个完整的函数。
上述类型的问题需要优化另一个函数的函数。这样的函数通常称为Functional。我们可以将泛函视为函数:→ℝ，其中是一个函数空间。与我们之前解决的域 :ℝⁿ→ℝ 具有有限维度的问题不同，这个新的函数空间具有潜在的无限维度。
我们甚至可以在无限维空间中取导数吗？
首先要做的是仔细查看导数的定义，看看如何扩展它。在微积分课上，点的导数通常定义为
即使在这个简单的一维定义中，也必须小心，因为如果我们从左边（h负）或从右边（h正）接近 0，我们可能会得到不同的结果。
定义：变分导数
令 :→ℝ 是定义在向量空间 V（可能是无限维）上的实值函数。在方向ℎ的由下式给出
其中 是正实数。
请注意，此导数通常取决于方向向量 ℎ。如果在计算导数时，我们发现它与 ℎ 无关，那么这是一个好兆头，因为这意味着导数可能在每个方向上都有很好的定义。
我们现在可以引入和求解欧拉-拉格朗日方程。
给定未知函数 x 及其导数的已知泛函L，找到使以下积分最小化的函数 x：
这是无限维空间中的优化问题。
事实证明，情况类似于有限维情况。
我们寻找I的导数等于 0 的地方。
是变量 和 及其导数的函数。(,˙) 可以看作是两个变量(,) 的函数。任何此类函数 在点 ( ′, ′) 的泰勒展开由下式给出
现在，我将使用变分导数 lim{e→0} ( eℎ)−() 的定义。
首先，我计算 ( ℎ)−()，其中 是一个小数，ℎ 是一个任意函数。然而，这并不是完全任意的。必须选择函数h，使端点 ₁ 和 ₂ 处的值保持不变。换句话说，我们必须有(₀) ℎ(₁)=(₀)，从中我得到ℎ(₁)=0。₂ 也是如此。下图说明了这个想法。
但由于 ℎ 是一个（几乎）任意函数，因此对于每个 ℎ 成立的唯一方法是如果积分等于 0。
欧拉拉格朗日方程
让我们回到之前遇到的问题。我们想在最小面积的两点之间找到一个旋转面：
我们已经看到，通过从微积分创建众所周知的导数的推广，我们可以将用于解决有限维优化问题的相同原理应用于无限维空间。我们直接用导数的定义推导了欧拉-拉格朗日方程，在物理学等领域有着广泛的应用。
一些评论是为了：
联系客服
