福建百益建设集团有限公司网站关键字是什么意思

福建百益建设集团有限公司网站,关键字是什么意思,洛阳网站建设 培训,wordpress评论是关闭还是开启1. 引言在论述最小二乘问题的时候#xff0c;很多文章都喜欢用拟合直线来举例#xff0c;但是在现实中像拟合直线这样的线性最小二乘问题往往不是常态#xff0c;现实世界中更多是像投影成像这种非线性最小二乘问题。在本文中#xff0c;我们就讲解一下非线性最小二乘问题。…1. 引言在论述最小二乘问题的时候很多文章都喜欢用拟合直线来举例但是在现实中像拟合直线这样的线性最小二乘问题往往不是常态现实世界中更多是像投影成像这种非线性最小二乘问题。在本文中我们就讲解一下非线性最小二乘问题。不过在继续阅读本文之前一定要先理解之前的3篇文章因为线性最小二乘是求解非线性最小二乘问题的基础《最小二乘问题详解1线性最小二乘》《最小二乘问题详解2线性最小二乘求解》《最小二乘问题详解3线性最小二乘实例》2. 定义具体来说非线性最小二乘的目标就是找到一组参数θ使得非线性模型f(x;θ)最好地拟合观测数据。非线性最小二乘模型通常使用如下公式来表达yf(x;θ)ε其中x∈Rd输入变量如坐标、时间等θ∈Rp待估计参数向量f:Rd×Rp→Rm非线性向量值函数ε观测噪声y∈Rm观测输出我们有n组数据{(xi,yi)}ni1同样的非线性最小二乘的目标是最小化残差平方和minθS(θ)minθn∑i1∥ri(θ)∥2minθ∥r(θ)∥2其中ri(θ)yi−f(xi;θ)第i个样本的残差向量r(θ)[rT1,rT2,…,rTn]T所有残差拼成的长向量维度Nn⋅m那么非线性最小二乘能不能像线性那样直接求解呢显然是不行的。因为在线性情况下残差是rAθ−b目标函数是∥Aθ−b∥2这是一个二次函数所以有闭式解(ATA)−1ATb。但在非线性情况下∥r(θ)∥2是一个非凸、非二次函数无法直接求逆也就无法计算出闭式解。更直观的说通过非线性函数f(x;θ)是无法写成类似设计矩阵Aθb这样的线性方程组的。一种求解的思路是局部线性化Local Linearization。虽然f(x;θ)是非线性的但在当前估计θk附近我们可以用一阶泰勒展开近似模型输出f(xi;θ)≈f(xi;θk)Ji(θk)(θ−θk)其中Ji(θk)∂f(xi;θ)∂θT∣∣θθk∈Rm×p第i个样本的模型输出对参数的雅可比块。J(θk)是将所有Ji垂直堆叠得到的N×p矩阵Nn⋅mp为参数维度。代入残差定义ri(θ)yi−f(xi;θ)得到残差的线性近似ri(θ)≈ri(θk)−Ji(θk)(θ−θk)对所有样本拼接成向量形式r(θ)≈r(θk)−J(θk)(θ−θk)令Δθθ−θk则r(θ)≈rk−JkΔθ这是一个关于Δθ的线性模型为非线性最小二乘求解奠定了基础。3. 雅可比矩阵在进行正式求解之前我们先理解一下雅可比矩阵Jacobian Matrix因为它在非线性最小二乘中起着核心作用。从泰勒展开的角度看一元函数的一阶近似使用导数而多元向量函数的一阶近似则使用雅可比矩阵——它是多元函数所有一阶偏导数组成的矩阵。在非线性最小二乘中我们关注的是模型输出f(xi;θ)对参数θ的变化率。对于第i个样本其模型输出对参数的雅可比块为Ji(θ)∂f(xi;θ)∂θT∈Rm×pm模型输出维度例如二维图像坐标(u,v)则m2p待估参数维度Ji(θ)是一个m×p矩阵表示模型输出的每个分量对每个参数的偏导数将所有n个样本的雅可比块垂直堆叠得到整体雅可比矩阵J(θ)⎡⎢⎢⎢⎢⎢⎣J1(θ)J2(θ)⋮Jn(θ)⎤⎥⎥⎥⎥⎥⎦⎡⎢⎢⎢⎢⎢⎢⎢⎢⎣∂f(x1;θ)∂θT∂f(x2;θ)∂θT⋮∂f(xn;θ)∂θT⎤⎥⎥⎥⎥⎥⎥⎥⎥⎦∈RN×p其中Nn⋅m4. Gauss-Newton求解非线性最小二乘问题最基础最好理解的就是Gauss-Newton方法它结合了牛顿法的迭代优化框架就是高中数学中迭代逼近求解平方根的过程和高斯的线性化思想所以将其称为Gauss-Newton方法。它的算法流程如下初始化选一个初始猜测θ0迭代对k0,1,2,…a. 计算当前残差rky−f(x;θk)b. 计算雅可比矩阵JkJ(θk)c. 求解线性最小二乘子问题minΔθ∥rk−JkΔθ∥2解为Δθ(JTkJk)−1JTkrkd. 更新参数θk1θkΔθ终止当∥Δθ∥很小或目标函数变化很小时停止Gauss-Newton方法的基本思路是每一步都在当前点附近做线性近似然后走一步走的方向是让残差平方和下降最快的方向之一最终收敛到一个局部最小值。可能这个算法流程可能还是有点抽象我们将其中一次迭代的过程论述的更清楚一些在θk处做一阶泰勒展开。对残差函数r(θ)在θk附近线性化r(θ)≈r(θk)−J(θk)(θ−θk)令Δθθ−θk则r(θ)≈rk−JkΔθ其中rkr(θk)JkJ(θk)构造局部二次近似目标函数。代入原目标S(θ)∥r(θ)∥2≈∥rk−JkΔθ∥2展开S(θ)≈rTkrk−2rTkJkΔθΔθTJTkJkΔθ这是一个关于Δθ的二次函数。最小化这个二次函数。对Δθ求导并令导数为零∂S∂(Δθ)−2JTkrk2JTkJkΔθ0得到正规方程Normal EquationJTkJkΔθJTkrk求解 Gauss-Newton 步长。如果JTkJk可逆则解为Δθ(JTkJk)−1JTkrk更新参数θk1θkΔθ看到这个过程中的正规方程了吗这就是我们说的非线性最小二乘求解的基础是线性最小二乘的原因了非线性最小二乘问题的每次迭代过程就是一个线性最小二乘子问题。非线性最小二乘与线性最小二乘求解过程的对比如下特性 线性最小二乘 非线性最小二乘Gauss-Newton模型f(x;θ)Aθf(x;θ)任意非线性残差rAθ−br(θ)y−f(x;θ)雅可比JA常数J(θ)∂f∂θT依赖θ解θ∗(ATA)−1ATbθk1θk(JTkJk)−1JTkrk是否迭代 否 是