什么大学计算机專业全员ACM？？清北华五？？杭电？ACM不是每个学校有名额限制吗？林晨曦戴文渊这种机器学习大牛都是ACM出身搞机器人的大多也昰996吧。人工智能和控制理论不矛盾啊没有现代控制理论咋搞强化学习。人工智能不等于深度学习

本系列博客写作的初衷是为了督促自身在学习机器人控制过程中加强理论方面的训练写作的内容主要是对原文的翻译，以及掺杂一些个人的简单体会当然，我也会尽鈳能表述清晰帮助读者降低一些语言方面的压力。

第八章 线性二次型调节器

上一篇文章中提到的动态规划问题通常都是很难解出来的泹是有一类很重要、并且很特殊的问题，它的解却可以很容易地得到

这些问题中，其系统动力学一般都是线性的并且代价函数通常是②次代价函数。其中最简单的一类情况就是大名鼎鼎的线性二次型调节器（LQR），这个控制器主要作用就是将一个线性时不变系统镇定在原点上

线性二次型调节器可能是迄今最优控制理论中最重要也是最具影响力的算法之一了。在本章中我们将推导它的基本算法和各种囿用的扩展。

考虑一个线性时不变系统：

它具有无限时域的代价函数如下：

我们的目标是为了找到最优的值函数（cost-to-go function） 且满足HJB方程：

在进荇接下去的推导之前，我们引入一个非常重要的假设也就是最优值函数是一个二次型函数。当然这一点是容易验证的，但我们这里不詓验证直接使用，所以有如下：

由于我们知道在 里面的函数是二次的且 ，所以我们可以直接对 求导并令其导数等于0，来找到最小值對应的解：

把最优控制代回HJB方程得到：

由此，我们知道任意的 要满足上式则可以推出如下矩阵方程：

注意到这个方程是 的二次函数它具有非平凡解（大概就是非零解）。进一步地只有在系统是可控的时，方程有唯一一个正定解并且有很好的数值方法可以求出这个解，甚至在高维问题中也是如此

之前我们之间假设了值函数就是二次型函数，如果大家不信的话现在可以来验证一番。

把最优控制代回系统可得： ，这个解的形式为： 我们把这个解代回代价函数，并且进行积分最后就能得到这个形式： ，显然就是一个二次型函数

囙顾一下最优控制策略的解的形式， 关于这个解的形式可以好好说明一下。

我们的值函数是 最快的让值函数下降的方式也就是值函数梯度的负方向： （最速下降法）。但是这是在状态空间上表达的方向，在控制上并不一定能实现所以， 就代表了最速下降方向在控制涳间中的映射也就是控制量可以实现的最速下降方向。进一步地由于我们对不同的控制输入都赋予了权重，所以要在此基础上再进行┅定的尺度变换最后就得到了这个最优控制律： 。

实际上我们所主要关注的实际系统都是非线性系统但是LQR仍然起到了很大作用。因为咜可以提供非线性系统最优控制解的局部近似

给定一个非线性系统 ，给定平衡点

进行一个简单的坐标代换可得：

我们可得到上式的一阶泰勒展开如下：

到了这一步以后原系统就可以近似为一个误差线性系统了。这样就可以应用之前提到的LQR的相关结论了

由于有限时域问題的值函数是与时间相关的，因此HJB方程需要包含与时间相关的项： 。

考虑如下线性时不变系统：

由于方括号内的部分是 的二次函数我們可以通过令其对 的梯度为0，来求取极小值：

到了这一步要继续往下进行的话我们还是得向之前一样，假设一下值函数 的形式我们可鉯试试以下这种形式：

若是这种形式的话，我们就有：

因此为了让上式在任意状态下均可成立， 需要满足如下条件：

并且要满足如下終端条件：

虽然我们是假设的值函数的形式，但这种形式确实可以满足HJB方程也就是最优性条件，所以我们已经找到了最优的控制和最优嘚值函数

进一步分析，我们可以发现上一节中说的无限时域LQR的解正是有限时域问题的稳态解，即令 就可以得到上面的解

3.1节的推导即便对于如下时变系统也是成立的：

也可以是时变的。这是相当令人振奋的因为时变线性系统是一类相当普遍的系统。它基本上不需要任哬关于时间依赖性的假设除非如果 或 在时间上是不连续的，那么我们将不得不使用适当的技术来精确地积分微分方程

在后续的轨迹优囮的章节中，我们将会介绍关于时变LQR的强大应用它可以沿着非线性系统的标称轨道进行线性化，然后使用时变LQR来作为轨迹控制器

为了唍整性，我们考虑线性二次调节器的一个更一般的形式标准的LQR试图使系统归零。而让我们考虑如下问题：

其中下标 的代表期望的状态和控制量

我们可以假设值函数为如下形式：

为什么是这个形式的话。。额。文章也没说，不过不要紧其实我们只想知道结论，另外我们只需要知道从HJB方程可以推出结论就好了

利用HJB方程，可得：

类似地求解最优控制：

把最优控制代回HJB方程，可知必须满足如下微分方程：

其中他们满足如下终端条件：

注意到这里的 和之前简单版本的LQR的 矩阵是类似的。另外由于控制与 无关，所以可以将其忽略

有限时域LQR方法中可以通过设置一个无穷大的 （终端状态惩罚系数），从而施加一个严格的最终边界条件（相当于让终端状态严格等于期望状態）然而，如果是这样的话我们的微分黎卡提方程的终端边界值就是无穷大，这样就没有从终端时刻往前积分得到 的解了。

为了解決这一问题我们可以来求解这一问题： ，然后有：

这样黎卡提方程就可以反向积分求解了

这是非常有趣的且有用的一种形式，例如洳果我们选择 ，那么相当于在时刻 以前没有任何状态的惩罚，而黎卡提方程会退化为一个一阶的线性常微分方程可以显示求解。另外在可控性Grammian的推导过程也中使用了这些关系，但是在这里我们使用它们来设计反馈控制器

4.1 离散时间黎卡提方程

本质上，上述所有结果对於离散时间系统都有一个自然的相关性此外，离散时间版本在模型预测控制(model-predictive control, MPC)设置中更容易理解我们将在下面和接下来的章节中对此进荇讨论。

考虑如下离散时间系统：

我们期望最小化（有限时域）：

其中值函数会满足如下关系：

这个关系其实很容易理解，也就是n-1时刻丅状态 的值函数 等于两部分的加和第一部分是，系统在n-1时刻受到的状态惩罚以及执行的控制量的惩罚，即 第二部分是，系统在n-1时刻采取最优控制后n时刻达到的下一状态对应的值函数 。我们知道这个关系必须成立否则就说明系统如果采取其他控制可以得到更小的值函数。

我们继续推导我们假设值函数采取如下形式：

带回值函数所满足的关系式，可得：

以上这个方程是有名的黎卡提差分方程

其无限时域的版本为（ 收敛）：

就像在连续时间的情况下，这个方程是如此重要以至于我们有特殊的数值方法来求解这个离散时间的代数Riccati方程(DARE)。

4.2 具有输入和状态约束的LQR

一个线性最优化控制的自然拓展就是进一步去考虑对输入和状态的严格约束

最常见的是线性不等式约束，如：

这类问题在离散时间情况下有一些解决方案但是其计算难度远远高于无约束的版本。

因此对于这类问题，我们放弃用解析形式去求解最优控制策略而是去求解从一个特定的初始条件 出发的，有限时域下的最优控制轨迹

幸运的是，这个问题是一个凸优化问题我们通常可以快速、可靠地解决它，有效地将运动规划算法转化为反馈控制器这个想法被称为模型预测控制(model-predictive control, MPC)。我们将在轨迹优化章节中详细介绍

实际上，具有不等式约束的LQR问题有点类似“explicit MPC”（显式MPC）它的最优控制策略是分段线性的，每一段的区域都有一个多面体描述而朂优值函数也是分段二次的。然而随着约束的数量和问题范围的扩大，多面体的数量会越来越多成指数级增长，这使得除了非常小的問题之外的所有问题的计算都变得不切实际

另外，具有闭型解（解析解）的一个重要情况就是具有线性等式约束的LQR。这一点对于具有運动学约束（闭合运动学链）的机器人的稳定尤其重要例如四连杆机构，线性化的两足机器人

求解代数黎卡提方程是求解LQR问题的首选方法。这个问题是可以用凸优化来求解的具体地说就是把最优性条件写成线性矩阵不等式(LMI)。

这部分的推导作者还没有写，后续会补充。

4.4 有限时域LQR与最小二乘

我们还可以通过优化来得到离散时间有限时域LQR（以及时变LQR或跟踪LQR）问题的解——在这种情况下，它实际上简化為一个简单的最小二乘问题这一思想在LQR的minimax变体（优化最坏情况下的性能）中扮演着重要的角色，我们将会在鲁棒控制章节中讨论这一变體

首先，我们要说明默认的参数化方式是非凸的

注意这里我们是要通过优化的方法确定最优控制器，也就是 的值即是决策变量。

根據上面的计算我们可以知道， 中包含决策变量的n阶形式如果把代回目标函数，显然目标函数是一个高阶多项式是一个非凸的目标函數。

那么如果要令目标函数是凸函数应该如何进行参数化呢？

因为上面参数化的结果可以看到与 是线性的。我们可以令：

现在再来看仩面这个式子我们可以发现，是 的线性函数把代回目标函数以后，目标函数也只是 的二次函数是一个凸函数。

把代回目标函数以后我们的目标函数不仅取决于，也取决于 然而，我们希望可以找到对于任意的 都是最优的 于是，为了实现这一点我们把目标函数对 求导，可以得到：

若要满足对于任意的 都是最优的 则需要满足如下线性矩阵方程：

这个方程是可解的，因为 乘上了一个正定矩阵因为這个矩阵是多个正定矩阵和半正定矩阵的和，因此也是正定并且可逆的

我们求出了所有的以后，若想还原原始的我们可以从头开始递歸的往下求解：

但是，通常我们也不需要这么做因为，在某些应用中我们只需要知道在LQR控制下，最优的性能代价是多少就够了或者對基于扰动的反馈做显示的响应（鲁棒控制的章节会详细描述）。在这一章中我们并没有考虑扰动，模型都是完美的无论是利用 或者昰 进行控制都是适合的。

“系统级综合”（System-Level SynthesiSLS）是另一种重要且略有不同的参数化方法，它直接优化闭环响应它让整个优化过程更加简單直接，它直接定义：

然后整个优化问题可以写作：

我们需要再一次强调的是，如果只想解决简单的情况这里提出的利用最小二乘的優化算法不如直接求解黎卡提方程那么高效。但是如果我们想将LQR与其他目标/约束结合起来，这里的方法将变得非常强大

例如，如果我們想要加入一些稀疏约束（令中的某些元素为0）那么我们可以对上面的二次优化问题结合一些线性等式约束进行求解。

OK以上是关于第仈章的全部内容，这章内容介绍了关于LQR的详细知识包括：

• 连续时间无限时域的LQR问题
• 连续时间有限时域的LQR问题
• 离散时间有限时域LQR问题
• 利用朂小二乘来求解带有约束的LQR问题

需要说明的是，在我的博客里面只提及了我认为重要的部分一些例子以及更加详细的说明被略过了。读鍺可以继续阅读原文以获得更好的理解。