Files
openmlsys-zh/chapter_rl_sys/control.md
Jack 1315f33568 Robotics 3.24 (#433)
* robotics 3.24

* robotics 3.24

---------

Co-authored-by: Cheng Lai <laicheng_VIP@163.com>
2023-03-27 10:57:25 +08:00

23 lines
2.4 KiB
Markdown
Raw Permalink Blame History

This file contains ambiguous Unicode characters
This file contains Unicode characters that might be confused with other characters. If you think that this is intentional, you can safely ignore this warning. Use the Escape button to reveal them.
## 控制系统
虽然控制理论已牢牢植根于基于模型Model-based的设计思想但丰富的数据和机器学习方法给控制理论带来了新的机遇。控制理论和机器学习的交叉方向涵盖了广泛的研究方向以及在各种现实世界系统中的应用。
### 线性二次控制
理论方面线性二次控制Linear-Quadratic Control是经典的控制方法。若动力系统可以用一组线性微分方程表示而其约束为二次泛函这类的问题称为线性二次问题。此类问题的解即为线性二次调节器LinearQuadratic Regulator简称LQR。最近有关于图神经网络在分布式线性二次控制的研究将线性二次问题转换为自监督学习问题能够找到基于图神经网络的最佳分布式控制器他们还推导出了所得闭环系统稳定的充分条件。
### 模型预测控制
模型预测控制MPC是一种先进的过程控制方法用于在满足一组约束条件的同时控制过程。MPC 的主要优势在于它允许优化当前时刻的同时考虑未来时刻。因此与线性二次调节器不同。MPC 还具有预测未来事件的能力,并可以相应地采取控制措施。最近有研究将最优控制和机器学习相结合并应用在陌生环境中的视觉导航任务:比如基于学习的感知模块产生一系列航路点通过无碰撞路径引导机器人到达目标,基于模型的规划器使用这些航路点来生成平滑且动态可行的轨迹,然后使用反馈控制在物理系统上执行。实验表明,与纯粹基于几何映射或基于端到端学习的方案相比,这种新的系统可以更可靠、更有效地到达目标位置。
### 控制系统的稳定性分析
因为安全对机器人应用是至关重要的,有的强化学习方法通过学习动力学的不确定性来提高安全性,鼓励安全、稳健、以及可以正式认证所学控制策略的方法,如 图:numref:`safe\_learning\_control`展示了安全学习控制Safe Learning Control系统的框架图。Lyapunov 函数是评估非线性动力系统稳定性的有效工具最近有人提出Neural Lyapunov来将安全性纳入考虑。
![安全学习控制系统,数据被用来更新控制策略或或安全滤波器 :cite:`brunke2021safe`](../img/ch13/safe_learning_control.png)
:width:`800px`
:label:`safe\_learning\_control`