论文翻译：通过云计算对联网多智能体系统进行预测控制

通过云计算对联网多智能体系统进行预测控制

文章目录

• 通过云计算对联网多智能体系统进行预测控制
• 摘要
• • 前言
  • 通过云计算实现联网的多智能体控制系统
  • 网络化多智能体系统的云预测控制器设计
  • 云预测控制系统的稳定性和一致性分析
  • 例子
  • 结论

    摘要

    本文研究了基于云计算的网络化多智能体预测控制系统的设计与分析。该文提出一种网络化多智能体系统（NMAS）云预测控制方案，以同时实现一致性和稳定性，并主动补偿网络时延。详细介绍了NMAS云预测控制器的设计。对云预测控制方案的分析给出了闭环网络化多智能体控制系统稳定性和一致性的必要和充分条件。通过仿真验证了所提方案表征NMAS的动力学行为和控制性能。研究结果为NMAS及其应用的合作和协调控制的发展奠定了基础。

    论文链接：Predictive Control of Networked Multiagent Systems via Cloud Computing | IEEE Journals & Magazine | IEEE Xplore

    期刊：IEEE Transactions on Cybernetics

    分区：Q1

    论文引用：G. -P. Liu, “Predictive Control of Networked Multiagent Systems via Cloud Computing,” in IEEE Transactions on Cybernetics, vol. 47, no. 8, pp. 1852-1859, Aug. 2017, doi: 10.1109/TCYB.2017.2647820.

    前言

    多智能体系统 （MAS） 是一组相互通信的智能体，其中每个智能体都是抽象实体或物理实体。近年来，通信技术，特别是互联网技术的进一步发展，导致一些MAS利用通信网络相互交换信息。这导致了一个名为联网MAS（NMAS）的新系统。该系统通常由许多通过网络交互的简单智能体/子系统组成。最重要的NMAS应用是物联网（IoT）[1]，它是全球经济中最热门的增长部门之一。

    各种NMAS广泛应用于科学和工程领域，如智能电网，卫星通信，GPS，机器人网络，生物网络，传感器网络，无人驾驶车辆，电力系统等。[2]–[5]。NMAS 中的每个智能体在执行特定操作时都有自己的分布式知识、功能或技能。但是，尽管存在常见的松散耦合网络拓扑，但隔离智能体单独执行操作是不寻常的，甚至是无用的。NMAS中的所有智能体都应位于类似的环境中，并且它们可以通过一系列交互协议进行通信。因此，NMAS可用于对许多现有的复杂系统进行建模，其相应的研究可以为我们带来新的方法来处理任何单个智能体无法解决的问题。至于NMAS技术使用的相关优势，与目前其他可用方法相比，有很多优点，例如可靠性，灵活性，鲁棒性，可重用性，可扩展性，可维护性等。

    NMAS合成涉及通过智能体之间的局部交互协议生成所需的集体行为。NMAS的主要研究可分为两个方向：1）传感器网络分布式估计技术的发展和2）使用通过网络获得的信息控制移动自主智能体。在过去的几年里，对这两个方向都作出了各种重要贡献。更具体地说，已经通过采用从控制系统理论到图论的方法研究了移动机器人编队的控制策略，并且在[6]中介绍了机器人在编队中可以具有的许多可能转换。基于虚拟结构方法，解决了多航天器的编队控制思路[7]。已经研究了一组在具有可测量向量场的空间中动态进化的自主智能体的编队控制和同时跟踪，所提出的方法可以通过合作控制它们的轨迹来保证能够实现和维持智能体所需的形成[8]。基于尺度理论和分布式线性迭代的算法，提出了一种实现任意维相对感知网络的简单分布式算法，并分析了其收敛特性[9]。提出了一种在有向图上对MAS进行分布式协同最优控制的逆最优方法[10]。解决了具有活动领导者和可变互连拓扑的多智能体的一致性控制问题，并且为每个自治智能体给出了基于邻居的本地控制器和基于邻居的状态估计规则，以便遵循这样的领导者[11]。提出了一种具有可变时延和切换拓扑结构的连续时间MAS异步一致性策略，并提供了一种有效的分布式一致性算法来克服不可靠的通信信道造成的困难[12]。

    NMAS分析研究网络架构和网络组件之间的交互如何影响全球目标。NMAS的关键问题是一致性问题，需要与所有智能体商达成协议。这意味着分布式控制策略需要使用本地信息进行设计，以便所有智能体就某些数量的兴趣达成所需的协议。这个话题已经在工程和科学的各个领域得到了解决，并且在一致性问题上取得了许多有趣的结果。NMAS的一致性能力通常与每个智能体的隔离动力学及其连接拓扑结构有关。一旦确定了隔离的智能体动态，NMAS的一致性能力取决于其连接拓扑结构。在NMAS中，已经见证了各种开创性的贡献涉及不同的分布式策略达成一致性。具有和没有网络延迟的通信网络的一致性标准已经引入，并针对具有固定和交换拓扑的MAS进行收敛分析[13]，[14]。已经讨论了具有网络延迟的非定向NMAS的平均一致性问题，并在有界网络延迟下推导出了其存在的充分条件[15]。[16]中解决了具有时变延迟的MAS的渐近平均一致性问题，[17]中已经考虑了具有随机网络延迟的二阶马尔可夫跳跃MAS的一致性问题。复杂动态网络（CDN）通常由大量互连的动态节点组成，最近引起了极大的关注[18]。由于通信连接拓扑在形成 CDN 行为中起着至关重要的作用，因此已经研究了各种连接拓扑，以了解网络的通信拓扑如何影响网络的行为。CND的同步是影响网络行为的最重要问题之一，并且已经对具有不同节点的CDN进行了广泛的研究[19]。CDN同步问题的思想和结果已应用于NMAS的一致性问题[20]。

    这篇关于NMAS的论文基于其计算效率和速度，极大地降低了系统的建立，运行和维护费用。然而，NMAS的研究仍然面临许多挑战和困难，特别是在设计和分析方面。例如，如何制定或分解相关任务和目标;如何设计高效有效的控制协议来补偿通信约束;如何保证稳定性，同时达成一致性。这些问题需要解决，以便NMAS的广泛应用，特别是物联网。针对上述挑战和难点，本文考虑了两个目标：1）NMAS的稳定性和一致性，提出了主动高效地补偿通信时延的云预测控制方案;2）推导出闭环NMAS稳定性和一致性的必要和充分条件。此外，仿真还利用所提出的云预测控制方案说明了NMAS的动态行为和控制性能。

    通过云计算实现联网的多智能体控制系统

    在 NMAS 中，存在多个控制器而不是单个控制器，并且智能体之间存在各个智能体控制器必须考虑的交互。每个单独的智能体控制器都采用一种控制策略，例如网络预测控制（NPC）[21]。它现在不仅考虑动态和目标，还考虑沟通限制。每个智能体控制器根据自己的信息解决控制问题，并与其他智能体控制器共享信息，以提高整体性能。在NMAS中，随着系统规模的增加，捕获的实时数据和所需的实时计算将急剧增长。存在许多挑战，包括数据的捕获、存储、可视化、共享、传输、搜索和分析，以及计算任务的分配和协调。使用传统的数据库管理和处理工具很难处理这种实时大数据和计算。

    随着网络技术和计算技术的发展，云计算已经走进了我们的日常生活。现在，云计算已经超越了它最初的产品概念，成为一种服务。它提供了一个动态可扩展和虚拟化资源的共享池，包括数据访问、计算、软件和存储服务。云控制系统的概念在[22]和[23]中作为网络控制系统的延伸进行了简要讨论，表明云控制系统的研究将在不久的将来对控制系统理论和实际应用做出新的贡献。本文将云计算和预测控制以通用形式引入网络化多智能体控制系统，以克服传统NMAS中存在的实时大数据、通信时延、重计算和多任务协调等难题。针对云计算的优点，该文提出一种基于云的NMAS控制策略。通过云计算的网络化多智能体控制系统的架构如图1所示。

    

    采用云化控制策略，通过云计算实现NMAS控制方法。传感器捕获的NMAS实时数据将通过网络发送到云计算系统，数据按照网络化控制方法处理后，将生成控制序列并通过网络发送回各个智能体的执行器。每个智能体通过网络链接到云计算系统中的控制器云节点。所有控制器云节点在云计算系统中链接并交换信息。每个控制器云节点都具有任务管理、数据收集和计算功能，并在其域上以一定的频率持续广播请求，以便其覆盖域中的所有非控制器云节点都能接收到该请求。在每个采样周期内，会选择一些合适的非控制器云节点来执行控制器云节点分配的各种子任务（如状态估计、参数优化、智能体配合、控制预测等），并将结果返回给控制器云节点。这样，基于云的控制策略将为NMAS的控制提供强大的工具，这是以前无法想象的。

    由于 NMAS 中的所有智能体都通过网络与云计算系统通信，因此存在影响 NMAS 建模和设计的通信约束。关键的通信约束是网络延迟、数据丢失和数据安全。它们严重影响NMAS的控制性能。网络延迟是第i个智能体的传感器与云计算系统之间的延迟 s i s_i si​，以及第i个智能体的执行器与云计算系统之间的延迟 a i ， ∀ i ∈ N a_i，∀i∈N ai​，∀i∈N，其中 N = 1 , 2 , . . . , N N = {1, 2, .. .,N} N=1,2,...,N 和 a i a_i ai​ 和 s i s_i si​ 是整数。下一节将考虑对网络延迟的补偿。数据丢失和数据安全可以分别通过 [21] 和 [24] 中使用的策略来处理。

    网络化多智能体系统的云预测控制器设计

    无论网络类型如何，NMAS 的性能始终受到通信约束的影响。众所周知，这些约束会降低网络系统的性能。因此，为了处理闭环NMAS中的通信约束，需要一种先进的控制方法。为了应对这些限制，需要开发一种新的网络控制结构。通信网络的主要特征之一是它们每次都可以传输一个数据包，而不是单个数据，这在非网络控制系统中无法完成。充分利用这一网络特性，引入NMAS的NPC策略[21]，克服随机网络延迟和数据丢失的影响。该策略将由控制预测生成器和网络约束补偿器组成。控制预测生成器基于动态模型和要优化的性能函数，将使用可用信息生成控制预测序列t ，其中包含多个提前一步控制预测t 向前。该控制预测序列将被打包在一起，并通过网络传输到受控智能体端。受控智能体侧的网络约束补偿器将为时间选择最新的控制预测t 从所有可用的控制预测序列中就通信约束的类型而言，并将其应用于受控智能体的执行器。通过这种方式，通信约束，特别是网络时延和数据丢失将得到积极补偿，NPC策略将提供与NMAS相同或渐近相同的控制性能，而没有通信约束。

    为简化表述，做出以下假设：

    1. 云控制器与第 i i i 个智能体传感器之间存在网络延迟 s i s_i si​，云控制器与第 i 个智能体执行器之间存在网络延迟 a i a_i ai​；
    2. 云计算系统中节点间的网络时延远小于联网时延，忽略不计；
    1. 网络延迟 s i s_i si​ 和 a i a_i ai​ 是已知整数，是智能体采样率的倍数。

    为了说明如何轻松地设计、分析和执行云预测控制方案，下面考虑了线性非同一多智能体。实际上，该方案可以扩展到更一般的 NMAS，例如具有不确定性和干扰的非线性 NMAS

    x i ( t + 1 ) = A i x i ( t ) + B i u i ( t ) y i ( t ) = C i x i ( t ) \begin{align} x_{i} (t+1)=&A_{i} x_{i} (t)+B_{i} u_{i} (t) \notag \\ y_{i} (t)=&C_{i} x_{i} (t) \end{align} xi​(t+1)=yi​(t)=​Ai​xi​(t)+Bi​ui​(t)Ci​xi​(t)​​

    ∀i ∈ N，其中 x i ∈ R n i x_i∈R^{n_i} xi​∈Rni​， y i ∈ l y_i∈l yi​∈l， u i ∈ m i u_i∈m_i ui​∈mi​ 分别是第 i i i 个智能体的状态、输出和输入向量， A i ∈ R n i × n i A_i∈R^{n_i×n_i} Ai​∈Rni​×ni​ ， B i ∈ R n i × m i B_i ∈R^{n_i×m_i} Bi​∈Rni​×mi​ ， C i ∈ R l × n i C_i ∈R^{l×n_i} Ci​∈Rl×ni​ 是第 i 个智能体的矩阵。

    假设所有智能体都是可观察的，但它们的状态是不可测量的。然后，基于输出 y i ( t − s i ) y_i(t − s_i) yi​(t−si​) 和控制输入 u i ( t − s i ) u_i(t − s_i) ui​(t−si​)，第 i 个智能体的状态观察器设计如下：

    x ^ i ( t − s i + 1 ∣ t − s i ) = A i x ^ i ( t − s i ∣ t − s i − 1 ) + B i u i ( t − s i ) +    F i ( y i ( t − s i ) − y ^ i ( t − s i ∣ t − s i − 1 ) ) y ^ i ( t − s i ∣ t − s i − 1 ) = C i x ^ i ( t − s i ∣ t − s i − 1 ) \begin{align} \hat {x}_{i} \left ({t-s_{i} +1 | t-s_{i} }\right )=&A_{i} \hat {x}_{i} \left ({t-s_{i} | t-s_{i} -1}\right )+B_{i} u_{i} \left ({t-s_{i} }\right )\notag \\&+ \,\, F_{i} \left ({y_{i} \left ({t-s_{i} }\right )-\hat {y}_{i} \left ({t-s_{i} | t-s_{i} -1}\right )}\right ) \notag \\ \hat {y}_{i} \left ({t-s_{i} | t-s_{i} -1}\right )=&C_{i} \hat {x}_{i} \left ({t-s_{i} | t-s_{i} -1}\right ) \end{align} x^i​(t−si​+1∣t−si​)=y^​i​(t−si​∣t−si​−1)=​Ai​x^i​(t−si​∣t−si​−1)+Bi​ui​(t−si​)+Fi​(yi​(t−si​)−y^​i​(t−si​∣t−si​−1))Ci​x^i​(t−si​∣t−si​−1)​​

    其中 x ^ i ( t − k ∣ t − j ) ∈ ℜ n i ( k aj​.​​​

    G i ∈ R m i × m i G_i ∈R^{m_i×m_i} Gi​∈Rmi​×mi​ 和 H i ∈ R m i × l i H_i ∈R^{m_i×l_i} Hi​∈Rmi​×li​ 是需要设计的增益矩阵。以上暗示预测控制协议利用基于时间 t − s i , ∀ i ∈ N t − s_i,∀i ∈ N t−si​,∀i∈N 可用信息的输出预测来估计时间 t + a i , ∀ i ∈ N t + a_i,∀i ∈ N t+ai​,∀i∈N 的未来控制行为。实际上，所提出的预测控制协议由两部分组成。一个是让智能体 1 跟踪所需的参考，让其他智能体跟踪智能体 1 的输出，这由 (7) 中右侧的第一项表示。另一个是智能体之间的协调，由（7）中右侧的第二项表示。

    然后，第 i 个智能体的预测控制输入被设计为

    u i ( t + a i ) = u ^ i ( t + a i ∣ t − s i ) . \begin{equation} u_{i} \left ({t+a_{i}}\right )=\hat {u}_{i} \left ({t+a_{i} | t-s_{i}}\right ). \end{equation} ui​(t+ai​)=u^i​(t+ai​∣t−si​).​​

    因此，第 i 个智能体的控制输入为

    u i ( t ) = u ^ i ( t ∣ t − s i − a i ) . \begin{equation} u_{i} (t)=\hat {u}_{i} \left ({t | t-s_{i} -a_{i}}\right ). \end{equation} ui​(t)=u^i​(t∣t−si​−ai​).​​

    因此，云预测控制方案被提出如下。

    1. 来自传感器的所有智能体的输出数据 y i ( t ) , ∀ i ∈ N y_i(t),∀i ∈ N yi​(t),∀i∈N, 在每个采样时间 t 被发送到网络。

    1. 基于从网络接收到的输出数据 y i ( t − s i ) , ∀ i ∈ N y_i(t − s_i),∀i ∈ N yi​(t−si​),∀i∈N，云计算系统计算预测 x ^ i ( t + a i ∣ t − s i ) ,   y ^ i ( t + a i ∣ t − s i ) ,   u ^ i ( t + a i ∣ t − s i ) ,   ∀ i ∈ N , \hat {x}_{i} (t+a_{i} |t-s_{i} ),~\hat {y}_{i} (t+a_{i} |t-s_{i} ),~\hat {u}_{i} (t+a_{i} |t-s_{i} ),~\forall i\in {\mathbb N}, x^i​(t+ai​∣t−si​), y^​i​(t+ai​∣t−si​), u^i​(t+ai​∣t−si​), ∀i∈N,, 分别使用（3），（4）和（7）的智能体的状态，输出和控制输入，和动态变量 z i ( t + a i ) z_{i}(t+a_{i}) zi​(t+ai​), ∀ i ∈ N ∀i ∈ N ∀i∈N 使用 (5) 和 (6)。

    2. 由(9)给出的控制输入预测 u i ( t + a i ) , ∀ i ∈ N u_{i} (t+a_{i}),∀i ∈ N ui​(t+ai​),∀i∈N通过网络从云计算系统发送到每个智能体的执行器。

    3. 所有智能体的执行器在每个采样时间 t 从网络接收由 (10) 给出的控制输入 u i ( t ) , ∀ i ∈ N u_i(t), ∀i ∈ N ui​(t),∀i∈N。

    NMAS 的云预测控制方案如图 2 所示。它显示了云预测控制器如何根据智能体输出 y i ( t − s i ) , ∀ i ∈ N y_i(t − s_i),∀i ∈ N yi​(t−si​),∀i∈N通过云计算系统计算后生成智能体控制输入 u i ( t + a i ) u_{i}(t+a_{i}) ui​(t+ai​) , ∀ i ∈ N ,∀i ∈ N ,∀i∈N 。

    

    云预测控制系统的稳定性和一致性分析

    在实践中，多智能体控制系统不仅需要考虑一致性，还需要考虑稳定性。一致性和稳定性都是多智能体控制系统中非常重要的问题。但目前多智能体控制系统的研究工作往往忽略稳定性问题。在这里，同时分析了具有云预测控制方案的闭环 NMAS 的一致性和稳定性。

    定义 1：如果满足以下条件，具有云预测控制方案的 NMAS (1) 输入输出稳定并实现输出一致：

    1. lim ⁡ t → ∞ ∣ y i ( t ) − y j ( t ) ∣ = 0 , ∀ i , j ∈ Π \lim _{t \to \infty }\left |{ y_{i}(t)-y_{j}(t)}\right |=0, \forall i,j \in \Pi limt→∞​∣yi​(t)−yj​(t)∣=0,∀i,j∈Π

    2. lim ⁡ t → ∞ ∣ y i ( t ) ∣