通过走廊网络实现去中心化自主交通管理

大家读完觉得有帮助记得关注和点赞！！！

摘要
随着自主飞行器大规模引入且交通密度增加，集中式管理不足以协调大量有人和无人飞行器。因此，人们提出了专用先进空中交通（AAM）走廊来组织高密度自主交通流。为自主飞行器提供轨迹规划灵活性的可扩展性需求，推动了在AAM走廊中采用去中心化交通管理方法的发展。

在本工作中，我们扩展了一种多智能体强化学习（MARL）方法，以应对空中走廊网络中分散式交通流管理的挑战。我们将单个走廊环境中训练得到的策略，以零样本（zero-shot）方式应用于包含合并与分流组合的、日益复杂的多走廊网络。实验结果表明，学习到的行为能够很好地泛化到交通密度变化、网络几何形状变化以及异构飞行器性能的场景，无需集中协调或重新训练模型。我们从对走廊边界的符合性、完成率、平均速度、行驶距离和飞行器间距维持等方面评估系统级性能。我们发现，尽管我们的策略仅需要局部协调的进入、穿越和退出行为，但它们共同在走廊网络中产生了令人满意的交通流。

I 引言

先进空中交通（AAM）预计将引入大量在密集空域运行的自主飞行器。这些新型飞行器的出现将伴随根本性挑战，包括交通需求大幅增加、通信瓶颈、单点故障以及对局部交通状况响应能力有限等问题[28, 27, 23]。因此，安全高效的大规模运行需要去中心化方法，将决策权分散到自主智能体，同时保持飞行器间的间隔。

图1：走廊网络示意图，显示路线、分流和合并的布局。图像顶部有三个网络入口点，底部有两个出口点。此图仅供说明。

近期研究提出专用AAM走廊作为一种有前景的概念，用于在高密度环境中组织交通流并降低协调复杂性[2, 15]。走廊将飞行器组织到预定义路线上，以实现可预测运动，同时支持去中心化协调。在这些结构化环境中，飞行器必须保持间隔、遵守走廊边界并最小化拥塞导致的延误。因此，基于走廊的运行已成为开发去中心化交通流协调策略的重要场景。图1展示了一个可能的AAM走廊网络示意图，包含三个入口、两个出口、18个走廊段和八条可能路线。

多智能体强化学习（MARL）在复杂多车系统中学习协作行为方面展现出强大潜力[21, 30]，使智能体能够通过与环境的交互发现协调策略，而非依赖手工制定的规则。虽然先前工作已证明基于学习的去中心化协调的可行性，但许多研究仅限于低交通密度或简化场景结构[5, 6, 2]。然而，开发能够应对复杂走廊拓扑、扩展到更多智能体和持续交通流，并适应异构智能体行为的协调策略，仍然是一个未解决的挑战。

在本工作中，我们扩展并评估了我们先前用于AAM走廊运行的去中心化MARL框架[2]，引入了三个关键方法论进展：(a) 旋转不变策略表示，(b) 基于课程学习的训练以强制鲁棒的走廊符合性，以及(c) 对复杂多走廊网络的零样本迁移评估。我们的策略不要求飞行器在开始轨迹时就拥有整个网络的信息；在任何时刻，它仅拥有下一个走廊入口和出口点的信息，以及相关走廊的方向。在单走廊环境中训练的旋转不变协调策略，被零样本部署到多走廊设置中——包括合并、分支和组合布局——无需重新训练或集中调度。我们在不断增加交通密度和具有异构性能包络的混合机队下评估性能，分析系统级效应，如吞吐量效率和走廊符合性。我们的结果表明，局部学习的行为能很好地泛化到各种走廊拓扑，并随交通需求扩展，表明结构化空域设计和去中心化策略学习是实现可扩展AAM交通管理的互补方法。值得注意的是，所开发的方法属于交通流管理范畴：目标是让智能体学习良好的策略行为，如遵守结构和拥塞管理。虽然仍然需要战术干预来维持间隔（例如通过感知和规避，类似于今天空中交通管制所扮演的角色），但我们希望即使在高密度场景中，这些干预也相对不频繁。我们在第六节的评估表明，即使在拥挤的复杂走廊场景中，这类战术干预的需求也低于5%的时间。

II 相关工作

II-A AAM中的集中式交通管理

受传统空中交通流管理方法的启发，AAM交通管理领域相当一部分先前研究集中于集中式或系统级协调策略，旨在确保网络规模上的效率和安全性。国家级AAM规划工作强调结构化的运行概念和协调的交通流管理，以支持大量自主飞行器整合到现有空域系统中[28, 27, 11, 23, 18]。认识到降低集中度的好处，U-Space [10]和UTM [11]等框架采用联邦结构，将责任分配给各服务提供商。在算法层面，集中式调度、混合控制架构和分布式交通流管理框架利用全局系统信息来调节拥塞并维持有序交通模式[24, 3]，并且已经提出了聚合建模方法来基于系统级占用率和吞吐量捕捉结构化城市空域中的交通动态[8]。基于形式化方法的分层去中心化方法也已被提出，其中地面基础设施保留局部控制权，运行时防护提供形式化安全保证[4]。这些方法提供了交通流的全局视角，但依赖于系统范围的状态估计，这限制了在密集走廊环境中对快速演变的局部交互的响应能力。

II-B 基于走廊的运行

专用走廊概念已成为在密集城市空域组织AAM交通的一种突出方法。运行规划文件和近期研究强调使用结构化路线来提高可预测性、减少冲突复杂性，并实现自主飞行器与现有空域系统的可扩展整合[28, 27, 10, 29, 15]。通过将飞行器运动限制在预定路径上，走廊在完全集中的空中交通管制和完全无结构的自由飞行之间引入了一个中间层。

先前研究已调查走廊几何形状、符合性策略和规划方法以支持结构化交通流。设计框架探索了车道结构和网络级规划如何影响交通效率和安全性结果[25, 12]。这些结构化环境引入了交互模式，如汇合流、顺序走廊转换和分支布局，与传统空域场景显著不同。虽然基于走廊的运行可以简化全局规划，但它们也将协调挑战转移到附近飞行器之间的局部交互，从而激发了管理结构化AAM交通的去中心化和分布式方法。

II-C 去中心化协调

去中心化协调长期以来一直被探索作为集中式空中交通管理的替代方案，特别是在局部交互主导系统行为的环境中。先前工作已研究分布式控制策略和自组织机制，使自主智能体能够利用局部可用信息进行协调。自适应交通跟随方法展示了分布式多车系统如何随着交通密度变化动态平衡秩序和效率，突显了自组织行为在可扩展空域运行中的潜在益处[16]。基于几何和规则的自我分离方法进一步说明了飞行器如何在没有持续集中监督的情况下维持安全交互[19]，而结构化策略如合并辅助机制已被提出用于管理受限城市空域中的冲突[9]。

除了航空特定应用外，车队和队列协调的相关研究展示了分布式智能体如何通过局部交互规则而非全局控制实现集体行为[14, 13, 17, 26]。这些方法提供了可解释和操作上可行的解决方案，但它们对预定义协调逻辑的依赖可能限制其在多样化交通密度、异构智能体行为和复杂走廊拓扑中的适应性。与依赖显式设计的冲突解决逻辑的基于几何或规则的自我分离方法不同，我们的方法直接从交互数据中学习协调行为。

II-D AAM走廊中基于学习的去中心化协调

先前研究已研究强化学习用于冲突解决和协作多智能体导航，展示了去中心化决策在航空和结构化交通场景中的潜力[5, 6, 30, 2, 7, 1]，包括处理可变邻居数量的基于注意力的架构和为异构智能体目标设计的策略。

虽然这些研究说明了基于学习的去中心化协调的可行性，但评估通常在有限的交通密度或简化的场景结构下进行。因此，去中心化MARL策略能否扩展到大规模智能体群体、异构行为和复杂走廊拓扑仍然是一个悬而未决的问题，这也正是本工作的研究动机。

III 运行和技术假设

在描述方法之前，有必要说明有关运行环境和技术所做的假设。这些假设也影响第四节中介绍的模型和公式。

III-A 运行背景

AAM交通管理涵盖从战略调度和需求-容量平衡到对即将发生的间隔丧失事件进行战术冲突解决的频谱。本工作研究的协调方法位于这些层次之间：智能体基于局部观测持续行动，并发出引导级命令，塑造飞行器在走廊内的穿越和合并方式，而不是在上游调度起飞或在最后一刻解决冲突。在运行系统中，学习到的策略最好被理解为在战术安全机制之前的一个流量塑造层，该安全机制仅在间隔丧失即将发生时介入。战术安全机制（不是本文的重点）将提供独立于学习行为的最后手段保证。在最近的其他工作中，我们已经为走廊合并场景开发了这样一个层，使用基于Hamilton-Jacobi可达性值函数的运行时安全滤波器强制执行碰撞避免，同时最小化对参考引导的修改[20]。将本文研究的策略与战术滤波器配对——无论是基于可达性的[20]还是基于障碍函数的[1]——为将学习到的去中心化协调的可扩展性与形式化间隔保证相结合提供了一条具体路径。

III-B 信息共享和去中心化程度

在本工作中，我们采用强去中心化架构。在执行期间，没有中央控制器计算或分配轨迹，智能体也不交换意图、协商的时间表或计划的未来轨迹。所有动态协调都是局部的：每个智能体根据自己的状态和有限感知邻域内附近飞行器的相对状态采取行动。观测量的细节和使用的策略架构在第四节中描述。我们认识到这代表了一个非常强的去中心化环境，相对于更集中或联邦的设置可能会牺牲相当多的效率。然而，我们相信这项调查有助于我们理解即使在这种高度去中心化的设置中也能达到什么样的性能水平。

III-C 通信需求

状态观测模型假设每个飞行器能够在感知范围内获得附近邻居足够及时和准确的相对状态。在实践中，这需要协作位置共享（例如ADS-B广播）或机载感知，以及与策略使用的控制时间步长兼容的更新速率。在本工作中，我们没有显式建模通信中断、感知延迟或位置不确定性；表征策略在降级监视下的鲁棒性，以及量化安全运行所需的最小更新速率和感知范围，是未来工作必须在部署前解决的重要方面。

IV 方法论

在本节中，我们描述环境和智能体动力学，详细说明走廊导航过程，并描述MARL训练框架。

IV-A 预备知识

我们的环境建立在InforMARL框架[21]之上，其中飞行器被建模为在具有目标和约束的共享空域中运行的交互智能体。我们将多飞行器系统表述为一个去中心化部分可观测马尔可夫决策过程（Dec-POMDP），由元组 ⟨N, S, O, 𝒜, 𝒢, P, R, γ⟩ 定义。每个智能体观测局部邻域，并根据状态观测和图形结构化的交互信息选择动作。

具体来说：

• NN 表示飞行器智能体的数量。

• s∈Ss∈S 表示全局环境状态。

• o(i)∈Oo(i)∈O 是智能体 ii 可用的局部观测。

• a(i)∈Aa(i)∈A 是智能体 ii 的控制动作。

• g(i)∈Gg(i)∈G 是编码智能体 ii 附近实体的交互图。

• P(s′∣s,A)P(s′∣s,A) 定义在联合动作 AA 下的系统转移动力学。

• R(s,A)R(s,A) 是共享奖励信号。

• γγ 是折扣因子。

目标是学习去中心化策略 Π=(π(1),…,π(N))Π=(π(1),…,π(N))，其中每个智能体仅使用局部观测和交互信息，根据 π(i)(a(i)∣o(i),g(i))π(i)(a(i)∣o(i),g(i)) 选择动作。

IV-A1 智能体动力学

飞行器运动使用平面固定翼运动学模型建模。每个智能体状态定义为 s(i)=[x,y,θ,v]s(i)=[x,y,θ,v]，表示位置、航向和速度。状态演化遵循：

其中 ωω 和 aa 分别对应角速度和纵向加速度的控制输入。每个智能体的动作为 a(i)=[ω(i),a(i)]a(i)=[ω(i),a(i)]，受限于 ω∈[−ωmax⁡,ωmax⁡]ω∈[−ωmax​,ωmax​] 和 a∈[amin⁡,amax⁡]a∈[amin​,amax​]，速度限制在 v∈[vmin⁡,vmax⁡]v∈[vmin​,vmax​]。这里，amin⁡<0amin​<0 表示最大减速度，amax⁡>0amax​>0 表示最大加速度，vmin⁡,vmax⁡,ωmax⁡>0vmin​,vmax​,ωmax​>0 定义允许速度范围和对称转弯速率限制。环境使用前向欧拉步进行积分，控制时间步长为 Δt=1Δt=1 秒，此时每个智能体接收观测并发出新动作。

智能体在到达指定目标时被标记为“完成”，此时它被从进一步交互中移除。当所有智能体完成其路线时，回合终止。

IV-B 走廊导航阶段

为分析结构化交通流，单条走廊被表示为矩形车道，由长度 LL、宽度 ww 和方向 θcorridorθcorridor​ 定义。智能体相对于走廊的行为被分为三个概念阶段 ϕ∈{1,2,3}ϕ∈{1,2,3}：

这种基于阶段的描述仅用于分析和解释；学习到的策略在所有阶段连续运行。图2显示了一个带有三个阶段的单走廊布局示例。

图2：单走廊场景（改编自[2]）。

IV-C 多智能体强化学习框架

每个飞行器被建模为一个自主智能体，必须穿越指定走廊，同时与相邻交通保持间隔并遵守走廊约束。在此，我们描述用于训练智能体进行走廊协调的MARL方法。

目标是学习一个单一的去中心化策略，使飞行器能够：

• 维持安全的飞行器间间隔，

• 遵守走廊几何形状和运行阶段，以及

• 从入口点到出口点高效前进。

与[2]类似，训练在单走廊环境中进行，每回合使用固定数量的智能体来学习稳定的协调行为。智能体位置和航向在每回合随机初始化，走廊长度在表I的范围内采样。

IV-C1 智能体观测

每个智能体构建一个旋转不变的局部观测，该观测在走廊方向和配置之间保持一致。将相对量表达在智能体的航向坐标系中消除了对全局方向的依赖，而走廊坐标系表示确保在不同对齐的走廊之间的一致性。这种设计使得在单走廊环境中训练的策略能够泛化到以前未见过的几何形状和布局，而无需重新训练策略。任何智能体 ii 的观测表示 o(i)o(i) 包括：

智能体接收的最终自身观测向量 o(i)o(i) 可表示为：

IV-C2 奖励函数设计

奖励结构旨在产生跨走廊几何形状和交通密度的稳定可扩展行为。奖励结合了编队维持、走廊遵守和进度激励。关键组成部分包括：

为提高训练稳定性并鼓励鲁棒的走廊符合性，奖励项和碰撞惩罚使用课程学习策略逐步引入。早期训练强调走廊遵守和阶段推进，以建立稳定的编队和导航行为。随着策略成熟，间隔惩罚逐渐增加，碰撞惩罚提高到更高的幅度以强制间隔维持。策略使用表I中的参数进行训练。在类似评估密度下的单走廊性能在我们先前的工作[2]中已有描述。

表I：训练期间的参数值

参数

值

V 评估设置

本节评估学习到的去中心化协调策略在比训练配置更复杂的走廊网络中部署时的性能。目标是在运行复杂性和需求增加的情况下，评估可扩展性、跨走廊几何形状的泛化能力以及由此产生的交通流特性。一旦模型在单走廊环境中训练完成，它将被冻结并在不进一步学习的情况下进行评估。所得策略仅基于局部观测和学习到的交互表示进行操作，实现无集中式交通管理或全局状态信息的去中心化执行。

所有实验均设计为在线导航任务，智能体不会预先获得完整的走廊序列。相反，每条走廊在智能体退出前一条时逐步揭示。在每次转换时，观测空间被更新以仅包含关于下一条走廊的局部几何信息，具体为其入口位置、方向和相对于智能体的相对距离。因此，智能体必须使用局部可用信息而非预先计算的全局路线来做决策。因此，该任务评估学习到的策略在顺序、部分可观测条件下适应新遇到的走廊配置并保持协调的能力。

交通需求通过调整场景中同时运行的飞行器数量来变化。实验在10、20、30和40架飞行器下进行，代表交通密度和运行复杂性的增加。飞行器根据固定的计量速率随时间进入网络，产生持续的交通流，并能够评估吞吐量和拥塞传播。这些场景能够评估局部协调（如合并中的协调）以及跨网络走廊的系统级交通流行为。评估参数见表II。

表II：用于评估的参数

参数

值

V-A 性能指标

为在系统层面评估去中心化协调，我们考虑一组运行和流量导向的性能指标。这些指标量化了在需求增加和走廊复杂性提高下的导航可靠性、交通效率、潜在碰撞风险和网络吞吐量。所有指标在每个场景中跨飞行器和试验取平均。

V-A1 走廊边界符合性（C%）

该指标衡量飞行器在多大程度上保持在走廊指定边界墙内。符合性计算为飞行器在阶段2中穿越走廊时保持在边界内的时间百分比平均值。

V-A2 完成率（S%S%）

该指标跟踪成功在回合时长内导航完分配给它们的走廊序列的飞行器百分比。完成率越高，任务表现越好。

V-A3 平均速度（节）

我们通过测量每个智能体沿走廊网络行驶的总距离并除以所花费的时间来计算平均速度。

V-A4 战术干预需求（I%）

在任何时间步，当一架飞行器离另一架飞行器太近并违反最小间隔距离时，需要战术干预进行冲突解除并标记。我们将战术干预需求（I%I%）测量为智能体需要战术干预的时间占其穿越走廊总时间的比例。

VI 结果与讨论

物理环境和时间范围均在不同场景中变化以评估可扩展性。环境空间范围随走廊和飞行器数量缩放，以在评估更大的运行区域时保持现实的走廊密度。类似地，回合长度根据网络规模和交通需求进行调整，以为飞行器提供足够时间穿越走廊并使交通流模式稳定。

VI-A 同质交通性能

我们首先分析同质运行下的系统行为，即所有飞行器共享相同的性能包络，即相同的 vmax⁡=175vmax​=175 节。我们在一组代表运行复杂性逐步增加的走廊网络拓扑上评估去中心化协调。

VI-A1 简单网络场景

合并（Merge）
两条上游走廊合并为一条下游走廊。该场景捕捉了合并点处的容量约束和交互动态，包含3条走廊（见图3）。

图3：合并走廊几何形状。

表III：单合并走廊场景的性能指标。 指标定义见第V-A节。

#

符合性 C%C%

完成率 S%S%

平均速度（节）

战术干预 I%I%

双合并（Double merge）
两个顺序合并点产生复合交互效应和增加的局部交通密度。该场景包含5个走廊段（见图4）。

图4：双合并走廊几何形状。

表IV：双合并走廊场景的性能指标。

#

符合性 C%C%

完成率 S%S%

平均速度（节）

战术干预 I%I%

分流与合并（Split and merge）
飞行器首先分流到平行走廊，随后合并为单一的下游流，引入了路线选择和同步挑战。该场景包含6条走廊（见图5）。

图5：分流-合并走廊几何形状。

表V：分流与合并走廊场景的性能指标。

#

符合性 C%C%

完成率 S%S%

平均速度（节）

战术干预 I%I%

在所有场景中，走廊符合性始终保持高位，即使在最高交通水平下也超过96%。这表明学习到的协调策略尽管交互密度和几何复杂性增加，仍能维持与走廊结构的稳定对齐。

完成率也非常高，在低密度和中密度情况下几乎达到100%，但在更高需求下有所下降，特别是在双合并场景中。这种减少主要由合并点附近的局部拥塞和增加的交互频率引起，导致一些飞行器为了保持间隔而显著偏离其路线。因此，特别是对于流量中较晚的飞行器，它们可能无法在回合结束前到达出口。

平均速度在不同交通水平下保持相对稳定，仅在交互最密集的双合并配置中有适度降低。这表明智能体即使在协调需求增加的情况下也优先维持前进和流量效率，而不是采取保守的减速行为。

战术干预需求随交通密度和走廊复杂性增加，在交互区域空间集中的双合并配置中最为明显。然而，总体干预率仍然较低，表明间隔冲突主要通过学习到的策略协调而非反应式校正来管理。分流-合并场景中的战术干预需求最低，因为合并点只遇到其他场景一半的密度。

图6：使用合并、分流和多个顺序走廊链构建的组合走廊场景，共18条。

VI-A2 同质交通下的组合走廊网络

我们现在将训练好的策略测试在图1所示的大型走廊网络上，该网络由多个合并、分流和顺序段组成，总计多达18条相互连接的走廊（更详细描述见图6）。该场景反映了具有分布式协调要求的现实高密度AAM运行。尽管结构和交互复杂性增加，去中心化策略在所有交通水平下仍保持强劲性能。走廊符合性保持高位，随着交通增加仅从98%略微下降至96%，表明智能体即使在导航长距离多段轨迹时也能保持稳定的路线跟随行为。完成率在所有需求水平下均保持在97%以上，表明智能体能够在没有完整网络先验知识且仅依赖局部走廊信息的情况下穿越扩展的走廊序列。平均速度在不同交通密度下保持一致，表明即使交互复杂性增长，流量效率也得以保持，战术干预率保持适中。

（a）均匀剂轨迹

（b）均质速度热图

（c）合并走廊场景的出口吞吐量

图7：(a, b) 总长18条走廊的组合走廊场景中的AAM走廊导航性能。图中显示了每个智能体的轨迹，颜色表示瞬时速度，以及跨走廊段和间隙的平均速度空间热图。入口走廊（C0、C4、C6）前的接近区域显示了进入走廊前的初始速度。同质智能体，vmax⁡=175vmax​=175节，每场景N=10N=10个智能体。紫色表示快速（175节或324 km/h），黄色表示慢速（110节或204 km/h）。(c) 当所有飞行器速度限制相同时，组合走廊场景（18条走廊）随时间推移的出口吞吐量，将实际策略性能（黑色实线）与理论吞吐量上限（蓝色虚线）进行比较。上限假设所有飞行器沿其指定路线以最大速度（175节）行驶。滑动窗口：60秒。

表VI：组合走廊网络场景的性能指标。

#

符合性 C%C%

完成率 S%S%

平均速度（节）

战术干预 I%I%

表VII：40个智能体的组合走廊场景中各路线统计。 路线按入口点（A、B、C）、出口（L、R）以及分流处中间走廊（用于区分）标记。

路线

入口 → 出口

平均最短距离（km）

平均实际距离（km）

平均速度（节）

路线级统计见表VII，显示了流量在各走廊上的分布。即使在这个拥挤且复杂的走廊场景中，平均速度与最大速度的偏差也仅为5.4%，实际行驶距离在最短可能路线（不考虑拥塞）的8.02%以内。类似地，平均时间偏差在无拥塞情况下最快可能旅行时间的13.5%以内。这些界限说明了学习到的交通管理策略的效率。

同质设置也提供了在理想运行条件下可实现网络容量的基线估计。为量化这一点，我们评估了图6中组合走廊网络在40个智能体情况下的出口吞吐量。图7(c)显示了随时间变化的外流速率，与理论吞吐量上限进行比较，该上限假设所有飞行器沿无冲突轨迹以最大允许速度（175节）行驶。学习到的策略紧密接近理论极限，峰值吞吐量达到约每分钟14架飞行器，而上限值为每分钟15架。实际吞吐量与理论吞吐量之间的微小差距主要源于合并交叉口的局部协调延迟以及为维持间隔和导航转弯所需的瞬时速度调整。

轨迹可视化提供了智能体如何协商密集交通的额外见解。图7(a)和图7(b)显示了10个智能体回合中每个智能体沿整个轨迹的瞬时速度以及跨走廊段的平均速度。飞行器在走廊内保持高巡航速度，在沿走廊间间隙转弯和交互密度增加的合并交叉口附近速度略有降低。特别是，我们看到飞行器试图在走廊间减速或拉伸路径以保持间隔，尤其是在进入最后一条走廊之前（这往往是最拥挤的）。这种局部减速和路径拉伸反映了协调机动而非全局拥塞，飞行器一旦离开这些局部交互增加的区域就会重新加速。

VI-B 异构交通性能

为反映涉及不同性能包络飞行器的现实AAM运行，我们进行了具有异构飞行器能力的实验。通过给智能体赋予不同的速度约束，引入了多个最大地速（vmax⁡vmax​）等级。这种异构性导致混合速度交通流，需要去中心化协调机制在保持间隔和走廊符合性的同时适应机动性和穿越时间的差异。为在更现实运行下评估鲁棒性，我们通过将一部分飞行器的最大速度限制为140节，而其余飞行器保持175节的最大速度来引入性能异构性。这创造了类似于现实AAM运行的混合性能交通流，其中飞行器能力和任务约束各不相同。我们在此异构配置下重新计算了组合走廊网络的出口吞吐量。与同质情况相比，吞吐量略有下降，原因是这些较慢飞行器在高密度段中充当移动约束。图8显示了10个异构智能体场景下的走廊导航性能。

轨迹和速度可视化揭示了异构情况下的突发协调行为。较快的飞行器在狭窄走廊段接近较慢飞行器时调整速度，但在走廊间间隙和横向缓冲区等交互约束减少的区域机会性地超车。这种行为在顺序合并位置附近尤为明显，那里交通密度最高且存在多种路线选择。因此，较慢飞行器的上游发生局部减速，而较快的飞行器超车后重新加速，下游流量恢复。我们发现这种行为（在图8(a)右下角可见）的出现相当有趣：飞行器学会等待直到离开走廊才扩展路径同时超车较慢飞行器，从而避免违反走廊边界。因此，较慢飞行器的存在不会导致持续拥塞或协调崩溃。相反，系统表现出自适应速度协调和机会性超车，表明学习到的策略捕捉了交互感知导航而非刚性速度跟随。

（a）异质代理轨迹

（b）速度热力图

（c）合并走廊场景的出口吞吐量（异构）

图8：(a, b) 总长18条走廊的组合走廊场景中的AAM走廊导航性能，具有异构速度智能体（三个智能体的 vmax⁡vmax​ 慢20%，即140节或259 km/h）。图中显示了每个智能体的轨迹，颜色表示瞬时速度，以及跨走廊段和间隙的平均速度空间热图。入口走廊（C0、C4、C6）前的接近区域显示了进入走廊前的初始速度。每场景N=10N=10个智能体。紫色表示快速（175节或324 km/h），黄色表示慢速（110节或204 km/h）。黑色方块标记较慢智能体的起始位置。(c) 组合走廊场景（18条走廊）随时间推移的出口吞吐量。实际策略性能（黑色实线）与理论吞吐量上限（蓝色虚线）进行比较，该上限假设所有飞行器以175节行驶。滑动窗口：60秒。

VII 局限性与未来工作方向

虽然本研究展示了去中心化MARL策略在结构化走廊网络中协调的有效性，但仍存在一些局限性，推动了未来研究的开展。

战术安全层
虽然我们先前的工作以分层方式考虑了安全滤波器与MARL的结合[7]，但在本工作中，间隔通过奖励塑形和碰撞惩罚而非形式化保证来强制执行。用硬安全约束扩展框架，如运行时安全滤波器[7, 1, 20]，将提高对扰动、感知不确定性和意外故障模式的鲁棒性。

非标称条件
我们的数值实验均在标称运行条件下进行，其中所有飞行器保持可控并遵循其指定路线。非标称事件——如飞行器故障、通信丢失或因天气导致的非计划路线偏离——在此未建模。评估学习到的协调行为是否对通信中断具有鲁棒性，以及是否在此类意外情况下优雅退化，是一个重要的开放问题，需要在运行部署前解决。

环境不确定性
本文考虑的环境不包括风或其他环境扰动。此外，假设所有智能体共享相同的理想化观测模型。在现实运行中，汇合的飞行器可能拥有不同且不断变化的关于局部风况的信息，并可能经历影响间隔最小值的扰动。将框架扩展以处理环境不确定性，并允许飞行器在关于环境条件的异构或不完全信息下有效协调，是未来工作的一个有趣课题。

固定走廊结构和平面动力学
本工作假设固定的走廊几何形状和路线。未来研究将调查动态、按需走廊分配和自适应路线策略，以响应变化的交通需求和运行约束。此外，迄今为止的实验关注平面运动和简化车辆动力学。纳入完全三维运行，以及更现实的车辆性能和环境影响，对于运行相关性至关重要。其他有趣方向包括与终端区域空域的整合以及混合集中-去中心化架构。

对AAM系统部署的启示
部署去中心化学习协调将需要补充的战术安全层和足以支持所需更新速率下局部状态观测的通信基础设施，以及为紧急情况和降级条件明确定义的运行程序。我们认为，定量表征这些需求并围绕它们共同设计学习框架是未来工作的一个有前景方向，这开始回答去中心化AAM运行所需的装备、基础设施和程序标准是什么的问题。

VIII 结论

本文提出了一个去中心化MARL框架，用于在结构化AAM走廊网络中，在不同交通密度和走廊拓扑下进行自主飞行器协调。使用在单走廊中训练的旋转不变策略，我们展示了向多走廊配置的泛化，随着交互复杂性增加，保持了高符合性和稳定的交通流。评估包括合并、分流和包含多达40架同时飞行器（包括异构机队）的18条走廊的组合图场景。我们的结果表明，去中心化自主可以作为一种有效的战略交通流管理机制，实现跨结构化AAM走廊网络的协调。