ASUMOT：基于运动一致性的事件相机异步无人机检测与跟踪

大家读完觉得有帮助记得关注和点赞！！！

摘要

事件相机为低空无人机感知提供了微秒级的时间分辨率和宽动态范围。然而，远距离无人机通常产生稀疏、碎片化且受噪声污染的事件响应，一个语义目标可能表现为多个空间分离的团块。因此，直接的团块级异步跟踪会遭受轨迹重复和身份不稳定的困扰。我们提出ASUMOT，一种直接在原始事件上运行的、基于运动一致性的异步无人机检测与跟踪框架。ASUMOT将每个无人机建模为一组运动一致的事件团块。局部运动一致性估计器触发可靠候选，轻量级多任务验证器提供无人机置信度和运动方向线索，运动一致性聚类将碎片化团块聚合成身份一致的无人机航迹。我们还引入了ES-UAV，一个带有密集语义标注的高清事件级无人机基准数据集。在公开无人机跟踪数据和ES-UAV上的实验表明，ASUMOT在保持异步事件处理的同时，优化了精度与效率的权衡。代码与数据集将开源。

引言

无人驾驶飞行器（无人机）的快速普及加剧了对可靠低空监视的需求。在反无人机场景中，远距离目标通常体积小、速度快且视觉特征模糊，使得在杂乱背景下实现实时检测与跟踪极具挑战性。基于帧的方法[Li et al. 2021; Gong et al. 2021; Huang et al. 2023; Sun et al. 2024]在动态环境中易受运动模糊、光照变化和大幅帧间位移的影响。

事件相机提供微秒级时间分辨率和宽动态范围[Gallego et al. 2020]。同步事件方法将事件转换为帧、体素网格或稠密表示[Peng et al. 2024b; Chen et al. 2025; Gehrig and Scaramuzza 2023; Wang et al. 2025]，但这引入了延迟-精度权衡，并丢弃了精细的时间信息。全异步跟踪器[Apps et al. 2025]保留了事件级时序，但通常将每个显著团块提升为一个独立对象。这种团块级假设对无人机而言过于局限：一个语义无人机可能产生多个碎片化、间歇且空间分离的事件团块，导致重复轨迹、目标丢失和身份不稳定。

图1：远距离无人机产生碎片化团块，导致重复/不稳定的团块级跟踪。ASUMOT聚合运动一致的团块以实现稳定的身份跟踪。

我们提出ASUMOT，一个直接在原始事件上运行的异步无人机检测与跟踪框架。其核心思想是将底层事件团块假设与高层无人机身份解耦。ASUMOT不假设一个事件团块对应一个物理目标。相反，每个无人机被表示为一组随时间变化的运动一致事件团块。底层团块假设异步生成和更新，而高层无人机身份则通过聚合碎片化但运动一致的团块观测来维持。

我们还构建了ES-UAV，一个高清事件级无人机基准数据集。其“团块到事件”的标注策略减少了背景误标，同时保留了目标轮廓和运动轨迹，支持细粒度的事件域评估。在公开无人机跟踪数据和ES-UAV上的实验表明，ASUMOT实现了良好的精度-效率权衡和实用的边缘设备延迟。我们的贡献如下：

• 我们提出ASUMOT，一个原始事件异步框架，将每个无人机建模为一组运动一致事件团块，而非单一的团块级航迹。

• 我们设计了一种运动一致性驱动的关联与聚类机制，将碎片化的团块观测聚合成稳定的无人机级航迹，减少了重复轨迹和身份碎片化。

• 我们构建了ES-UAV，一个带有“团块到事件”标注的高清事件级无人机基准数据集，并通过综合实验和边缘部署验证了ASUMOT。

表1：现有基于事件的无人机检测数据集对比。ES-UAV为无人机检测评估提供了高清事件级语义标注。

数据集

标注类型

分辨率

时间粒度

多场景

事件标注格式

相关工作

基于表示的事件检测与跟踪。

基于事件的感知的一个常见方法是将异步事件转换为稠密表示，如事件帧、体素网格或时间表面，然后应用传统的检测或跟踪架构[Chen 2018; Iacono et al. 2018; Jiang et al. 2019; Hu et al. 2020; Messikommer et al. 2020]。近期方法通过自适应累积[Li et al. 2022; Wang et al. 2024b]、循环网络[Gehrig and Scaramuzza 2023]、Transformer或状态空间模型[Peng et al. 2024b; Yang et al. 2025; Xu et al. 2025]、图神经网络[Mitrokhin et al. 2020; Schaefer et al. 2022]和脉冲神经网络[Cordone et al. 2022; Paredes-Vallés et al. 2019; Shrestha and Orchard 2018; Neftci et al. 2019; Aitsam et al. 2025]进一步改进事件表示。这些方法可以利用成熟的基于图像的架构，但其性能严重依赖于时间累积。对于事件稀疏且间歇的远距离无人机，不恰当的累积可能导致目标结构模糊、目标事件与背景活动混合或引入额外延迟。

异步事件跟踪。

异步跟踪器在事件到达时直接更新目标状态，避免了稠密事件累积，并保留了事件相机的原生时间分辨率[Chen et al. 2019; Messikommer et al. 2023; Apps et al. 2025]。AEB风格的模型用概率空间分布描述事件团块，并利用传入事件更新其状态，而AEMOT [Apps et al. 2025]则以全异步方式检测和验证显著团块。这些方法高效且适用于事件级处理。然而，它们通常将每个验证后的团块视为一个独立对象。这种“一团块一对象”的假设对于远距离无人机存在问题，因为一个物理目标可能产生多个碎片化事件团块。ASUMOT与这些方法的不同之处在于，它将团块级事件跟踪与无人机级身份维护解耦，允许多个运动一致的团块共同表示一个语义无人机。

基于事件的无人机感知与数据集。

基于事件的无人机感知日益受到关注，因为事件相机天然适用于高速和高动态范围场景[Magrini et al. 2025b]。现有研究利用无人机特有线索，如螺旋桨运动、高频事件特征和轻量级事件域检测器，以支持嵌入式部署[Sanket et al. 2021; Zhang et al. 2025; Murray and Nowzari 2025; Eldeborg Lundin et al. 2024; Mandula et al. 2024; Chen et al. 2025; Magrini et al. 2025a]。同时，也提出了多个基于事件的无人机数据集[Mandula et al. 2024; Magrini et al. 2024, 2025c; Chen et al. 2025]。然而，其中许多提供的是帧级边界框、稀疏标注、低分辨率记录或短视频片段。用于长序列无人机检测和目标准确评估的高清事件级标注仍然有限。ES-UAV旨在通过提供稠密事件级语义标签和长连续序列，填补这一空白，以支持异步无人机检测与跟踪评估。

ES-UAV：事件分割无人机数据集

我们推出ES-UAV，一个基于事件的无人机评估数据集。数据使用EVK5事件相机采集，空间分辨率为1280×720，时间分辨率为微秒级。ES-UAV以长序列形式获取，采集于包含行人、车辆、建筑物和植被的复杂城市场景中。无人机运动包括悬停、急转、进出视场和复合机动。ES-UAV总共包含超过60亿个事件，其中3600万个事件在事件级进行了稠密标注。

图2：标注策略对比。帧到事件标注将粗糙的帧级标签投射回事件，可能引入背景噪声。相比之下，团块到事件标注从手动选择的种子点初始化异步团块跟踪器，使用多个团块覆盖碎片化的无人机响应，并将语义标签分配给相应的原始事件。

团块到事件标注。

在原始事件流中标注无人机十分困难，因为事件响应稀疏、异步且易与背景活动混合。传统的帧级标注首先将事件累积成像素图像般的帧，然后在累积表示上标注目标。尽管此策略高效，但当帧级标签投射回原始流时，可能模糊小型无人机结构并引入背景事件。为获得细粒度的事件级标签，ES-UAV采用半自动的“团块到事件”标注策略。标注员首先在无人机事件响应上手动选择种子点，然后从这些种子点初始化异步团块跟踪器，直接在原始流中跟随相应的事件团块。对于具有碎片化或空间分离响应的复杂无人机目标，联合使用多个团块跟踪器以覆盖目标的不同部分。标注期间，标注员可以添加或删除跟踪点以校正漂移、遮挡、目标形变和间歇性事件响应。最终，跟踪的团块被投射回原始事件流，为有效无人机团块覆盖的原始事件分配语义标签，如图2所示。

形式上，给定一组标注的无人机团块轨迹 {Br​}r=1R​，每个原始事件 ek​=(ξk​,σk​,tk​)被分配一个二元语义标签：

这里，Br​表示第 r个标注无人机团块轨迹的时空支撑域。当目标响应碎片化时，多个团块轨迹可能对应于同一个无人机目标。这种半自动策略保留了精细的无人机轮廓和运动轨迹，同时相比逐事件标注显著减少了人工工作量。

图3：ES-UAV的统计信息与示例。

评估协议。

ES-UAV设计为纯测试基准。ES-UAV的标签不用于训练验证器、选择超参数或调整阈值。基于学习的组件和基线在相同协议下使用公开事件数据集训练，而ES-UAV专门用于评估跨数据集泛化能力。如图3所示，无人机出现在多样化的复杂环境中，大多数目标小于32×32像素，反映了反无人机感知中典型的远距离小目标设定。长连续序列进一步支持对时间鲁棒性、身份一致性、重复航迹抑制和高清异步无人机检测的评估。

方法

问题定义

我们将基于事件的无人机检测与跟踪表述为在原始异步事件流上的在线概率状态估计问题。遵循AEMOT [Apps et al. 2025]和AEB跟踪器[Wang et al. 2024c]，一个事件流表示为：

其中 ξk​=(xk​,yk​)⊤∈R2是像素位置，σk​∈{−1,+1}是极性，tk​是时间戳。

第 i个事件团块在时间 t的状态表示为：

其中 pi​=(px,i​,py,i​)⊤表示团块中心，vi​=(vx,i​,vy,i​)⊤表示平移速度，θi​和 qi​表征方向和角速度，λi​=(λi,1​,λi,2​)指定主轴空间尺度，Δi​表示正负事件响应之间的极性偏移。

遵循AEB事件似然模型，给定团块状态 ζi​(tk​)，传入事件 ek​的概率写为：

其中

且

这里，Λi​(t)∈R2×2是团块形状尺度矩阵，Λi​(t)−2遵循AEB惯例，用于评估事件到团块分布的归一化空间距离。传入事件通过评估此似然与现有团块假设关联。

尽管这种团块级公式支持异步事件分配和状态更新，但对于远距离无人机感知仍显不足。在杂乱的反无人机场景中，由于目标尺寸小、螺旋桨诱导响应、视角变化和背景干扰，单个无人机可能产生多个碎片化且空间分离的事件团块。因此，直接将每个验证后的团块提升为独立的对象航迹会导致重复轨迹和不稳定身份。

为解决此问题，我们将第 m个无人机目标表示为一组随时间变化的运动一致事件团块：

其中 Im​(t)表示分配给第 m个无人机的事件团块索引集。ASUMOT的目标是随着事件到达，在线更新团块级假设和无人机级航迹，同时保留事件流的微秒级时间分辨率。

概述

图4：提出的异步无人机检测与跟踪框架概览。ASUMOT直接在原始事件流上运行，由事件级关联、运动一致性估计、候选验证、动态初始化和无人机级运动一致性聚类组成。

ASUMOT的整体流程如图4所示。对于每个传入事件，ASUMOT首先评估该事件是否能与现有的有效或候选团块航迹关联。未关联的事件用于更新活跃事件表面（SAE）[Benosman et al. 2013]，并通过运动一致性估计触发候选生成。候选团块随后由轻量级多任务网络进一步验证，该网络预测无人机置信度和运动方向。验证后的团块通过运动一致性聚类（MCC）聚合成无人机级航迹，该聚类将碎片化但运动一致的事件团块关联到同一语义目标。这种设计保留了异步事件处理能力，同时减少了由碎片化无人机响应引起的重复跟踪。

在线推理过程总结于算法1。

算法1 ASUMOT在线推理

输入：事件流 ℰ，团块假设 𝒯_b，无人机级航迹 𝒯_u
1: for 每个传入事件 e_k do
2: 预测活跃团块状态至时间戳 t_k
3: 使用事件似然将 e_k 与候选/有效团块关联
4: if e_k 被唯一关联 then
5: 异步更新匹配的团块
6: else
7: 更新SAE并计算局部一致性得分 C_k
8: if C_k > τ_c then
9: 生成一个候选团块假设
10: end if
11: end if
12: 使用验证器置信度提升可靠的候选团块
13: 使用运动一致性亲和度将验证后的团块分配到无人机级航迹
14: 更新无人机身份，移除陈旧团块/航迹
15: end for
16: return 无人机级轨迹 𝒯_u

事件流的运动一致性建模

局部运动一致性估计。

图5：线性运动估计与运动一致性估计对比。红色区域表示运动响应。线性运动估计产生更多分散的背景响应，而运动一致性估计抑制了噪声响应，保留了更可靠的无人机运动线索。定量统计在选定样本上计算，基线归一化为100%。

在短时间隔内，无人机诱发的事件通常形成局部连贯的结构，而背景噪声和孤立事件在时间上不稳定。我们没有估计稠密光流，而是利用局部事件结构方向的时序一致性作为候选触发的轻量级线索。提取的方向不被视为物理无人机运动方向，而是作为主导局部事件结构的描述符。

令 T(ξ)为像素 ξ的最新时间戳。对于传入事件 ek​，从以 ξk​为中心的SAE块 Pk​中提取ORB定向[Rublee et al. 2011]关键点。每个有效关键点 j∈Kk​提供一个方向 θj​并被分配一个时间权重：

其中 ρ是衰减因子。其结构方向为：

参考方向通过加权圆形平均计算：

局部一致性得分定义为：

当满足以下条件时触发候选团块：

其中 τc​是一致性阈值，nmin​是最小有效关键点数量。图5展示了其对背景噪声的鲁棒性。这种触发机制抑制了噪声候选，减轻了后续验证和跟踪的负担。

运动一致性聚类。

局部运动一致性触发产生团块级假设，而反无人机感知需要目标级身份。运动一致性聚类通过评估碎片化团块在位置、速度、时间连续性和可靠性上是否与同一语义无人机一致，将验证后的团块分配到无人机级航迹。

对于更新步 k的每个验证团块 i，我们定义：

其中 pk,i​和 vk,i​是团块中心和速度，y^​k,i​是验证器置信度，Ck,i​是局部一致性得分。可靠性权重 ηk,i​抑制瞬时杂波和不确定团块。

团块 i与预测的无人机级航迹 m之间的亲和度定义为：

其中 pk,m−​和 vk,m−​是预测的无人机级位置和速度，Δti,m​是自航迹 m上次更新以来的时间。如果 Ai,m​>τa​，则将团块分配给具有最高亲和度的航迹。每个团块最多可分配给一个无人机级航迹，而每个无人机级航迹可收集多个验证后的团块。

对于第 m个无人机级航迹，令 Ik,m​表示其分配的团块集。聚合的目标级测量值和稳定性权重计算为：

仅稳定的目标级测量用于无人机级更新：

然后，目标级测量被传递到一个轻量级多目标滤波后端。在我们的实现中，我们使用加权GM-PHD[Vo and Ma 2006]滤波器，其中 ωk,m​调节测量似然，身份通过加权马氏距离关联维护。详细的滤波、剪枝、合并和身份分配将在补充材料中提供。这种设计使主算法集中于团块到无人机的聚合，同时允许滤波后端被其他在线多目标滤波器替换。

基于学习的验证与动态初始化

![图6：多任务验证器的训练样本来自FRED训练集。(a) 不同视角和尺度的无人机候选，可视化了运动方向。(b) 来自复杂城市环境的非无人机候选。]

基于EKF的团块跟踪器在突发机动和间歇性事件下对初始化敏感。因此，我们使用一个轻量级多任务网络进行候选验证和动态运动初始化。对于每个候选团块，在局部跟踪坐标系中以指数时间衰减累积一个事件强度块 Ii​∈R128×128。网络 fϕ​预测无人机置信度和运动方向：

其中 y^​i​∈[0,1]表示候选对应无人机的概率，φ^​i​表示估计的运动方向。

它通过联合分类和方向估计目标进行训练：

其中 Lcls​是二元交叉熵损失，yi​∈{0,1}是无人机标签，φi​是真实运动方向，λdir​平衡两项任务。方向损失仅应用于正无人机样本。

在推理过程中，当一个候选在短时间内 y^​i​>τy​时被提升。估计的方向用于初始化或校正团块速度：

其中 si​是由局部运动一致性模块估计或从当前跟踪器状态继承的运动幅度。置信度持续较低的候选被删除，减少了对手工初始化的依赖并提高了稳定性。

验证器采用紧凑的残差CNN，具有多头输出，并在来自公开事件数据集的平衡无人机/非无人机样本上训练（图6）。由于其仅在候选块上运行，在嵌入式部署中开销保持较低。详细的网络架构和FLOPs计算将在补充材料中提供。

航迹管理

ASUMOT维护候选和有效团块航迹。候选团块由运动一致性触发生成，并在验证后提升；有效团块参与基于MCC的无人机级关联。对于每个事件，首先使用 p(ek​∣ζi​)与有效团块关联，然后与候选关联。唯一关联的事件异步更新状态；多重关联的事件被视为模糊，仅进行预测；未匹配的事件传递给MCE以生成候选。如果团块离开图像、保持不活跃或反复被拒绝，则终止其航迹。当在预定间隔内没有运动一致的团块组与之关联时，终止无人机级航迹。

实验

数据集与评估指标

我们在FRED数据集上评估跟踪性能，在提出的ES-UAV数据集上评估检测性能。

FRED数据集。

FRED是一个多模态无人机基准数据集，包含7小时的事件和RGB记录，涵盖多样场景和光照条件，支持检测和跟踪评估。事件帧以33.33毫秒间隔标注，分辨率为1280×720。遵循官方协议，我们仅使用事件数据在挑战性划分（147个训练片段和84个测试片段）上进行评估。数据集扩大了边界框尺寸以实现模态同步；然而，由于异步方法产生的检测框是从事件点云计算得出的，因此与放大后的标签IoU较低，我们仅评估跟踪任务。异步输出与数据集采样率同步以确保公平比较。

ES-UAV数据集。

ES-UAV是一个高清基于事件的无人机评估数据集（1280×720，事件级语义标注），专为异步检测精度评估设计。所有方法均在公开数据集（FRED上的帧数据，EV-UAV上的点数据）上训练，并仅在ES-UAV上测试以确保公平比较。

评估指标。

对于跟踪，我们报告多目标跟踪精度（MOTA）、身份F1分数（IDF1）、召回率（Recall）和精确率（Precision），并采用欧几里得一致性准则（EUC = 100）以减轻固定速率评估引起的同步误差。对于检测，我们遵循先前的基于事件的无人机分割工作Ev-SpSegNet[Chen et al. 2025]，采用交并比（IoU）、虚警率（Fa）、准确率（Acc）和检测概率（Pd）。

实现细节

系统在C++中实现，多任务网络在PyTorch中训练并通过LibTorch部署。训练样本使用128×128块从FRED训练集中提取。网络在单张RTX 4090 GPU上训练65个周期，学习率为5×10⁻⁴。运动估计在64×64局部块上运行。概率密度估计用多个假设初始化滤波器，跟踪器遵循AEB跟踪器[Wang et al. 2024c]的默认配置。边缘部署实验在NVIDIA Jetson TX2上进行。

与先进方法的比较

我们在三种输入表示上与代表性方法进行比较：事件帧、体素网格和事件流。对于基于帧和体的方法，遵循官方FRED协议，我们采用ByteTrack[Zhang et al. 2022]作为跟踪后端。

表2：在FRED数据集挑战性划分下的评估结果（MOTA@EUC=100）。

方法

数据格式

IDF1 (%) ↑

召回率 (%) ↑

精确率 (%) ↑

MOTA (%) ↑

GFLOPs ↓

FRED数据集上的结果。

表2报告了挑战性划分上的结果。ASUMOT以仅0.29 GFLOPs的计算量实现了最高的MOTA 64.0%。与D-Fine[Peng et al. 2024a]相比，它将MOTA从59.2%提高到64.0%，同时将计算量从25 GFLOPs降低到0.29 GFLOPs。主要增益来自召回率：ASUMOT达到79.0%，减少了小目标、杂乱背景和快速运动下的目标丢失。虽然由于更激进的候选保留策略导致精确率较低，但显著的召回率增益减少了漏检，并在快速移动的无人机场景中提高了整体MOTA。

图1展示了定性比较。ASUMOT在不同尺度和杂乱背景下定位无人机，同时保持稳定的身份。由于边界框是从事件点云而非累积帧推断得出，预测与小型目标紧密对齐。在临时消失或事件稀疏的情况下，运动一致性状态估计无需重型循环架构即可维持航迹。

表3：ES-UAV数据集上的评估结果。

方法

Pd (%) ↑

Fa (10⁻⁴) ↓

Acc. (%) ↑

IoU (%) ↑

ES-UAV数据集上的结果。

表3总结了检测性能。由于无人机事件响应的极度稀疏性，仅靠IoU不能完全反映检测可靠性；因此，需联合考虑Acc和虚警率。ASUMOT实现了最高的Pd（89.9%）、IoU（42.8%）和Acc（93.3%），同时保持了最低的虚警率（0.56×10⁻⁴）。基于表示的方法如D-FINE和RVT通过利用成熟的空间特征提取实现了有竞争力的定位性能，但其时间累积限制了在无人机快速运动下的精确事件级定位。因此，与ASUMOT相比，它们获得了较低的Acc和较高的误报响应。Ev-SpSegNet在复杂背景和高分辨率数据集上泛化能力有限，凸显了ES-UAV对于评估基于事件的无人机检测任务的重要性。

保留事件动态和运动一致性是在杂乱环境中实现可靠无人机感知的关键。图1展示了ASUMOT的定性检测结果，更多视觉对比将在补充材料中提供。

边缘部署。

我们构建了ASUMOT-Tiny，采用间歇性运动估计，并在边缘设备上进行了评估。

表4：在TX2上FRED数据集挑战性划分的评估结果（MOTA@EUC=100）。

方法

MOTA (%) ↑

延迟 (ms) ↓

GFLOPs ↓

表4显示，ASUMOT-Tiny在Jetson TX2上，在1.34×10⁵ 事件/秒的中位输入速率下，实现了55.0%的MOTA和29.94毫秒的中位延迟。与同步的YOLOv11-n相比，它在运行时相当且计算量更低的情况下提高了跟踪精度。

表5：ASUMOT模型中不同组件的消融研究（FRED数据集）。所有指标以百分比报告。MT表示多任务模块（控制是否启用动态初始化），MCC表示运动一致性聚类，MCE表示运动一致性估计。

变体

MCC

MCE

MT

IDF1

召回率

精确率

MOTA

消融研究

表5验证了MCC、MCE和多任务模块（MT）。完整模型实现了最佳的MOTA/IDF1。移除MCC导致严重的重复轨迹甚至负的MOTA，这凸显了团块级跟踪器与无人机级目标跟踪器的本质区别；用线性回归替换MCE使MOTA降至53.2%，显示了方向一致性滤波的优势；移除MT使MOTA降至47.9%，证实了基于学习的验证和运动方向初始化的价值。

结论

我们提出了ASUMOT，一种基于事件的异步跟踪器，它将无人机表示为运动一致的团块，从而在抑制噪声和重复航迹的同时，改善了碎片化目标的处理。我们还贡献了ES-UAV，一个用于无人机感知的高清事件级基准。实验结果证实了其良好的精度-效率权衡，而应对极度稀疏或近乎静止的无人机仍是未来的开放挑战。