用于评估银行部门NIDS数据集对MITRE ATT&CK技术覆盖的多LLM共识框架

大家读完觉得有帮助记得关注和点赞！！！

摘要： 全球银行网络的系统性关键性使其成为高级持续性威胁的高优先级目标，这就需要网络入侵检测系统（NIDS）的运营有效性必须超越统计准确性。然而，在实验性NIDS性能与实际有效性之间，仍然存在显著的验证差距：在标准基准上达到高准确率的NIDS模型，往往在运营银行环境中失效，因为通用数据集缺乏真实金融威胁所特有的行业特定模式，如SWIFT和ATM相关入侵。为解决此问题，本文研究了一种行业感知评估方法，该方法系统性地评估现有NIDS基准数据集在多大程度上覆盖了与银行基础设施最相关的攻击行为。该方法将MITRE ATT&CK知识库中记录的攻击者行为映射到NIDS基准，同时强制实施NIST SP 800-94定义的真实传感器限制。利用一个包含四种最先进模型的多LLM共识引擎，我们评估了210种银行特定 adversary 技术，得出了一个包含68种网络可观察行为的基线，用于系统性的覆盖分析。对五个基准数据集的评估结果表明，UNSW-NB15以82.2%的加权覆盖得分获得了最高的效用（尽管只有18.4%反映了直接的、技术层面的证据），而CIC-DDoS2019则显示出对核心银行行为89.9%的盲区。这些发现为行业感知的NIDS评估建立了可复现的基础，并突显了对银行原生数据集的迫切需求。

关键词： 网络入侵检测系统（NIDS）· 银行安全 · 网络安全 · MITRE ATT&CK · 大型语言模型。

1 引言

现代银行基础设施构成了全球金融稳定的支柱，通过包括SWIFT、实时全额结算（RTGS）系统和自动柜员机（ATM）网络在内的互联网络促进高价值交易[4,7]。这种数字化转型在提高运营效率的同时，也扩大了复杂对手的攻击面。近期由APT38、Lazarus和Carbanak等组织发起的攻击表明，银行网络已不再是机会性目标，而是国家支持的和以金融为动机的威胁行为者的战略目标[1,16]。这些对手采用专门设计用于利用金融市场基础设施（FMIs）固有独特协议和交易流的多阶段入侵，使得通用网络安全措施不足以应对[16]。

为防御这些关键环境，网络入侵检测系统（NIDS）被广泛部署为被动传感器，监控流量中的未授权或异常活动。NIST根据SP 800-94指南，将NIDS确定为持续网络监控和策略执行的核心机制[21]。然而，这些系统的有效性从根本上受到其训练和评估数据集代表性的限制[19,13]。尽管这一局限性已被充分记录，但基于机器学习的NIDS研究仍依赖于少量通用基准，而没有批判性地评估它们对特定行业部署的适用性[13,20]。

越来越多的证据表明，在标准基准上达到高准确率的NIDS模型，在部署到运营银行环境时往往表现不佳，主要是因为实验数据集缺乏行业特定的攻击模式，如交易滥用、凭证滥用和银行间通信操纵，而这些正是现实世界金融威胁的特征[15,20]。这种验证差距源于可用基准与运营需求之间的根本不匹配。流行的数据集，包括NSL-KDD、UNSW-NB15和CICIDS2017，是为通用企业IT环境设计的，主要关注拒绝服务、端口扫描和暴力破解等粗粒度攻击[6,17,23]。虽然这些数据集适合基线算法评估，但它们对银行特定 adversary 行为（尤其是那些针对支付协议或表现出多阶段入侵检测所需时间连续性的行为）的覆盖有限[19]。因此，从这些基准得出的性能指标可能会对运营韧性产生错误的信心[24]。

最近的研究已采用MITRE ATT&CK框架作为评估检测覆盖的结构化本体。ATT&CK通过有记录的战术和技术对真实世界的 adversary 行为进行建模，从而能够系统性地推理哪些攻击行为在网络流量中是可观察的[15,14,12,10]。一些工作已将此扩展到特定领域：Bagui等人[3]开发了一个明确映射到ATT&CK技术的网络流量数据集，而Wu等人[26]则展示了大型语言模型（LLM）在银行系统内自动化威胁建模中的适用性。然而，现有的映射方法存在两个关键缺陷。首先，它们通常将所有ATT&CK技术视为网络传感器同样可检测，而忽略了关于加密和端点可见性的任何标准约束[21,19]。其次，手动映射方法无法扩展到高风险银行环境所需的粒度[8]。

本文提出了一种行业感知评估方法，旨在弥合实验性NIDS验证与运营银行安全要求之间的差距。本工作的主要贡献如下：

• 我们引入了一个银行部门评估框架，该框架在将MITRE ATT&CK技术映射到数据集之前，通过NIST SP 800-94被动NIDS可见性限制（仅被动感知，无端点数据，无TLS解密）进行过滤，防止夸大的“覆盖”声明，并定义一个现实的可见性界限。

• 我们构建了一个与银行业务相关的ATT&CK技术（核心银行、SWIFT/RTGS、ATM环境）的可复现基线，并整理了在被动约束下网络可观察的子集，为行业感知的数据集验证提供了一个标准参考。

• 我们提出了一种共识驱动的技术到数据集映射程序和一个优先级加权覆盖度量，该度量通过强调对银行对手最重要的技术来评分数据集的效用，将评估从原始计数转向与威胁相关的代表性。

2 背景与相关工作

2.1 背景

银行业的数字化转型需要高度互联的基础设施，涉及云服务和全球网络如SWIFT[4,7,16]。为缓解包括勒索软件和横向移动在内的日益增长的威胁[1,16]，银行根据美国国家标准与技术研究院（NIST）标准[21,19]，在外部网关和内部网段部署网络入侵检测系统（NIDS），以监控流量模式和权限滥用。图1说明了在关键银行基础设施中代表性的被动NIDS部署架构，该架构围绕NIST SP 800-94传感器放置指南一致的双防火墙DMZ（非军事区）模型构建[21]。三个被动分路传感器监控关键阻塞点的流量：在互联网网关边界、SWIFT银行间连接处以及覆盖数据库集群、支付引擎和ATM控制器之间交易流的内部核心银行网段[21]。

标准基准，如KDD Cup 99、NSL-KDD[23]、UNSW-NB15和CICIDS2017，因其易获取性而被广泛使用，但它们主要反映通用企业IT环境和粗粒度的攻击向量，如拒绝服务、端口扫描和暴力破解活动[6,17,23,11]。越来越多的证据表明，公共NIDS数据集仅覆盖已知攻击行为的一小部分[13]，并且缺乏交易特定上下文和金融通信协议的数据集，为评估部署在银行基础设施中的NIDS提供的依据有限[19,20,24]。MITRE ATT&CK框架为推理这些差距提供了结构化本体，通过有记录的战术和技术对真实世界的 adversary 行为进行建模，以便系统性地评估哪些攻击行为在网络流量中是可观察的[15,14]。

图1，描述银行基础设施中的被动NIDS部署架构

2.2 相关工作

在这些已识别差距的基础上，近期研究寻求更结构化的方法来评估检测覆盖。表1总结了关键相关工作及本文解决的差距。

如表1所示，现有的基于ATT&CK的映射方法存在两个关键缺陷。首先，它们通常将所有ATT&CK技术视为网络传感器同样可检测，而忽略了NIST SP 800-94关于加密、端点可见性和被动监控限制的约束[21,19]。其次，手动映射方法无法扩展到高风险银行环境所需的粒度[8]。

虽然LLM越来越多地用于威胁建模等安全任务，但单个模型的输出往往容易受到推理偏差的影响[8,26]。为确保银行环境中的高风险可靠性，近期研究提出了基于共识的框架[18,24]。最密切相关的先前工作，Tory等人[24]，对能源部门的NIDS数据集进行了差距分析，使用了双LLM验证方法，但未应用NIST SP 800-94被动约束或处理银行特定的威胁行为者。此外，现有的共识和验证框架[8,18,24]缺乏银行特定的威胁建模来建立网络可观察技术的可复现基线。本文通过引入一个受NIST约束的可检测性框架来解决这些差距，该框架根据被动NIDS可观察性过滤ATT&CK技术。由此产生的基线为银行NIDS数据集的行业感知评估提供了一个现实的上限。

表1. NIDS数据集和银行业MITRE ATT&CK映射相关工作的定性比较

相关工作

领域

MITRE ATT&CK映射

缺少NIST SP 800-94约束和银行业特定上下文

应用严格的NIST SP 800-94被动监控限制（无TLS/端点可见性）

为银行环境定制

3 方法

该评估框架通过一个三阶段流程运作：(1) 银行部门威胁识别和技术提取，(2) 受NIST约束的可检测性分类，以及 (3) 针对基准数据集的多LLM共识映射。图2说明了这一工作流程。

3.1 范围界定与威胁识别

尽管MITRE ATT&CK框架将金融实体归类于统一的“金融服务”部门，但本研究采用更狭义的定义，以隔离专门针对核心银行基础设施的威胁。此处将银行机构定义为运营关键金融市场基础设施（FMIs）的实体，具体指银行间支付系统（如SWIFT和RTGS）、自动柜员机（ATM）网络以及促进存款和结算功能的核心银行系统[4]。此定义排除了更广泛的金融实体，如保险公司、投资公司和加密货币交易所，它们不运营同样具有系统重要性的支付基础设施[7]。

图2，描述多LLM共识框架流程

利用MITRE ATT&CK框架（v18）[15]，我们使用类似于[19]的基于关键词的过滤方法，来识别潜在的银行部门对手。候选者经过手动验证，以确保其目标符合我们的银行定义，排除了仅关注外围金融服务的组织。这产生了12个软件家族（Dridex、TrickBot、QakBot、Dyre、Carbanak、Carberp、Ursnif、IcedID、Bankshot、Zeus Panda、Wiper和TrickMo）和12个威胁组织（Indrik Spider、APT38、Lazarus Group、Cobalt Group、Andariel、GCMAN、Malteiro、Silence、TA505、DarkVishnya、RTM和Carbanak）。值得注意的是，Carbanak既作为恶意软件条目（S0030）又作为威胁组织（G0008）出现，因为它们在MITRE ATT&CK中是不同的实体。技术提取通过Python针对MITRE ATT&CK企业版STIX/JSON存储库在2025年11月以编程方式执行，使用了版本18.1（2025年10月28日发布）[15]，产生了210种独特技术。

表2. 根据NIST SP 800-94的被动NIDS传感器约束

约束

描述

参考

3.2 可检测性分类框架

为按被动NIDS可检测性对技术进行分类，我们开发了一个分类框架，将NIST SP 800-94能力操作化[21]。该模型假设通过网络分路器进行被动传感器部署，受表2总结的三个明确约束限制。

四种LLM（Claude Opus 4.5、GPT-5.2、Grok 4.1和Gemini 3 Pro）独立评估了210种技术中的每一种。为确保跨模型一致性，提示策略应用了表3总结的六种提示工程原则；通用完整提示模板见附录A。

表3. 为跨模型一致性应用的提示工程技术

技术

描述

理由

每个LLM分配了表4中定义的三个分类标签之一，将NIST SP 800-94检测梯度操作化。

表4. NIDS可检测性分类方案

标签

描述

事件类型参考

共识要求至少四种LLM中的三种达成一致（75%）。此阈值平衡了包容性和严谨性：虽然一致共识（100%）消除了假阳性，但因单模型偏差可能排除有效技术；相反，简单多数（50%）允许单个模型错误主导分类。75%的阈值确保了稳健的一致，同时适应了关于网络工件可观察性的合理解释差异[18]。

在210种技术中，有21种（10.0%）未能达成共识，需要手动裁决，包括19例2-2分裂和2例三方分歧（2-1-1模式）。有争议的分类通过结构化专家评审解决。优先考虑保守分类；具有模糊网络可观察性的技术被分类为PARTIAL而非YES，以避免夸大可检测性估计。此过程识别出68种NIDS可检测技术，形成了数据集映射的范围。

3.3 数据集映射与效用度量

表5. 数据集映射分类

标签

描述

为评估覆盖范围，我们开发了结构化数据集档案，描述每个基准的攻击分类法、网络工件和已知局限性。分析了五个NIDS数据集：CICIDS2017[6]、CIC-DDoS2019[22]、UNSW-NB15[17]、UWF-ZeekData22[25]和CTU-13[9]。

数据集建档： 每个档案记录了：(1) 攻击类别及其分布，(2) 可观察的网络工件，包括端口、协议、标志和负载特征，(3) 与检测相关的数据集特定特征，以及 (4) 影响技术覆盖的已知局限性，如数据格式约束、类别不平衡或时间过时性。

表6. 2-2映射分裂的争议解决规则

争议模式

解决方式

理由

语义映射过程： 相同的四种LLM独立地根据数据集档案评估每种技术。每个模型收到68种技术的主列表、结构化数据集档案和演示映射逻辑的推理指令。每个映射被分配了表5中定义的三个分类标签之一。

映射共识要求75%的一致，与阶段1一致。一致（4/4）和共识（3/4）分类被直接接受。有争议的案例（2-2分裂）通过表6总结的预定义保守规则解决，确保了可复现性并消除了主观偏差。

在所有数据集中，有12种技术（占68种技术基线的17.6%）因Indirect-None争议被排除，确保报告的覆盖指标仅代表高置信度映射。

优先级评分： 每种技术都收到一个综合优先级得分（0-100）。为对每种技术的关键性进行排名，按如下计算综合优先级得分（PS）： 其中：

• Ue ∈ [0, 40] 代表实体使用（在银行部门攻击中的使用频率）。

• It ∈ [0, 40] 代表战术重要性（相关MITRE战术的关键性）。

• Dg ∈ [0, 20] 代表组织多样性（使用该技术的不同威胁行为者数量）。

实体使用反映了威胁行为者和恶意软件采用广度。战术重要性来源于银行威胁语料库的经验战术分布。组织多样性奖励被多个不同威胁组织使用的技术。40/40/20的权重优先考虑直接威胁采用和运营影响。技术被分类为高优先级（≥6个实体）、常见（4-5个）、中等（2-3个）或稀有（1个）。

覆盖度量： 数据集效用通过加权覆盖量化： 覆盖（加权）= 其中 wᵢ 是技术的优先级得分，cᵢ 是二元的（如果为Direct/Indirect则为1，如果为None则为0），确保高优先级技术对评估成比例贡献。

3.4 可复现性与工件可用性

所有主要工件都公开存档于 GitHub – adritatori/BankSectorNIDSdatasetCoverage · GitHub，按三个方法阶段组织成三个目录。共识引擎包括GPT-5.2（OpenAI）、Claude Opus 4.5（Anthropic）、Gemini 3 Pro（Google）和Grok 4.1（xAI），通过标准消费者聊天界面在2025年11月至2026年1月期间访问。由于推理参数如温度和top_p通过消费者界面不可用户配置，输出在结构上是可复现的，但可能因非确定性采样而表现出微小变化[18,24]。整个过程中使用的ATT&CK框架版本为v18，于2025年11月通过 MITRE ATT&CK® 访问。提示模板和少样本校准示例见附录A。

4 结果

评估侧重于针对核心银行基础设施的对手相关的NIDS可检测MITRE ATT&CK技术的表示。

4.1 银行部门技术的NIDS可检测性分类

从最初的210种银行部门技术中，有68种（32.4%）在严格的被动NIDS约束下被分类为NIDS可检测（YES或PARTIAL）。其余142种（67.6%）被分类为NO，主要由于主机驻留执行或与合法活动无法区分的加密流量。图3说明了所有210种技术的三向分类分布，其中21种（10.0%）获得YES，47种（22.4%）获得PARTIAL标签。合并的68种YES和PARTIAL技术（32.4%）构成了NIDS可检测基线，为银行威胁模型内被动NIDS评估建立了现实的上限。

图3，显示NIDS可检测性分类的饼图

4.2 数据集映射的模型间一致

将68种可检测技术映射到基准数据集的共识结果总结在表7中。CIC-DDoS2019表现出最强的一致（92.6%为一致或共识分类），这归因于其狭窄、定义明确的攻击范围。相反，CTU-13表现出最高的模糊性，有50.0%的技术导致争议（2-2）分类，且无弱一致实例。这反映了CTU-13粗粒度、以活动为导向的标签结构，与具有明确攻击标签的数据集相比，使得细粒度技术归属复杂化。

CIC-DDoS2019主要关注DDoS攻击，这些攻击产生清晰且重复的流量模式。这使得检测更容易，并导致技术间更高的一致[22]。相比之下，多攻击数据集包含多样且复杂的攻击行为，导致一致性较低。因此，CIC-DDoS2019的高性能反映了DDoS特定的检测能力，而非通用入侵检测性能。此局限性已被承认，以确保公平比较和正确解释结果。

表7. 模型间一致摘要

数据集

总技术数

一致 (4/4)

共识 (3/4)

弱 (2/4)

争议 (2-2)

4.3 数据集覆盖分析

将68种NIDS可检测技术映射到五个基准数据集，以评估银行部门威胁的表示。图4总结了所评估数据集的加权覆盖得分。UNSW-NB15提供了最全面的银行业务相关行为表示，尽管直接对齐有限（18.4%），但总覆盖率达到82.2%。相反，CTU-13表现出明显的不平衡，间接表示比例很大（40.4%），但直接覆盖极少（9.0%）。

最后，CIC-DDoS2019的89.9%覆盖缺口反映了其对体积性拒绝服务攻击的专业化关注，使其不适合全面的银行部门安全评估。关键技术在所评估的所有数据集中覆盖不均。虽然渗出方法（T1041, T1048）出现在多个基准中，但凭证访问（T1078）和持久性机制（T1053）仍然显著代表性不足。值得注意的是，没有数据集提供对T1071（应用层协议）的直接覆盖，尽管它对于命令与控制（C2）检测至关重要。图5说明了这些战术级别的覆盖模式。直接覆盖在所有数据集中仍低于18.9%，表明明确的银行特定攻击实现很少见。发现和渗出是覆盖最好的战术，而初始访问和影响在当前NIDS基准中系统性代表性不足。

图4，数据集覆盖分析的柱状图

图5，跨基准数据集的战术级ATT&CK覆盖的热图

4.4 映射争议分析

有争议的数据集映射揭示了ATT&CK技术边界的系统模糊性。对CTU-13中34个有争议（2-2分裂）案例的分析显示，分歧主要源于粗粒度的、活动级别的标签。对于CICIDS2017中的12个争议案例和UNSW-NB15中的11个案例，分歧通常涉及具有重叠网络指标的技术（例如，当两者都利用HTTP时区分T1071和T1041）。在这些情况下，保守地默认使用Indirect分类，防止了虚假的精确度，同时承认了潜在的覆盖。由于不可调和的Indirect与None争议而排除12种技术（占基线的17.6%）主要影响了攻击多样性有限的数据集，如CIC-DDoS2019和UWF-ZeekData22。这些排除确保报告的覆盖指标代表高置信度映射，而非推测性对齐。

5 讨论

研究结果表明，实验性网络入侵检测系统（NIDS）与运营银行需求之间存在实质性的验证差距。尽管UNSW-NB15数据集覆盖了82.2%的银行业相关技术，但其严重依赖间接工件（63.8%）表明它更适合异常检测而非精确技术分类。在这些数据集上训练的系统可能识别可疑活动，而无法识别特定的 adversary 战术，如ATM劫持或SWIFT操纵。CIC-DDoS2019的差劲表现仅提供10.1%的覆盖，突显了依赖单一向量数据集的风险。依赖此类基准的金融机构仍对已建立技术基线的89.9%保持脆弱，在NIDS采购中造成“错误信心”。对初始访问和影响战术的有限可见性证实，NIDS必须与基于主机的检测和TLS检查集成以确保全面安全。

多LLM共识方法减轻了单个模型的偏差。选择75%的共识阈值是为了平衡精确度和召回率：较低的50%阈值将以分类置信度为代价将检测到的技术扩展12%，而一致要求将排除35%的基线。时间有效性是另一个问题，因为像CICIDS2017和UNSW-NB15这样的数据集早于现代云原生银行和TLS 1.3加密。排除12种技术（17.6%）可能低估实际覆盖，因为争议技术通常涉及使用有效凭证，这些凭证在没有主机级遥测的情况下与良性流量无法区分。虽然本研究侧重于银行业，但结果可能无法完全推广到加密货币或保险行业，这些行业面临不同的威胁格局。

应优先考虑开发银行特定的基准，包括具有明确ATT&CK标签的SWIFT消息流和ATM协议，使监督学习模型能够识别特定的 adversary 行为，而不仅仅是检测异常。当前的68种技术基线需要持续更新，以与不断演变的MITRE ATT&CK版本和新兴的金融威胁情报保持一致。未来的研究还应探索加密流量分析，以在不需完整TLS解密的情况下重新获得对防御规避战术的可见性。将此方法扩展到基于主机的系统将有助于对其他关键部门（如医疗保健和能源）的多层安全架构进行更全面的评估。

6 结论

现代银行网络需要反映运营现实 adversary 行为而非通用基准性能的NIDS评估。本文通过引入一个行业感知框架来弥合威胁情报与现实传感器能力之间的差距，解决了银行部门NIDS研究中的验证差距。通过将NIST SP 800-94约束应用于MITRE ATT&CK矩阵，该方法将210种银行相关技术过滤成一个包含68种网络可观察行为的可复现基线。对五个基准数据集的实证评估表明，虽然UNSW-NB15以82.2%的覆盖提供了最高的效用，但其他数据集（如CIC-DDoS2019）对核心银行行为留下了89.9%的盲区。这些由可扩展的多LLM共识方法实现的发现，强调了使数据集选择与行业特定威胁模型对齐以避免运营失败的必要性。该框架为未来以银行为中心的基准（纳入SWIFT和ATM协议）奠定了基础，并建立了一种适用于所有关键基础设施领域安全验证的方法。局限性包括仅被动可见性假设和对模型共识的依赖，这推动了未来在更新基线、加密流量推断以及开发包含SWIFT/ATM行为并带有明确ATT&CK标签的银行原生数据集方面的工作。