EEG论文分享：CogLign 对齐 EEG 脑图与文本知识图谱认知的可解释情感判定

CogLign: Interpretable Text Sentiment Determination by Aligning Cognition Between EEG-Derived Brain Graph and Text-Derived Knowledge Graph

研究背景与动机

文本情感分析（Text Sentiment Analysis）是自然语言理解中的经典任务，深度学习/神经网络模型已能有效识别文本的显式或隐式情感。然而，"黑盒"问题始终存在——神经模型如何最终判定文本情感，其可解释性尚未被充分揭示。

与此同时，计算认知神经科学（Computational Cognitive Neuroscience）通过 fMRI、EEG 等测量手段，揭示了不同脑区在不同情感刺激下的激活模式，可以构建脑功能连接图（Brain Graph, BG）来表征神经认知。知识图谱（Knowledge Graph, KG）则通过 <头实体, 关系, 尾实体> 三元组建模文本语义认知。

现有研究分别单独使用脑图、知识图谱开展情感识别，却从未建立二者之间的认知关联，无法融合人脑神经响应与文本语义信息。作者提出核心研究问题：能否将对齐脑图（BG）的神经认知与知识图谱（KG）的语义认知，从而以"类脑"的方式判定文本情感，从认知可解释性的角度提升情感分析性能？

为此，作者提出了 CogLign 框架——这是首个通过知识图谱（KG）与脑图（BG）之间的认知对齐来实现可解释文本情感分析的工作。

数据集与实验任务

架构图与核心方法

CogLign 由三大模块组成：脑图集成模块（BGI）、认知对齐模块（CA） 和 融合模块（Fusion）。

1. 脑图集成模块（Brain Graph Integration, BGI）

作用于 EEG 信号侧，负责将原始 EEG 信号转化为窗口级脑图：

• 频谱特征提取：在每个时间窗（30 秒）内，以 10 秒为不重叠间隔，从 K 个电极的 5 个频段提取功率谱密度（PSD） 和微分熵（DE） 特征，得到 $X\in {\mathbb{R}}^{m\times 10\times K}$。

• 脑图构建：基于 PSD/DE 特征，对每对电极计算皮尔逊相关系数得到 $K\times K$ 邻接矩阵，相关系数低于阈值（如 0.8）的置零，以刻画脑图稀疏性。

• 拓扑特征提取（Zigzag Persistence）：这是 BGI 的亮点——将窗口内的脑图集合转化为 Zigzag 路径，通过 Zigzag 持续同调（Zigzag Persistence）追踪脑图拓扑结构的"出生与死亡"，得到二维 Zigzag 持续图（ZPD），进一步转换为连续 Zigzag 持续图像（ZPI），经 CNN 提取窗口级脑图拓扑特征 $Z_{w_i}$。

• 时空图卷积：将频谱特征分别经空间图卷积（在同一 10 秒间隔内沿电极维度传播）和时间图卷积（跨整个时间窗）变换，再与拓扑特征 $Z_{w_i}$ 融合，得到窗口级脑图表示 $H_{w_i}\in {\mathbb{R}}^{K\times 2d}$。

• 窗口级整合：基于 $H_{w_i}$ 再次计算电极对皮尔逊相关系数，得到窗口级整合脑图 $B{G}_{w_i}$。

训练时，所有窗口级脑图表示经 GRU 聚合为序列级脑图表示，用交叉熵损失 $L_{BGI}$ 预测整个 EEG 序列的情感。

2. 认知对齐模块（Cognition Alignment, CA）

这是 CogLign 最核心的创新，实现"实体→电极"映射（KG 节点到 BG 节点的认知对齐）：

(1) 变分推断建模：目标是最优化 $P(BG|KG)$，但由于 KG 与 BG 之间存在隐式关联，难以直接建模。通过变分推断引入可学习潜变量矩阵 $AL\in {\mathbb{R}}^{N\times K}$（N 个 KG 实体 → K 个 EEG 电极），将 $P(BG|KG)$ 分解为 ELBO 与 KL 散度之和，最终等价转化为最小化 $KL(q_{\varphi }(AL|BG)\Vert p_{\theta }(AL|KG))$。

(2) 双网络拟合分布：

• P 网络：拟合 $Z_p\propto p_{\theta }(AL|KG)$。文本侧 KG 先经 TransE 嵌入（加上入度/出度嵌入），再经 Graphormer 编码，最后经自注意力 + sigmoid 全连接输出分布 $Z_p$。
• Q 网络：拟合 $Z_q\propto q_{\varphi }(AL|BG)$。脑图侧 $B{G}_{w_i}$ 先经 图注意力网络（GAT） 编码，再经自注意力 + sigmoid 全连接输出分布 $Z_q$。

(3) 对齐矩阵推导：：潜变量矩阵 $A{L}_{w_i}$ 通过 $Z_p$ 与 $Z_q$ 的内积得到：

$$A{L}_{w_i}=Z_p\cdot Z_q^T$$

当 KL 散度最小化时，$Z_p$ 和 $Z_q$ 分布趋于一致，投影 $Z_p\cdot Z_q^T$ 越高，KG 与 BG 的关联越充分。

(4) KG-to-BG 图重建：对齐矩阵 $A{L}_{w_i}$ 参与 KG 到 BG 的重建任务——编码后的 KG 经 $A{L}_{w_i}$ 观测、sigmoid 全连接，再经 Graphformer 解码器重建脑图，通过 $L_{KL}+L_{recon}$ 训练，使重建脑图逼近原始 BGI 输出的脑图。

3. 融合模块（Fusion）

跨所有时间窗，将序列级知识图谱 $K{G}_{All}$、序列级脑图 $B{G}_{All}$ 和序列级对齐矩阵 $A{L}_{All}$ 融合，判定整段视频解读文本的情感极性：

$$Y\leftarrow f(K{G}_{All},A{L}_{All},B{G}_{All})$$

实验证明拼接融合（Concat） $[K{G}_{All},A{L}_{All},B{G}_{All}]$ 效果最优，优于加法融合和单 Transformer block 注意力融合。

总损失：$L_{All}=L_{BGI}+L_{CA}+L_{Fusion}$。

实验结果与结论

消融实验（Cross-instance 与 Cross-subject）

与 SOTA 对比（Cross-instance & Cross-subject）

对比方法分两类：

• 基于图的方法：Text-GCN、Tensor-GCN、ie-HGCN、KGAN、HRLN
• 基于语言模型的方法：MEDA、ChatGPT、THOR（基于 GPT-3.5）

结论：CogLign-FULL 在 SEED（情感 3 分类）和 SEED-V（情绪 4 分类）上，所有指标均取得最优性能，且时间/空间复杂度可接受（详见表 IV/VI）。图方法中 HRLN（融合强化学习 + 异构图 + 外部知识）表现最好，其次是 KGAN，最后是 ie-HGCN，整体呈 CogLign > HRLN > KGAN > ie-HGCN 的趋势。

关键实体捕获分析

从最终融合向量中提取 TOP-5 评分实体对比，CogLign-FULL 能捕获最多与真实情感标签一致的情感词，其次是 HRLN、KGAN，最后是 ie-HGCN，与性能排名一致。

可解释性分析（核心亮点）

(a) 脑区情感偏好验证：从学习到的对齐矩阵 $A{L}_{All}\in {\mathbb{R}}^{N\times K}$ 中，提取每个实体最关联的 TOP-1 电极，统计各电极的激活比例，按国际 10-20 标准划分脑区：

• positive（积极）文本激活的电极主要集中在 顶叶（Parietal, “P”）和颞叶（Temporal, “T”）
• negative（消极）文本激活的电极主要集中在 额叶（Frontal, “F”）和枕叶（Occipital, “O”）
• neutral（中性）文本则相对分散

这一结果与先前神经科学研究的脑区情感偏好结论高度一致，证明 CogLign 的认知对齐确实学到了先验的脑区情感偏好知识。

(b) 实例级实体-电极关联：对具体文本实例，提取 TOP-3 激活电极及其 TOP-3 关联实体，所选实体几乎都能清晰反映对应情感极性（positive/neutral/negative）。

© 脑连接模式对比：与 Sparse-DGCNN、ACRNN、RGNN、SST-EmotionNet 等 EEG 情感识别方法对比，CogLign-FULL 的脑连接模式更明显地呈现"积极情感电极连接集中在 P/T 侧，消极情感集中在 F/O 侧"的倾向，且这一倾向在 CogLign-no-Fusion 和 CogLign-no-Align 中逐渐消失，进一步验证了认知对齐（LCA）的关键作用。

局限性与发展

优势

• 首个 KG-BG 认知对齐的可解释文本情感分析：首次将神经认知（脑图）与语义认知（知识图谱）对齐，为神经文本情感分析提供认知层面的可解释性
• 认知神经科学先验的可验证性：模型学到的脑区情感偏好（positive→P/T，negative→F/O）与先验神经科学结论一致，可解释性得到实证支撑
• Zigzag Persistence 拓扑特征：创新性地用持续同调捕捉脑图拓扑动态，显著提升脑图表征能力
• 变分推断对齐机制：通过 ELBO 分解 + P/Q 双网络 + 潜变量矩阵，优雅地解决了 KG 与 BG 之间隐式关联难以建模的问题
• 双数据集、双协议验证：SEED（3 类情感）+ SEED-V（4 类情绪），cross-instance + cross-subject 双重评估，全面超越图方法与 LLM 方法

局限性

• 数据规模有限：SEED 仅 675 条、SEED-V 仅 1,728 条序列，需依赖 early-stopping 缓解过拟合
• 文本解读依赖人工：视频解读文本由 3 名参与者人工生成，主观性强、难以大规模扩展
• 仅验证情感/情绪任务：认知对齐框架是否适用于其他文本理解任务（如立场检测、讽刺检测）尚未探索
• 单一 EEG 测量：仅使用 EEG，未结合 fMRI 等多模态脑成像手段验证认知模式

未来拓展方向

• 多模态脑成像融合：结合 EEG、fMRI 等测量手段，更全面刻画脑区协作模式
• EEG 视频情感分析：将脑图（BG）与视频情节导向的场景图（Scene Graph, SG）对齐，实现可解释视频情感判定
• 跨任务泛化：将 KG-BG 认知对齐框架推广到更多文本理解任务