文献阅读--Data Generation for Enhancing EEG-Based Emotion Recognition: Extracting Time-Invariant and Subject-Invariant Components With Contrastive Learning（2）

4.实行设置&数据集

4.1数据集设置

该研究使用了三个公开EEG感情辨认数据集：DEAP、SEED、SEED-IV
DEAP数据集
字段内容分析DatasetDEAP一个经典的感情辨认EEG数据集（Database for Emotion Analysis using Physiological signals）。No. of Patients32共32位被试加入。Fs (Hz)128EEG信号的采样率为128 Hz（分析该表接纳的是降采样版本，原始DEAP为512 Hz）。Data shape40 × 32 × 8064数据布局为：40个试次（trials）× 32个通道（channels）× 每段信号8064个采样点。Cat. No.4感情种别共4类（通常基于“愉悦–叫醒”二维感情空间分别：高/低叫醒、高/低愉悦）。SEED数据集
字段内容分析DatasetSEED上海交通大学（SJTU）Brain-Like Computing 实行室收罗的感情 EEG 数据集。No. of Patients15共15名受试者。Fs (Hz)200EEG采样频率为200 Hz。Data shape3 × 15 × 62 × N数据布局为：3个实行会话（sessions）× 15个试次（trials）× 62个通道 × N个时间采样点（长度可变）。Cat. No.3感情分为3类：积极、灰心、中性（positive / negative / neutral）。SEED-IV数据集
字段内容分析DatasetSEED-IV同样由SJTU收罗，是SEED的扩展版。No. of Patients1515位被试。Fs (Hz)200采样率同样为200 Hz。Data shape3 × 24 × 62 × N数据布局为：3个实行会话 × 24个试次 × 62通道 × N采样点。Cat. No.4感情分为4类：快乐、伤心、恐惊、中性（happy / sad / fear / neutral）。知识增补：感情二维模子（Valence–Arousal Model）
生理学家 Russell（1980）提出了一个二维感情环模子（Circumplex Model of Affect），以为感情可以用两个连续变量来表现
维度中文名寄义范围举例Valence（效价）感情愉悦度 / 感情正负性表现感情的“正面”或“负面”程度。低（负面）→ 高（正面）伤心（低效价） 😢 → 快乐（高效价） 😄Arousal（叫醒度）感情激活度 / 高兴程度表现个体在感情状态下的生理激活程度或告急程度。低（清静）→ 高（高兴）困乏（低叫醒） 😴 → 冲动（高叫醒） 😃论文中提出根据效价（valence）和叫醒度（arousal）的取值，将样本标签分为四组：

• I（arousal > 4.5 且 valence > 4.5）
  
• II（arousal ≤ 4.5 且 valence > 4.5）
  
• III（valence ≤ 4.5 且 arousal ≤ 4.5）
  
• IV（arousal > 4.5 且 valence ≤ 4.5）
  

这就是 DEAP 数据集将感情分成四类的依据：
种别条件对应感情倾向I高叫醒 + 高效价高兴、快乐II低叫醒 + 高效价清静、满足III低叫醒 + 低效价伤心、烦闷IV高叫醒 + 低效价愤怒、告急4.2模子分类预处理处罚

论文的整个实行由以下三个部分构成：
模子练习（Model training）：包罗 sample pairing（样本配对）、data generator（数据天生器）、contrastive loss（对比丧失），练习EEGPT以得到time-invariant和time-specific组件。
数据天生（Data Generation）：用练习好的EEGPT天生时间稳固/时间特异的EEG数据作为数据加强（augmentation）
模子分类（Classification Procedure）：将原始EEG+天生的augmented EEG组合输入到多种DL模子（EEGNet、DeepConvNet、ShallowConvNet、EEGConformer、EEGPTclf）实行感情分类使命（emotion recognition）
因此在模子分类阶段，起首对原始EEG和天生的augmented EEG举行预处理处罚使用：
1.对EEG（原始+augmented）做频域变更：短时傅里叶变更（STFT）
论文中使用：512点的STFT、1秒的Hanning窗、不重叠
目的是将EEG的时域信号酿成频谱
2.盘算5个频段的Differential Entropy（DE）特性
五个频段分别是：
频段寄义delta1–4 Hztheta4–8 Hzalpha8–13 Hzbeta13–30 Hzgamma30–50 HzDE（差分熵）是频域能量的一个稳固统计表现，适当感情辨认
3.每个 1 秒片断 → 每个 channel → 得到 5 个 DE 特性
假设EEG有n个通道：每秒的EEG分成了n条channel，每条channel盘算 delta / theta / alpha / beta / gamma 共 5 个值，以是1秒的数据酿成了一个n×5的特性矩阵
比方SEED/SEED-IV则是62通道 → 62×5，末了将这些DE特性构成DL模子的输入
模子名称模子范例焦点布局特点长处在论文中的作用EEGNet轻量级 CNNDepthwise + Separable Conv；专门针对 EEG 信号计划参数少、速率快、对噪声鲁棒作为轻量级基线模子，用于验证加强数据在小网络上的有用性DeepConvNet深层 CNN多层卷积（夸大时间与空间特性）；强表达本事适当复杂 EEG 模式分类，性能较强用来测试加强数据对深层网络的性能提拔ShallowConvNet浅层 CNN较少的卷积层；更注意低频节律特性不易过拟合；适当频域(DE)特性查验加强数据在浅层布局下是否稳固提拔EEGConformerCNN + Transformer（Conformer）卷积提取局部特性 + 注意力捕获时序依赖能处理处罚长程依赖，适当复杂感情分类代表最新架构，验证加强数据在先辈模子上的结果EEGPTclf基于 EEGPT 的分类模子使用 EEGPT 预练习的高维表现 + 分类头跨被试泛化本事强，是论文主力模子证实 TISIG 天生的数据在自家模子中结果最优4.3实行细节设置

论文起首分析确实行是可以不依赖集群复现的，但是没有给复现的代码（？）
给出了CLTISI（EEGPT）练习的超参数（EEGPT预练习阶段）
DEAP、SEED、SEED-IV三个数据集的预处理处罚方式

• 去除无效时间段（如 DEAP前3秒）
  
• 按固定长度分别非重叠分段
  
• 将通道映射为8×9的头皮拓扑布局
  末了形成了同一的输入布局：\(\mathbb{R}^{(8 \times 9) \times T}\),用于后续深度学习模子练习
  

全部用于感情分类的 DL 模子（EEGNet、DeepConvNet、ShallowConvNet、EEGConformer、EEGPTclf）都使用雷同的练习设定（比方优化器、Epochs、Learning rate等）
关于batch size：EEGNet/DeepConvNet/ShallowConvNet/EEGConformer使用的batch size为64，而EEGPTclf（分类头）使用的batch size为30
4.4实行评估指标

实行评价的三大方向：数据天生是否能提拔模子泛化本事？CLITISI练习计谋是否有用？对“新感情刺激”的顺应本事？
1.关于数据天生是否能提拔模子泛化本事
（变量）数据输入分为：“不使用天生数据 (原始 EEG)”和“使用天生数据（原始 + augmented）”
使用的多少主流EEG分类模子：EEGNet、DeepConvNet、ShallowConvNet、EEGConformer。在此根本上，作者还把自己预练习的 Backbone 加上分类头构成 EEGPTclf 作为自家分类器举行对比。
评价协议：LOSO（Leave-One-Subject-Out）是一种数据分别方式，用于确保模子在测试时碰到的被试（subject）是练习阶段没有见过的，从而验证模子是否具有跨被试泛化本事
2.CLTISI练习计谋的有用性
使用CLTISI和其他几种基线练习计谋用来预练习EEGPT，基线包罗：Subspace Alignment（SA）（以对齐为主）、SeqCLR（另一种序列对比学习）、以及CLISA（论文基于此方法举行改进的CLTISI），差别计谋末了导致练习出来的EEGPT模子不一样，因此天生的augmented EEG质量也会不一样，后续会接纳卑鄙感情分类使命的泛化性能（包罗LOSO跨被试与跨刺激验证）作为天生数据有用性的焦点评估尺度
3.对"新感情刺激（cross-stimuli）"的顺应本事
Cross-stimuli 验证要求模子在从未见过的感情刺激上举行猜测，这是比跨被试（LOSO）更严酷的泛化测试。若模子仍能维持高性能，则表现其学习到的是与感情本质干系的、与详细刺激无关的普适特性。
别的，根据 10 折交错验证的样本选择计谋，我们使用练习被试中 9/10 的试次（trials） 来练习 EEGPT 模子，而测试被试中剩余的试次则用于终极的测试过程。
什么是10折交错验证？
把数据集匀称分成10份（称为“折” folds）：
每次取此中1份作为测试集，剩下9份作为练习集，这个过程重复10次，每份数据都轮番当一次测试集，末了把这10次的测试结果取匀称，作为模子的终极性能
4.5深度学习模子的特性可视化

什么是Grad-CAM？
Grad-CAM 是一种基于梯度的可表明性可视化方法，通过盘算差别特性图对目的种别猜测的贡献，天生热力图展示模子在分类决议中关注的关键空间位置或通道地区。在 EEG 感情辨认中，它用于显现模子关注的脑区与频谱特性，从而评估模子学习到的生理公道性和泛化本事。
论文用 Grad-CAM 技能对深度学习模子举行可视化，以进一步明白模子在感情分类使命中所关注的 EEG 时空特性。详细而言，我们从 EEGPTclf 模子的末了一个 Transformer 块中提取输出特性图，并盘算各种别感情（正向、负向与中性）的种别激活图（Class Activation Maps, CAMs）。这些激活图可以大概反映模子在做出感情分类决议时所依赖的关键空间地区。
5.实行结果

1.数据天生在提拔模子性能方面的有用性

纵坐标：model
横坐标：\(\text{DA}_{\text{w/o}}\)（使用TISIG框架天生数据后的实行状态），DA（无天生数据的原始实行状态）
表格内容：“正确率/尺度差”
与纯卷积架构的深度学习模子相比，EEGConformer 和 EEGPTclf 均体现出更明显的提拔。这表明，数据天生对加强具有更复杂架构的模子能带来更大收益。别的，思量 DEAP 和 SEED-IV 数据集涉及四类分类使命的分类性能时，深度学习模子在 SEED 数据集上取得了最高的匀称正确率。这表明，在该特定命据集上，模子更能捕获与正性、负性和中性感情干系的特性表现。

横坐标：Epochs（练习轮次，范围0-400）
纵坐标：左侧子图为Accuracy rate正确率，衡量模子在测试集上的感情辨认正确率；右侧子图为Loss value丧失值，反映模子在练习集上的猜测弊端，丧失越低分析模子拟合结果越好。
子图：分组为3组，对应3个数据集
结果分析：与其他模子相比，EEGPTclf的测试正确率曲线显现出快速收敛性，这表明EEGPTclf具备更优的本事，这种加速收敛可归因于其对3D卷积使用的使用，该使用是模子可以大概处理处罚3D输入。别的EEGPTclf与EEGConformer对比，EEGPTclf的尺度差出现相对同等的趋势。这表明，在差别数据集和条件下，EEGPTclf模子的性能颠簸相对稳固。
2.基于 CLTISI 的模子练习计谋的有用性

纵坐标：4种差别的模子练习计谋，代表差别的练习方法论
横坐标：3 个用于 EEG 感情辨认的公开基准数据集
表格内容：正确率/尺度差（如 “50.3/10.1” 表现该计谋在对应数据集上的正确率为 50.3%，尺度差为 10.1）
分析：差别练习计谋去练习得到差别的EEGPT模子，这些模子天生加强数据（augmented EEG），然后同一的感情分类使命中验证性能。在全部数据集上始终出现中等性能。实行结果表明，本文提出的对比学习计谋（CLTISI、CLISA）性能更优，优于两种跨被试对齐方法（SA 和 SeqCLR）。

横坐标：False Positive Rate（假阳性率），表现 “被错误分类为正类的负样本比例”，范围 0-1。
纵坐标：True Positive Rate（真阳性率），表现 “被正确分类为正类的正样本比例”，范围 0-1。
图中虚线为 “随机推测线”（对角线），若模子曲线靠近该线，分析性能与随机推测无异；曲线越阔别虚线且向上凸，模子性能越好。
子图分组：数据集维度
图 4 分为3 个子图，分别对应三个 EEG 感情辨认数据集：

• DEAP 数据集：含 4 类感情（快乐、伤心、恐惊、中立）
  
• SEED 数据集：含 3 类感情（正性、负性、中性）
  
• SEED-IV 数据集：含 4 类感情（高兴、伤心、讨厌、中立）
  

AUC（曲线下面积，AUC 越靠近 1，模子分类性能越好）
各数据集性能对比：
(a) DEAP 数据集
AUC 对比：CLISA（0.61）> CLTISI（0.59）> SA（0.58）= SeqCLR（0.58）。
曲线趋势：CLISA 和 CLTISI 的曲线显着高于随机推测线，且 CLISA 的曲线更 “陡峭”，分析在 DEAP 数据集上，CLISA 对正类样本的辨认本事更优。
(b) SEED 数据集
AUC 对比：CLTISI（0.77）> CLISA（0.76）> SeqCLR（0.72）> SA（0.71）。
曲线趋势：全部计谋的曲线均阔别随机推测线，此中 CLTISI 和 CLISA 的曲线险些重合且处于最上方，分析在 SEED 数据集（3 类感情，分类难度相对低）上，两种对比学习计谋（CLISA、CLTISI）的分类性能明显优于 SA 和 SeqCLR。
(c) SEED-IV 数据集
AUC 对比：CLTISI（0.64）> CLISA（0.63）> SeqCLR（0.57）> SA（0.54）。
曲线趋势：CLTISI 和 CLISA 的曲线显着高于 SeqCLR 和 SA，且 CLTISI 的曲线更贴近 “左上角”（真阳性率高、假阳性率低），分析在标签更细分的 SEED-IV 数据集上，CLTISI 的分类正确性和稳固性更优。
3.模子对新感情刺激的泛化本事

分析：只管与使用全部刺激练习的模子相比，性能有所降落，但 CLTISI 在三类数据集上的体现与 CLISA 相称且保持领先。这些结果表明，接纳 CLTISI 计谋练习的模子不但克制了对对比学习中碰到的刺激的过拟合或影象，还显现出了妥当的泛化本事。这分析 CLTISI 使模子可以大概有用顺应新的感情刺激，体现了其强盛的泛化本事。
4.关键地区可视化与特性分析

（1）. 感情种别：Positive（正性）、Negative（负性）、Neutral（中性）
图 5 按 SEED 数据集的三类感情分别，每一行对应一种感情，分别分析其在脑电信号中的特性体现。
（2）. 可视化维度：脑区激活、时域特性、频域特性
每一行包罗三个子图，从 “空间 - 时间 - 频率” 三个维度剖析感情干系的脑电特性：
左子图（脑区激活图）：这是通过 Grad-CAM 方法天生的脑区紧张性热力图（颜色越红，代表该脑区对感情分类的贡献越大）。
Positive（正性）：赤色地区会合在左半球，分析左脑地区对辨认正性感情更关键。
Negative（负性）：赤色地区会合在右半球，体现右脑在负性感情辨认中的主导作用。
Neutral（中性）：赤色地区紧张分布在前额叶和顶叶皮层，但团体激活强度低于正性、负性感情（颜色更偏蓝绿），分析中性感情的脑区贡献相对较弱。
中子图（时域特性）：横坐标为time (ms)（时间，毫秒级），纵坐标为信号幅度，展示关键脑区电信号的时间域颠簸规律。
Positive：信号在时间维度上出现特定的颠簸模式，可反映正性感情下脑电的动态变革节奏。
Negative：颠簸模式与正性有显着差别，体现负性感情的时域特性独特性。
Neutral：时域颠簸相对平缓，进一步分析中性感情的脑电信号 “辨识度” 较低。
右子图（频域特性）：横坐标为Frequency (Hz)（频率，赫兹），纵坐标为功率或能量，展示关键脑区电信号的频率域相应特性。
Positive：在35-40Hz频段有明显峰值，分析正性感情与高频脑电活动（如 γ 波）强干系。
Negative：在约 20Hz频段有显着峰值，体现负性感情与中频段脑电活动（如 β 波）的关联。
Neutral：频域峰值分布较分散，无显着主导频段，符合其 “感情中性” 的特性。
结果：图5通过 “空间 - 时间 - 频率” 的多维度可视化，清楚展示了EEGPTclf模子学习到的感情特异性脑电特性。正性感情依赖左半球 + 35-40Hz 高频活动；负性感情依赖右半球 + 20Hz 中频活动；中性感情依赖前额叶 / 顶叶皮层，但特性辨识度较低。同时表明了为何 SEED 数据集上模子分类性能最优（三类感情的特性差别更明白）。
6.讨论

关于研究发现：本文提出的 TISIG 数据天生框架和 CLTISI 练习计谋，在 DEAP、SEED、SEED-IV 数据集上明显提拔了 EEG 感情辨认模子的性能，且复杂架构模子（如 EEGPT、EEGConformer）收益更显着。
关于方法创新：EEGPT 模子的 3D 卷积计划使其在练习收敛速率和特性学习服从上体现突出，Grad-CAM 可视化验证了模子学到的感情特性具有脑区偏侧化（正左负右）和频率特异性（正 35-40Hz、负 20Hz）的神经学公道性。
关于范围性：研究仅基于三个公开数据集，模子复杂度较高，将来需拓展数据集范例并探索轻量化计划。
关于将来方向：可探索多模态融合、深化自监督学习、推进临床感情停滞辅助诊断等方向，进一步提拔方法的普适性和实用代价。
总结：在本研究中，我们提出了一种实用于脑电（EEG）应用的新型数据天生流程（TISIG）。该流程天生的合成脑电数据被证实可有用提拔深度学习（DL）模子在三个开源脑电数据集上的泛化本事。与未使用合成数据练习的深度学习模子相比，EEGPTclf 的匀称正确率提拔凸显了天生数据的积极影响，在 DEAP、SEED 和 SEED-IV 数据集上分别提拔了 4.5%、7.4% 和 10.5%。别的，我们还验证了该模子相较于其他对比方法，具备对未见过的感情刺激的泛化本事。通过对模子辨认出的关键地区举行可视化，我们也展示了其在显现感情神经机制方面的潜伏代价。