基于深度学习的多模态癌症数据集调研

基于深度学习的多模态癌症数据集调研

关键词： 癌症、分割、多模态、radiology、pathology、深度学习
目次：
一、 数据集总结
二、 胶质瘤/脑肿瘤（glioma）
三、 肺癌/非小细胞肺癌（NSCLC）
四、 乳腺癌（Breast Cancer）
五、 火线腺癌（Prostate Cancer）
六、 高级别浆液性卵巢癌（HGSOC）
七、 食管癌（esophageal cancer）
一、数据集总结

（一）可用的多模态数据集

1．TCIA (The Cancer Imaging Archive) - 多种癌症

https://www.cancerimagingarchive.net/
（1）简介

包罗来自TCGA等大型项目的多癌种、多模态数据。须要根据详细癌症范例（如肺癌、肝癌、火线腺癌）搜刮特定的Collection。须要探求那些明确提供多模态图像和对应分割标注的聚集。比方：

• TCGA-GBM / TCGA-LGG: 脑胶质瘤，含MRI。
  
• TCGA-LUAD / TCGA-LUSC: 肺癌，常含CT, PET。
  
• NSCLC Radiogenomics: 肺癌，CT/PET与基因组学关联。
  
• Prostate collections (e.g., PROSTATEx): 火线腺癌，常含多参数MRI (T2w, DWI, DCE)。
  
• Head-Neck Radiomics: 头颈癌，常含CT, PET。
  

（2）详细内容

①CPTAC (Clinical Proteomic Tumor Analysis Consortium) 系列:

• CPTAC-GBM: 胶质母细胞瘤。包罗MRI影像、数字病理切片（WSI）、卵白质组学、基因组学和临床数据。
  
• CPTAC-LSCC: 肺鳞状细胞癌。包罗CT影像、数字病理切片（WSI）、卵白质组学、基因组学和临床数据。
  
• CPTAC-LUAD: 肺腺癌。同样包罗CT影像、WSI、卵白质组学、基因组学和临床数据。
  
• CPTAC-CCRCC: 透明细胞肾细胞癌。包罗CT影像、WSI、卵白质组学、基因组学和临床数据。
  
• CPTAC-UCEC: 子宫内膜癌。包罗MRI影像、WSI、卵白质组学、基因组学和临床数据。
  
• CPTAC-PDA: 胰腺导管腺癌。包罗CT影像、WSI、卵白质组学、基因组学和临床数据。
  

②TCGA (The Cancer Genome Atlas) 干系影像数据集:

TCIA托管了大量TCGA队列的影像数据（如CT, MRI, PET）。比方：

• TCGA-GBM: 胶质母细胞瘤 (MRI)
  
• TCGA-LGG: 低级别胶质瘤 (MRI)
  
• TCGA-LUAD: 肺腺癌 (CT)
  
• TCGA-LUSC: 肺鳞状细胞癌 (CT)
  
• TCGA-BRCA: 乳腺癌 (MRI)
  
• TCGA-KIRC / KIRP / KICH: 肾癌 (CT)
  

TCIA重要提供这些队列的影像数据。对应的数字病理切片（WSI）和基因组/临床数据通常须要从GDC (Genomic Data Commons) 流派网站获取。固然数据源分散，但可以通过患者ID举行匹配，构成多模态数据集。
③NSCLC-Radiomics 系列:

• NSCLC-Radiomics: 非小细胞肺癌。包罗CT影像、手动勾画的肿瘤地区（ROI），以及预盘算的放射组学特性。
  
• NSCLC Radiogenomics: 另一个专注于肺癌放射组学和基因组学关联的数据集，包罗CT影像、分割、基因数据，也大概有病理信息链接。
  

2．BraTS (Brain Tumor Segmentation Challenge) - 脑肿瘤 (胶质瘤)

https://www.med.upenn.edu/cbica/brats/
最经典的脑肿瘤多模态分割数据集，标注质量高。BraTS (Brain Tumor Segmentation Challenge) 数据库自己是一个基于 MRI 的多模态数据集。其核心包罗以下几种 MRI 序列，用于脑肿瘤的分割和分析：

• T1-weighted (T1): T1 权重成像。
  
• T1-weighted contrast-enhanced (T1ce): T1 权重对比度增强成像（注射造影剂后）。
  
• T2-weighted (T2): T2 权重成像。
  
• FLAIR (Fluid-Attenuated Inversion Recovery): T2 液体衰减反转规复序列。
  

这四种 MRI 模态是 BraTS 数据集的标准构成部门，提供了关于肿瘤布局、水肿、坏死、增强地区等差异方面的信息。
标准 BraTS 数据集通常不直接包罗数字化的构造病理学切片 (WSI)。 BraTS 挑衅的重要重点是基于 MRI 的分割和干系任务（如生存推测）。但是，BraTS 数据会集的许多病例泉源于大型公共数据库，比方 TCGA (The Cancer Genome Atlas) 和 TCIA (The Cancer Imaging Archive)。 这些源数据库包罗了与 MRI 图像相对应的患者的构造病理学数据（包罗 WSI）以及基因组学等其他信息。因此，可以将 BraTS 的 MRI 数据与来自 TCGA/TCIA 的相应患者的构造病理学数据举行关联和整合分析，须要通过患者 ID 等标识符举行匹配。
3．Lung-CLiP（肺癌临床卵白质组肿瘤分析同盟）

CPTAC 的肺癌研究队列是 Lung-CLiP 的重要数据泉源。CPTAC 已经对相当数目的肺腺癌（LUAD）和肺鳞状细胞癌（LSCC）样本举行了深入的多组学分析。这些研究通常是 Lung-CLiP 工作的底子。这些队列通常会网络匹配的临床数据、基因组数据（如 WES, RNA-Seq）、卵白质组学数据，影像数据（通常是 CT 扫描）和构造病理学数字切片（WSI）。通常存储在 TCIA 或通过 CPTAC 数据流派链接访问。没有一个现成的、单一的“Lung-CLiP 多模态数据集”文件包直接下载。须要从差异的数据源获取数据，并根据患者 ID 将它们整合起来：

• 从 CPTAC Data Portal 获取临床数据、卵白质组学数据、基因组/转录组学数据的索引和部门数据。
  
• 从 TCIA (The Cancer Imaging Archive) 下载匹配的 CT/PET 影像和 WSI 病理切片。
  
• 从 GDC (Genomic Data Commons) 获取详细的基因组/转录组学数据。
  
• 从 PDC (Proteomic Data Commons) 获取卵白质组学数据。
  

查找入口：

• 出发点: NCI CPTAC Data Portal (https://pdc.cancer.gov/pdc/)，可以找到干系的肺癌研究项目（如LUAD, LSCC）。
  
• 数据检索: TCIA 是查找和下载 CPTAC 干系影像（CT, PET）和数字病理切片（WSI）的重要平台。搜刮时可以使用 “CPTAC-LUAD” 或 “CPTAC-LSCC” 等关键词。
  

4．HECKTOR (Head and Neck Tumor Segmentation and Outcome Prediction Challenge) - 头颈部肿瘤

模态：PET, CT (通常是配准好的 PET/CT 图像)
HECKTOR (Head and Neck Tumor Segmentation and Outcome Prediction) 挑衅赛的核心数据是头颈部癌症患者的 PET/CT 图像，许多研究还会联合临床数据（如年岁、性别、分期、治疗信息等，假如提供的话）。挑衅的重要任务是基于这些图像举行肿瘤分割和/或预后推测（比方生存期推测）。标准的 HECKTOR 挑衅赛数据集（如 HECKTOR 2020, 2021, 2022）自己并不直接包罗数字化的构造病理学切片数据。
5．PROSTATEx Challenge / PI-CAI Challenge - 火线腺癌

模态：MRI: T2w, DWI (扩散加权成像) / ADC (表观扩散系数), DCE (动态对比增强) (即 mpMRI - 多参数MRI)
PROSTATEx (Prostate Cancer Detection Challenge) 系列挑衅赛（重要是 PROSTATEx-1 和 PROSTATEx-2）的核心目的是使用多参数磁共振成像 (mpMRI) 来检测和评估火线腺癌的临床显着性。多参数磁共振成像 (mpMRI) 联合了多种差异的 MRI 序列来提供更全面的信息。通常包罗：

• T2 加权成像 (T2W): 提供解剖布局信息。
  
• 扩散加权成像 (DWI) 及其衍生的表观扩散系数图 (ADC): 反映水分子扩散受限情况，常与肿瘤细胞密度干系。
  
• 动态对比增强成像 (DCE): 反映构造的血流灌注情况，肿瘤地区通常体现出特定的增强模式（只管在 PROSTATEx-2 中 DCE 的作用被发现相对较小）。
  

6．LiTS (Liver Tumor Segmentation Challenge) - 肝脏肿瘤 (Liver Tumor)

模态：CT
肝脏 CT 扫描图像和分割掩码。
7．KiTS (Kidney Tumor Segmentation Challenge) - 肾脏肿瘤 (Kidney Tumor)

模态：CT
肾脏（和肾肿瘤）的对比增强 CT 扫描图像和分割掩码。大概存在包罗部门 KiTS 干系病例的、公开的、包罗病理切片（WSI）和基因组学的关联数据集 (CPTAC-CCRCC)。
（二）参考文献

1．多模态深度学习在精准肿瘤学中的应用：全面综述（Multimodal deep learning approaches for precision oncology: a comprehensive review）

https://academic.oup.com/bib/article/26/1/bbae699/7942793
肿瘤学范畴大规模生物医学数据的不停积累，以及深度学习（DL）技能的显着进步，已将多模态深度学习（MDL）创建为精准肿瘤学的基石。本综述基于广泛的文献观察，概述了 MDL 在该范畴的应用。统共包罗克制 2024 年 9 月之前发表的 651 篇文章。我们起首概述了支持癌症研究公开可用的多模态数据集。然后，我们讨论了关键的 DL 练习方法、数据体现技能和融合计谋，用于整合多模态数据。综述还观察了 MDL 在肿瘤分割、检测、诊断、预后、治疗选择和治疗效果监测中的应用。末了，我们批驳性地评估了当火线法的范围性，并提出了将来研究方向。通过综合当前盼望和辨认挑衅，本综述旨在引导将来使用 MDL 推进精准肿瘤学的积极。

二、胶质瘤/脑肿瘤（glioma）

胶质瘤的诊疗路径天然地将高质量的术前MRI（放射组学泉源）和须要的手术/活检（病理组学泉源）精密地接洽在一起，且时间隔断相对较短，解剖布局相对固定，为获取配对的多模态数据提供了便利条件。

• MRI - 诊断和术前规划：对于疑似脑肿瘤的患者，多参数MRI（包罗T1、T1c、T2、FLAIR等序列）是绝对须要且标准的查抄本领。它不但用于开端诊断，更是手术前规划的关键依据，资助神经外科大夫确定肿瘤范围、与告急脑功能区的关系等。
  
• 手术/活检 - 诊断和治疗的通例环节：对于大多数实体肿瘤，构造病理学查抄是确诊的“金标准”。对于胶质瘤，尤其是须要明确分级和分子状态（如IDH突变、1p/19q共缺失）以引导后续治疗的病例，手术切除或活检是通例利用。
  

许多癌症（如乳腺癌、火线腺癌）大概先通过穿刺活检确诊，此时获取的构造量有限，且难以正确对应到之前的影像（尤其是假如影像是CT或超声）。后续的手术切除大概在一段时间之后，期间肿瘤大概发生厘革或担当了新辅助治疗。在某些癌症中（如部门乳腺癌、直肠癌），患者大概在手术前担当化疗或放疗（新辅助治疗）。这会改变肿瘤的影像学体现和病理学特性，使得术前影像与术后病理样本之间的直接关联性低落。胶质瘤固然也有术后放化疗，但通常是在获取了初始诊断的影像和病理样本之后。脑肿瘤的影像收罗和处置惩罚在大型医疗中心通常有更标准化的流程（部门得益于像BraTS如许的挑衅赛推动）。而其他癌症的多中心数据收罗大概面对更大的异质性。
（一）使用深度学习的多模式数据整合推测胶质瘤患者的总生存期（Multimodal data integration using deep learning predicts overall survival of patients with glioma）

https://onlinelibrary.wiley.com/doi/full/10.1002/VIW.20240001
胶质瘤是一种高度异质性疾病，预后较差。精准的生存推测可以为后续的临床决议、临床试验的开展以及康健经济学带来益处。近来的研究夸大了磁共振成像、病理标本和循环生物标记物的预后代价。然而，这些模式的整合潜力和有效性尚需进一步验证。通过整合来自癌症基因组图谱胶质瘤数据集的218名患者和西岳队列的54名患者的增补预后信息，我们创建了一种用于T1增强对比图像和构造学切片的挤压-鼓励深度学习特性提取器，并使用最小绝对紧缩和选择算子-Cox回归分析筛选显着的循环5-羟甲基胞嘧啶（5hmC）特性用于胶质瘤生存推测。因此，通过对放射影像、构造病理学影像特性、循周游离DNA中的全基因组5hmC以及临床变量的生存支持向量机多模态整合，得到了一种高效的预后推测模子（划一性指数=0.897；Brier评分=0.118），为改善胶质瘤患者的生存风险分层提供了一种有效的计谋。

胶质瘤数据集来自癌症基因组图谱（TCGA）项目，并被应用于本研究中。TCGA 胶质瘤队列包罗 TCGA-GBM 和 TCGA-LGG 队列。患者选择的纳入标准如下：（1）经病理诊断的胶质瘤患者；（2）术前具有 T1 加权钆增强（T1-CE）成像的 MRI 数据；（3）具有可用的生存数据和临床特性，包罗性别、年岁、天下卫生构造（WHO）分级、肿瘤位置（运动和语言功能地区，MLFA）和异柠檬酸脱氢酶 1（IDH1）突变状态。个体的 MRI 扫描来自 TCGA-GBM 和 TCGA-LGG 队列，并从癌症成像档案（https://www.cancerimagingarchive.net/）下载。TCGA-GBM 和 TCGA-LGG 的病理图像从 TCGA 基因组数据共享（GDC）数据流派（https://portal.gdc.cancer.gov/）下载。末了，选择了 218 名 TCGA 胶质瘤患者（100 名 GBM 患者和 118 名 LGG 患者）举行进一步分析。我们还在 2020-2021 年间，从复旦大学附属西岳医院医疗团体招募了 54 名符合纳入标准的胶质瘤患者。别的，我们还筛选了之前 5hmC 队列（GSE132118）中符合纳入标准的 57 名胶质瘤患者。
影像和临床数据在须要时可通过接洽相应作者举行索取。本研究中使用的代码在 https://github.com/gazhee/huashan-survival 上公开可用。
（二）深度神经网络分析病理图像与整合分子数据以增强胶质瘤分类和分级（Deep Neural Network Analysis of Pathology Images With Integrated Molecular Data for Enhanced Glioma Classification and Grading）

https://www.frontiersin.org/journals/oncology/articles/10.3389/fonc.2021.668694/full
胶质瘤是开端于胶质细胞的原发性脑肿瘤。这些肿瘤的分类和分级对于预后和治疗筹划至关告急。中枢神经体系（CNS）中胶质瘤的分类标准于 2016 年由天下卫生构造（WHO）引入。该胶质瘤分类标准要求将构造学与基因组学相联合。2017 年，为了提供中枢神经体系肿瘤分类的最新发起，建立了“提供中枢神经体系肿瘤分类分子和实用方法信息同盟”（cIMPACT-NOW）。该同盟的目的是让天下卫生构造在其即将发布的版本中采取这些发起。在这项工作中，我们提出了一种新的胶质瘤分析方法，该方法初次在文献中整合了从数字分析脑构造病理学图像中得到的细胞学特性，以及根据最新的 WHO 标准联合分子特性。我们起首提出了一种针对大构造病理学全切片图像（WSIs）中感爱好地区（ROI）选择的新型太过分割计谋。 基于深度神经网络（DNN）的分类方法随后将分子特性与细胞密度特性融合，以进步肿瘤分类性能。我们使用来自癌症基因组图谱（TCGA）数据集的 549 个患者病例评估所提出的方法。使用通例 DNN 举行交织验证分类正确率分别为低级别胶质瘤（LGG）和高级别胶质瘤（HGG）的 93.81%，以及 LGG II 和 LGG III 的 73.95%。我们的实行表明，深度学习的范例对 LGG II 与 LGG III 之间的肿瘤亚型区分有显着影响。这些效果优于分类 LGG II 与 LGG III 的最新方法，并在区分 LGG 与 HGG 方面在文献中提供具有竞争力的性能。别的，我们还研究了使用病理图像和细胞密度信息举行分子亚型分类。末了，本研究在文献中初次表明，细胞密度量化有望推测具有 IDH 突变的 LGG 的脑肿瘤分级。

我们使用来自基因组数据共享（GDC）的癌症基因组图谱（TCGA）数据会集关键变异（IDH、ATRX、1p/19q 和 MGMT 启动子）的 549 张全切片图像（WSIs）以及分子信息。这 549 张 WSIs 分别包罗 201 个 LGG II 级、229 个 LGG III 级和 119 个 HGG IV 级。我们根据方法部门中先容的地区选择计谋，从 WSI 中选择最大的超像素作为终极 ROI，巨细为 1000 × 1000。因此，本研究共有 549 个 ROI。对于核分割，我们使用 UNet 架构（55）。练习 H&E 染色数据来自多器官核分割挑衅（MoNuSeg），包罗 30 张图像和约 22000 个核界限表明的几个器官构造（56）。我们以 MoNuSeg 中的一张图像作为参考，然后对 549 个 ROI 图像举行颜色归一化，使全部对象具有相似的颜色外貌，同时保存原始布局。本工作中实行数据的真实值来自 TCGA 中的专家共识真实值。全部诊断和分子信息直接来自 TCGA 数据集。 诊断由到场机构举行，通过全外显子测序、DNA 拷贝数分析、mRNA 测序和 DNA 甲基化分析相联合的方法获取分子数据。精神病理学家查察了构造学图像，并确认了所给诊断的有效性（KJ）。
（三）一种基于弱监督深度学习的使用 WSI 和 mpMRIs 举行胶质瘤亚型分类的方法（A weakly supervised deep learning-based method for glioma subtype classification using WSI and mpMRIs）

https://www.nature.com/articles/s41598-022-09985-1
正确的胶质瘤亚型分类对于脑肿瘤患者的治疗管理至关告急。由于许多因素，开辟用于胶质瘤亚型分类的自动盘算机辅助算法具有挑衅性。此中一个困难是标签束缚。详细来说，每个病例只是简朴地被标记为胶质瘤亚型，而没有对病变地区信息的正确表明。在本文中，我们提出了一种基于肴杂全卷积神经网络（CNN）的胶质瘤亚型分类方法，该方法使用全切片成像（WSI）和多参数磁共振成像（mpMRIs）。它包罗两种方法：基于 WSI 的方法和基于 mpMRIs 的方法。对于基于 WSI 的方法，我们使用 WSI 上的 2D CNN 对胶质瘤亚型举行分类。为了降服标签束缚标题，我们以弱监督的方式提取代表胶质瘤亚型分类的真正代表性块。对于基于 mpMRIs 的方法，我们通太过析 mpMRIs 开辟了一种基于 3D CNN 的方法。基于 mpMRIs 的方法包罗脑肿瘤分割和分类。 末了，为了进步推测的鲁棒性，我们根据置信指数融合了基于 WSI 和基于 mpMRIs 的效果。在 CPM-RadPath 2020 角逐的验证数据集上的实行效果表明，两种模态的综合判定比仅使用 WSI 或 mpMRIs 的性能更好。别的，我们使用所提出的方法在 CPM-RadPath 2020 测试阶段排名第三。所提出的方法展示了具有竞争力的性能，这归功于弱监督方法和多模态数据标签划一性计谋的乐成。

在这项研究中，MRI 图像和病理图像泉源于两个公开数据集：2020 年多模态脑肿瘤分割挑衅（BraTS 2020） 和盘算精准医学：脑肿瘤分类的放射-病理挑衅（CPM-RadPath）2020。BraTS 2020 练习数据包罗 369 个病例，包罗 76 例低级别胶质瘤（LGG）患者和 293 例高级别胶质瘤（HGG）患者。对于每个病例，都有多参数 MRI（mpMRI）和相应的脑肿瘤地面原形。mpMRI 包罗 T1 加权 MRI（T1）、T1 加权增强 MRI（T1ce）、T2 加权 MRI（T2）和 T2 加权液体衰减反转规复 MRI（T2-FLAIR）。每个病例的每种模态的巨细为 240x240x155 。肿瘤分割的真原形况包罗多个肿瘤亚型，如肿瘤构造附近水肿（ED）、增强肿瘤（ET）和坏死/非增强肿瘤（NCR/NET）。对于 CPM-RadPath 2020 的数据，练习数据集由 221 个病例构成，包罗配对的放射学和数字病理学图像。在 221 个病例中，有 54、34 和 133 个病例分别为低级别星形细胞瘤、IDH 突变（A）、少突胶质细胞瘤、1p/19q 共分离（O）以及具有胶质母细胞瘤分子特性的胶质母细胞瘤和弥漫性星形细胞胶质瘤，分别。别的，CPM-RadPath 2020 挑衅赛中，验证集和测试集分别有 35 和 73 个病例。须要留意的是，挑衅构造者私下拥有验证和测试数据中胶质瘤亚型的真原形况。在验证阶段，到场者将推测效果提交给挑衅以在线评估算法。然而，在测试阶段，到场者只能提交封装在 Docker 容器中的算法，构造者实行算法以举行终极排名。
三、肺癌/非小细胞肺癌（NSCLC）

（一）多模态整合放射学、病理学和基因组学，以推测非小细胞肺癌患者对 PD-(L)1 阻断剂的反应（Multimodal integration of radiology, pathology and genomics for prediction of response to PD-(L)1 blockade in patients with non-small cell lung cancer）

https://www.nature.com/articles/s43018-022-00416-8
免疫治疗被用于治疗险些全部晚期非小细胞肺癌（NSCLC）患者；然而，辨认妥当的推测生物标记物仍然具有挑衅性。在这里，我们展示了整合医学影像、构造病理学和基因组特性来推测免疫治疗反应的推测本领，使用的是 247 名晚期 NSCLC 患者的队列，这些患者在诊断临床查抄期间得到了多模式基线数据，包罗盘算机断层扫描图像、数字化步伐性殒命配体-1 免疫组化切片和已知的免疫治疗效果。使用范畴专家表明，我们开辟了一个盘算工作流程来提取患者级别的特性，并使用呆板学习方法将多模式特性整合到风险推测模子中。 我们的多模态模子（曲线下面积（AUC）=0.80，95%置信区间（CI）0.74–0.86）优于单模态指标，包罗肿瘤突变负荷（AUC=0.61，95% CI 0.52–0.70）和步伐性殒命配体-1 免疫组化评分（AUC=0.73，95% CI 0.65–0.81）。因此，我们的研究为使用专家引导的呆板学习在 NSCLC 患者中通过多模态特性进步免疫疗法反应的推测提供了定量依据。

全部数据均可在 Synapse 公开获取：https://www.synapse.org/#!Synapse:syn26642505。队列的基因组特性可在 cbioportal 上探索：https://www.cbioportal.org/study/summary?id=lung_msk_mind_2020。源数据已作为源数据文件提供。源数据随本文提供。Feature processing and engineering code is available as part of Luna: https://github.com/msk-mind/luna/
（二）多模态深度学习神经网络在整张切片构造图像和基质辅助激光解吸电离质谱成像中用于肺癌亚型分类（Multimodal Lung Cancer Subtyping Using Deep Learning Neural Networks on Whole Slide Tissue Images and MALDI MSI）

https://www.mdpi.com/2072-6694/14/24/6181
人工智能（AI）在促进肿瘤的检测和分类方面体现出潜力。在非小细胞肺癌患者中，区分最常见的亚型，即腺癌（ADC）和鳞状细胞癌（SqCC），对于订定有效的治疗方案至关告急。然而，这项任务在临床通例中大概仍然存在挑衅。我们提出了一种基于 AI 的双模态分类算法，用于检测和亚型肿瘤地区，该算法联合了基质辅助激光解吸/电离（MALDI）质谱成像（MSI）数据和肺构造切片的数字显微镜全切片图像（WSI）的信息。该方法包罗起首通过举行苏木精和伊红染色（H&E 染色）WSI 的分割来检测高肿瘤细胞含量地区，然后根据相应的 MALDI MSI 数据举行肿瘤地区的分类。我们在包罗 N = 232 名患者肿瘤样本的六个构造微阵列（TMAs）上练习了该算法，并使用了 14 个额外的全切片举行验证和模子选择。分类精度在包罗别的 16 个全切片的测试数据集上举行了评估。 该算法正确检测和分类肿瘤地区，在频谱级别上测试正确率到达 94.7%，并正确分类了 16 个测试地区中的 15 个。当引入额外的质量控制标准时，通过质量控制的地区（16 个中的 14 个）测试正确率到达 100%。所提出的方法在将 AI 和 MALDI MSI 数据纳入临床通例方面迈出了进一步，并有大概淘汰病理大夫的工作量。对效果举行细致分析展现了在基于肺癌构造数据练习神经网络时须要思量的详细挑衅。

本研究中展示的数据可从对应作者处索取。由于隐私缘故起因，数据不公开。
四、乳腺癌（Breast Cancer）

（一）使用多模态数据推测人类乳腺癌分子亚型的肴杂深度学习模子（A Hybrid Deep Learning Model for Predicting Molecular Subtypes of Human Breast Cancer Using Multimodal Data）

https://www.sciencedirect.com/science/article/pii/S1959031820301858
乳腺癌亚型推测在乳腺癌的诊断和预后中起着关键作用。比年来，深度学习（DL）在乳腺癌亚型的智能推测中体现出良好的体现。然而，传统的 DL 模子大多采取单模态数据，只能提取少量的特性，无法创建患者特性与乳腺癌亚型之间的稳固对应关系。

我们采取 TCGA-BRCA 数据集作为乳腺癌分子亚型推测的样本集，这是一个公开的数据集，可以通过以下链接获取：https://portal.gdc.cancer.gov/projects/TCGA-BRCA
我们采取 TCGA-BRCA 数据集作为乳腺癌分子亚型推测的样本集。TCGA-BRCA 数据集包罗 1098 例乳腺癌患者的基因表达数据和 CNV。别的，每个患者都有几张构造病理学图像 （病理图像数据），也可以通过 TCGA 数据库得到 [48] 。每个患者的基因表达数据 、CNVs 和病理图像数据可以分为两种范例的模态。此中，基因表达数据和 CNVs 是一维的（矢量情势），对应一种模态；病理图像是彩色的，包罗红绿蓝（RGB）三个通道，因此是三维数据，对应另一种模态。在本文中，我们分别称它们为基因模态和影像模态 。该数据集共包罗 1098 个样本，但是有些样本缺失数据大概有些样本缺少标签，以是我们筛选了这些干扰样本，终极选取 831 个可用样本组资源文的样本集。
五、火线腺癌（Prostate Cancer）

（一）深度学习在病理-放射融合诊断火线腺癌分类中的应用方法（A Deep Learning Approach to Diagnostic Classification of Prostate Cancer Using Pathology–Radiology Fusion）

https://onlinelibrary.wiley.com/doi/full/10.1002/jmri.27599
开辟一种基于人工智能（AI）的模子（定名为 AI-活检），用于使用标记有构造病理学信息的磁共振（MR）图像举行火线腺癌的早期诊断。磁共振成像（MRI）数据集，来自 400 名疑似患有火线腺癌的患者，并包罗构造学数据（此中 228 例为院内获取，172 例来自外部公开数据库）。

这项研究包罗了来自我们自身泌尿科中心的 228 名患者（影像时间为 2015/02 至 2019/03）。在本手册中，我们将此数据集称为内部数据集。MR 图像由来自相应融合引导活检（经直肠和经会阴）的癌症 GS 和 GG 信息标记。我们还使用了从癌症影像存档（TCIA）得到的四个外部公共数据集，这些数据集去除了患者身份信息并托管了一个大型医疗影像档案库，可供公众下载。 我们使用了 PROSTATEx Challenge (n = 99 patients),22, 23 PROSTATE-MRI (n = 26),24 PROSTATE-DIAGNOSIS (n = 38 patients),25 and TCGA-PRAD (n = 9 patients).26 因此，公共数据的网络包罗统共 172 名具有 T2w 火线腺 MRI 图像的患者，以及来自相应火线腺核心针吸活检或火线腺切除术标本的构造病理学信息。全部公共和内部数据均转换为 PNG 格式，并使用 Python 脚原来规范化强度不匀称性。对于每位患者，两位放射科大夫（一位有 6 年履历的先辈成像技能职员和一位有 17 年履历的泌尿放射科大夫）查察并选择了包罗火线腺腺体的七个轴向图像切片的划一序列（=2800 个图像插值到 512×512 像素）（图 1a）。 别的，对于内部数据，这两位放射科大夫查察了分配的 PI-RADS1-5 评分（假如有的话）。然后，我们根据相应的病理陈诉对全部 MRI 图像举行了分类（图 1b）。这意味着全部患者的 MRI 图像都被贴上了良性、GS、6-10 或 GG1-5 病理评估标签，该评估由履历丰富的病理学家（来自差异诊所）完成，然后由我们机构的一位病理学家（拥有 15 年履历）举行查察。
六、高级别浆液性卵巢癌（HGSOC）

（一）多模态数据整合使用呆板学习进步高级浆液性卵巢癌的风险分层（Multimodal data integration using machine learning improves risk stratification of high-grade serous ovarian cancer）

https://www.nature.com/articles/s43018-022-00388-9
患有高级别浆液性卵巢癌的患者预后不良，对治疗的反应各异。已知该疾病的预后因素包罗同源重组缺陷状态、年岁、病理分期和减瘤手术后残留疾病状态。近来的研究突出了盘算机断层扫描和病理构造学标本中捕获的告急预后信息，这些信息可以通过呆板学习来使用。然而，关于联合来自这些差异泉源的特性以进步治疗反应推测本领的本领知之甚少。在这里，我们组装了一个包罗 444 例重要晚期高级别浆液性卵巢癌患者的多模态数据集，并发现了与预后干系的定量特性，如苏木精和伊红染色下的肿瘤核巨细和对比增强盘算机断层扫描下的网膜纹理。我们发现，这些特性相对于相互和临床基因组特性提供了互补的预后信息。 通过融合构造病理学、放射学和临床基因组学呆板学习模子，我们展示了通过多模态数据集成改善癌症患者风险分层的有盼望途径。

DNA 测序、H&E WSI 和 CT 数据已存档于 Synapse（Sage Bionetworks），存取码为 syn25946117。https://www.synapse.org/Synapse:syn25946117/wiki/611576
额外 H&E WSI、CT 成像和基因组数据来自 TCGA 研究网络：http://cancergenome.nih.gov/ 和癌症成像档案：https://www.cancerimagingarchive.net/。在病理科 CLIA 实行室举行的 MSK-IMPACT 原始数据现在不允许在公共存储库中，由于伦理和法律影响仍在机构层面讨论；因此，与 HRD 状态干系的衍生特性在存储库中共享。源数据已作为源数据文件提供。支持本研究发现的全部其他数据，在公道哀求下可从相应作者处得到。源数据随本文提供。
七、食管癌（esophageal cancer）

（一）多模态深度学习推测食管癌 PD-L1 生物标记物和临床免疫治疗效果（Multimodal deep learning for predicting PD-L1 biomarker and clinical immunotherapy outcomes of esophageal cancer）

https://www.frontiersin.org/journals/immunology/articles/10.3389/fimmu.2025.1540013/full
只管免疫查抄点克制剂（ICIs）在实体瘤中体现出显着的抗肿瘤疗效，但从中受益的食管癌（ESCC）患者比例仍然有限。当前的生物标记物有助于辨认免疫疗法的埋伏反应者，但它们都具有固有的范围性。在本研究中，我们从中国苏州大学第三附属医院创建了两个 ESCC 队列。一个队列包罗 220 名通过免疫组化确定 PD-L1 表达水平的患者，另一个队列包罗 75 名担当过免疫治疗的患者。对于两个队列中的每位患者，我们网络了包罗苏木精和伊红染色病理图像、纵向盘算机断层扫描（CT）和干系的临床变量在内的多模态数据。接下来，我们引入了一个新的多模态深度学习模子，该模子整合了病理特性、影像组学特性和临床信息，以推测 PD-L1 水平、免疫治疗反应和总生存期。我们的模子在 PD-L1 生物标记物推测中实现了 AUC 值为 0.836，在免疫治疗反应推测中实现了 AUC 值为 0.809。 别的，我们的模子在推测高出一或三年总生存率方面也实现了 0.8 的 AUC 值。我们的研究效果证明，病理学、影像组学和临床特性的多元整合为推测食管癌中 PD-L1 生物标记物水平和免疫治疗反应提供了一种强盛的本领。

• The source codes used in this study are available at: https://github.com/hliulab/multimodal
  
• Data:https://www.jianguoyun.com/p/DQ3m0XkQ8vHqCRiPwO4FIAA
  

注：数据不包罗CT，须要找作者要。

---

注：转载请注明文章出处！🧡