NAS（神经架构搜索）基准数据集

在 NAS（神经架构搜索）使掷中，基准数据集是指专门操持并提供固定的搜索空间、评价指标和预练习效果的数据集，用于公平评估和比力差异 NAS 算法的表现。以下是一些专门用于 NAS 研究的基准数据集：
一、基准数据集

1. NAS-Bench-101

• 简介: NAS-Bench-101 是一个针对 NAS 任务的早期基准数据集，包罗一个预界说的搜索空间，允许研究者直接查询400,000个架构的性能。
  
• 特点:
  
  
  
  • 预界说的架构搜索空间。
    
  • 通过查询得到模子在 CIFAR-10 上的练习效果。
    
  • 大大淘汰了 NAS 使掷中的盘算开销。
    
  
  
• 应用: 用于架构搜索算法的服从对比。
  
• 网址: NAS-Bench-101
  

2. NAS-Bench-201

• 简介: NAS-Bench-201 是 NAS-Bench-101 的扩展版，提供了一个更机动的搜索空间和多任务的性能数据。该数据集支持 CIFAR-10、CIFAR-100 和 ImageNet-16-120 三个数据集。
  
• 特点:
  
  
  
  • 更紧凑的搜索空间，得当更广泛的 NAS 研究。
    
  • 提供了架构在差异数据集上的完备练习和验证性能。
    
  
  
• 应用: 可用于 CIFAR-10、CIFAR-100 和 ImageNet 使掷中的架构搜索对比。
  
• 网址: NAS-Bench-201
  

3. NAS-Bench-301

• 简介: NAS-Bench-301 提供了一个模拟 NAS-Bench-201 的复杂版本，专为 DARTS（微型架构搜索）操持。它包罗了 DARTS 搜索空间中的架构，而且通过推测器模子来估算性能。
  
• 特点:
  
  
  
  • 推测器估算模子性能，淘汰实际练习所需的时间。
    
  • 提供了DARTS的搜索空间。
    
  
  
• 应用: 用于优化微型架构搜索方法的研究。
  
• 网址: NAS-Bench-301
  

4. NAS-Bench-Macro

• 简介: NAS-Bench-Macro 专注于宏观结构搜索。与其他 NAS 数据集差异，它允许在更大的模子空间中探索大型架构的操持。
  
• 特点:
  
  
  
  • 提供了更复杂的宏观搜索空间。
    
  • 针对 CIFAR-10 的模子评估。
    
  
  
• 应用: 研究大型深度神经网络的操持与搜索。
  
• 网址: NAS-Bench-Macro
  

5. NAS-Bench-NLP

• 简介: NAS-Bench-NLP 是一个针对自然语言处置惩罚任务的基准数据集，旨在搜索用于文天职类的神经网络架构。它是第一个面向 NLP 任务的 NAS 基准。
  
• 特点:
  
  
  
  • 专门为自然语言处置惩罚任务操持的搜索空间。
    
  • 预界说的架构和性能数据，可用于快速评估。
    
  
  
• 应用: 研究 NLP 范畴的架构搜索。
  
• 网址: NAS-Bench-NLP
  

6. TransNAS-Bench-101

• 简介: TransNAS-Bench-101 是一个多任务 NAS 基准数据集，涵盖视觉使掷中的图像分类、目标检测、图像分割等多种任务。它利用差异的任务范例天生搜索空间并提供性能评估。
  
• 特点:
  
  
  
  • 涵盖多任务（比方图像分类、目标检测、图像分割等）。
    
  • 提供了跨任务的架构搜索性能评估。
    
  
  
• 应用: 多任务学习中的架构搜索和迁徙学习研究。
  
• 网址: TransNAS-Bench-101
  

7. FBNet/NAS-Bench-360

• 简介: NAS-Bench-360 是 Facebook 提出的一个基准测试集，包罗了用于多种任务的架构和性能数据。该数据集涵盖了各种复杂的实际任务，如图像、语音、文本等。
  
• 特点:
  
  
  
  • 超过多个范畴的任务。
    
  • 面向生产环境的真实数据。
    
  
  
• 应用: 在多个任务范畴中测试架构搜索性能。
  
• 网址: NAS-Bench-360
  

这些基准数据集允许研究职员快速测试和比力 NAS 算法的性能，从而加速架构搜索过程，同时为差异任务提供同一的评价标准。

---

二、基准数据天生方式

---

在神经架构搜索（NAS）研究中，基准数据集（benchmark datasets）的天生和整理过程通常涉及以下几个步调。NAS 基准数据集的操持是为了提供可重复、标准化的测试环境，以权衡差异架构搜索算法的性能。以下是 NAS 研究基准数据集的天生和整理的范例步调：
1. 选择任务范例和数据集

NAS 基准测试的焦点是针对详细的任务举行架构优化，范例任务包罗图像分类、物体检测、语义分割、自然语言处置惩罚等。常见的基准数据集如下：

1. •        图像分类：CIFAR-10、ImageNet
2. •        目标检测：COCO、VOC
3. •        语义分割：Cityscapes、PASCAL VOC
4. •        自然语言处理：Penn Treebank、WikiText
5. •        超分辨率：DIV2K

复制代码

选择过程：研究者通常会选择任务范畴内广泛利用且性能已被广泛验证的数据集，确保所评估的 NAS 算法具有实际意义和通用性。
2. 网络空间（Search Space）的界说

基准测试的焦点是搜索空间的界说。NAS 研究每每通过限定大概的网络架构组合来规范搜索任务。以下是几个常用的搜索空间界说方法：

• 基于单元（cell-based search space）：以神经网络的根本构建块（如卷积层、池化层等）为单元，举行模块化组合。范例的做法如 NASNet 中的正常单元（normal cell）和归约单元（reduction cell）。
  
• 基于操纵（operation-based search space）：界说一组操纵（如3x3卷积、5x5卷积、跳跃毗连等），然后将这些操纵组合成差异的架构。
  
• 条理搜索空间（hierarchical search space）：通过多层结构界说差异深度、宽度的架构，支持从浅层到深层的自动化搜索。
  

3. 练习数据与超参数的同一

为了包管搜索效果的公平对比，基准数据集通常会同一以下超参数设置：

• 数据预处置惩罚：包罗数据加强、归一化、裁剪等操纵。差异研究者大概对数据处置惩罚方式有所差异，但基准数据集通常会给出标准化的处置惩罚方式。
  
• 超参数设置：比方学习率、优化器、批量巨细等，通常在 NAS 基准数据集整理时被同一设定。这确保了差异搜索方法的效果可直接比力。
  

4. 网络架构评估

在 NAS 基准中，构建并练习大量网络架构是焦点。范例方法包罗：

• 练习全部架构：为了构建一个强盛的基准测试数据集，研究者每每须要练习数千以致数万个差异的网络架构。每个架构都须要在选定的数据集上举行完备练习，并纪录其性能指标（比方分类精确率、FLOPs 等）。
  
• 性能推测模子：为了淘汰盘算本钱，偶然会利用性能推测器估计架构性能，或利用练习的署理模子来淘汰每个架构的练习时间。
  

5. 性能指标纪录

基准数据集整理中，通常会纪录以下焦点性能指标：

• 精确率（Accuracy）：分类使掷中的最重要指标。
  
• 推理延伸（Latency）：尤其是在移动装备或嵌入式装备上的 NAS，延伸至关告急。
  
• FLOPs（浮点运算次数）：盘算资源斲丧的标准度量。
  
• 模子参数目（Model Parameters）：模子的巨细和复杂度。
  

在每个架构的练习完成后，这些指标会纪录下来，并整理成结构化数据，成为 NAS 研究的基准。
6. 开源与标准化

为推动 NAS 研究的发展，许多基准数据集会会议在研究完成后被开源。比方：

• NAS-Bench-101：提供了 423,624 个卷积神经网络架构的评估效果，支持 CIFAR-10 数据集的分类任务。
  
• NAS-Bench-201：包罗三种搜索空间（CIFAR-10、CIFAR-100、ImageNet-16-120）的网络架构及其练习效果。
  
• NAS-Bench-301：提供了更大规模、基于署理模子推测的架构评估，实用于 ImageNet 任务。
  

研究者们通过这些标准化的基准数据集，可以大概在雷同的搜索空间和雷同的练习条件下对比差异的 NAS 方法，从而更加客观地评估搜索算法的优劣。
7. NAS基准数据集的整理与发布

NAS 基准数据集整理的重要目标是使得研究者可以重复实行并比力差异的 NAS 算法。因此，在整理过程中，研究者会将以下内容详细纪录：

• 搜索空间界说：明确搜索操纵、层结构、毗连方式等。
  
• 数据集预处置惩罚方式：确保全部架构在雷同的条件下举行练习。
  
• 性能数据：每个架构的精确率、练习时间、盘算本钱等数据。
  

终极，这些基准数据集通常会以数据表格或数据库的情势发布，并附带文档详细阐明怎样利用该基准举行 NAS 实行。
总结

NAS 基准数据集的天生和整理过程涉及任务选择、搜索空间界说、网络架构练习与评估、性能指标纪录等多个步调。研究者通过这些基准数据集可以大概标准化 NAS 研究的环境，确保算法的公平对比和科学评估。

免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！更多信息从访问主页：qidao123.com:ToB企服之家，中国第一个企服评测及商务社交产业平台。

继续阅读请点击广告