2024年 30篇神经架构搜索(Neural Architecture Search) ICLR(Under review) 阅读笔记
目录
1. Anytime Neural Architecture Search On TabuLar Data(6663)
2. Archlock: Locking DNN Transferability At The Architecture Level With A Zero-Cost Bi-Nary Predictor(683)
3.Composing Recurrent Spiking Neural Networks Using Locally-Recurrent Motifs And Risk-Mitigating Architectural Optimization(6555)
4.Curriculum Reinforcement Learning For Quantum Architecture Search Under Hard-Ware Errors(665)
5.Defying Multi-Model Forgetting: Orthogo-Nal Gradient Learning To One-Shot Neural Architecture Search (555)
6.Differentiable Tree Search In Latent State Space(566)
7.Differential Model Scaling Using Differential Topk(6653) LLM
8.DiffusionNAG: Predictor-Guided Neural Archi-Tecture Generation With Diffusion Models(566) VLM
9.Encodings For Prediction-Based Neural Architecture Search(863)
10.Fast Neural Architecture Search With Random Neural Tangent Kernel (636)
11.Gradient-Free Proxy For Efficient Language Model Search (8553) NLP
12.Graph Is All You Need? Lightweight Data-Agnostic Neural Architecture Search Without Training(536)
13.Interleaving Multi-Task Neural Architecture Search(336)
14.LayerNAS: Neural Architecture Search In Polynomial Complexity(585)
15.Lightweight Graph Neural Network Search With Graph Sparsification(583)
16. LLM Performance Predictors Are Good Initializers For Architecture Search (6653) LLM
17. Masked Distillation Advances Self-Supervised Transformer Architecture Search(668)
18.Mixture-Of-Supernets: Improving Weight-Sharing Supernet Training With Architecture-Routed Mixture-Of-Experts(5553)
19. Neural Architecture Retrieval(688)
20.Neural Fine-Tuning Search For Few-Shot Learning(886)
21.Neural Neighborhood Search For Multi-Agent Path Finding(663)
22.Quantum Architecture Search With Unsupervised Representation Learning(555)
23. Robust NAS Benchmark Under Adversarial Training: Assessment, Theory, And Beyond(666)
24.Robustifying And Boosting Training-Free Neural Architecture Search(583)
25.Search: A Self-Evolving Framework For Network Architecture Optimization(535)
26.Structural Pruning Of Pre-Trained Language Models Via Neural Architecture Search(653)
27.Swap-NAS: Sample-Wise Activation Patterns For Ultra-Fast NAS(686)
28.Tafs: Task-Aware Activation Function Search For Graph Neural Networks(555)
29.Towards Neural Architecture Search Through Hierarchical Generative Modeling(6553)
1. Anytime Neural Architecture Search On TabuLar Data(6663)
| Aim: | 本论文的目的是解决表格数据分析中的一个增长需求，即从手动架构设计过渡到神经架构搜索（NAS）。这种过渡需要一种高效且灵活的即时NAS方法，能够在任何给定的时间预算内返回当前最优架构，并随着预算增加逐渐提高架构质量。然而，针对表格数据的即时NAS研究领域尚未被探索。为此，我们引入了ATLAS，这是第一个专门为表格数据量身定制的即时NAS方法。 |
| Abstract： | 随着对表格数据分析需求的增长，从手动架构设计转向神经架构搜索（NAS）变得越来越重要。这种转变要求一种高效且灵活的即时NAS方法，能够在任何给定时间预算内返回当前最优架构，并随着预算增加逐步提高架构质量。然而，针对表格数据的即时NAS研究领域仍然是一个未被探索的领域。为此，我们引入了ATLAS，这是第一个专门为表格数据设计的即时NAS方法。ATLAS采用了一种新颖的两阶段过滤和精化优化方案，结合了无训练和基于训练的架构评估方法。具体来说，在过滤阶段，ATLAS采用了一种专门为表格数据设计的无训练架构评估指标，以高效估算候选架构的性能，从而获得一组有前景的架构。随后，在精化阶段，ATLAS利用固定预算搜索算法来安排有前景候选的训练，以准确识别最佳架构。为了共同优化这两个阶段以实现即时NAS，我们还设计了一个预算意识协调器，以在约束条件下实现高NAS性能。实验评估表明，我们的ATLAS可以在任何预定的时间预算内获得良好的架构，并在有新的时间预算时返回更好的架构。总体而言，与现有NAS方法相比，ATLAS在表格数据上的搜索时间减少了高达82.75倍。 |
| Conclusion: | ATLAS作为第一个针对表格数据的即时NAS方法，通过其创新的两阶段过滤和精化优化方案，成功地解决了表格数据NAS的挑战。该方法能够在任意的时间预算内提供高效能的架构，并随着时间预算的增加返回更优的架构。ATLAS的这一成果在减少搜索时间和提高架构质量方面具有重要意义，为表格数据分析和NAS应用领域提供了一种新的高效工具。 |
| Methods: |
|
| Keyresults: |
|
| Code: | Paper under double-blind review |
2. Archlock: Locking DNN Transferability At The Architecture Level With A Zero-Cost Bi-Nary Predictor(683)
| Aim: | 本论文旨在解决深度神经网络（DNN）模型在架构层面上的安全性问题，尤其是针对攻击者可能利用这些模型进行其他任务的风险。现有的防御策略主要关注模型参数级别的安全性，而架构级别的防御潜力还未被充分探索。论文的目标是通过减少架构层面上的可转移性来保护模型。 |
| Abstract： | 尽管深度神经网络（DNN）模型表现出色，但它们容易被攻击者利用来适应其他任务，以谋取自身利益。当前的防御策略主要在模型参数级别解决这一脆弱性，而架构级别的防御潜力大多未被探索。本文首次通过减少架构级别的可转移性来解决模型保护问题。具体来说，我们提出了一种新颖的神经架构搜索（NAS）启用算法，该算法采用零成本代理和进化搜索来设计具有低可转移性的模型架构。我们的方法，即ArchLock，旨在在源任务上实现高性能，同时降低目标任务的性能，即锁定DNN模型的可转移性。为了在没有访问攻击者训练数据的情况下实现高效的跨任务搜索，我们利用零成本代理加速架构评估，并模拟潜在目标任务嵌入以协助跨任务搜索，并使用二元性能预测器。在NAS-Bench-201和TransNAS-Bench-101的广泛实验表明，ArchLock分别将可转移性降低了高达30%和50%，同时在源任务上的性能损失可以忽略不计（ |
