NAS论文笔记

网络结构搜索之梯度可微:（很详细）

网络搜索之DARTS, GDAS, DenseNAS, P-DARTS, PC-DARTS

CVPR 2019 神经网络架构搜索进展综述

网络结构搜索之强化学习

-

Neural Architecture Optimization

论文链接：

自动神经架构设计非常有助于发现强大的神经网络结构。现有的方法，无论是基于强化学习（RL）还是进化算法（EA），都是在离散空间中进行架构搜索，效率非常低。本文提出了一种基于连续优化的自动神经架构设计方法。这种新方法被称为神经架构优化（NAO）。该方法有三个关键部分：（1）编码器，将神经网络架构嵌入 / 映射到连续空间；（2）预测器，将网络的连续表示作为输入，并预测其准确率；（3）解码器，将网络的连续表示映射回其架构。性能预测器和编码器使我们能够在连续空间中执行基于梯度的优化，以找到潜在的准确率更高的新架构嵌入。然后将这个更优的嵌入使用解码器解码到网络。

multinomial distribution learning for effective neaural architecture searc(基于梯度)

论文链接：https://arxiv.org/abs/1905.07529

论文代码：

例如，强化学习（RL）方法 [1] 需要在 20,000 个 GPU 上训练 4 天，以此训练和评估超过 20,000 个神经网络。最近 [2] 中提出的可微分的方法可以将搜索空间松弛到连续的空间，从而可以通过在验证集上的梯度下降来优化体系结构。然而，可微分的方法需要极高的 GPU 显存，并且随着搜索空间的大小线性增长。在本文中，我们提出了一种基于多项式分布估计快速 NAS 算法，它将搜索空间视为一个多项式分布，我们可以通过采样-分布估计来优化该分布，从而将 NAS 可以转换为分布估计/学习。除此之外，本文还提出并证明了一种保序精度排序假设，进一步加速学习过程。在 CIFAR-10 上，通过我们的方法搜索的结构实现了 2.55％的测试误差，GTX1080Ti 上仅 4 个 GPU 小时。在 ImageNet 上，我们实现了 75.2％的 top1 准确度。

Efficient Neural Architecture Search via Parameter Sharing（基于RL）：

(tensorflow)

论文链接：https://arxiv.org/abs/1802.03268

我们在本文中提出高效神经架构搜索（ENAS），这是一种高效和经济的自动化模型设计的方法。在 ENAS 中，有一个控制器通过在一个大型计算图中搜索一个最优的子图以学习发现最优神经网络架构的方法。控制器采用策略梯度进行训练，以选择最大化验证集期望奖励的子图。同时，和所选子图对应的模型将进行训练以最小化标准交叉熵损失。由于子模型之间的参数共享，ENAS 的速度很快：它只需要使用少得多的 GPU 运算时间就能达到比当前的自动化模型设计方法好很多的经验性能，尤其是，其计算成本只有标准的神经架构搜索（NAS）的千分之一。在 Penn Treebank 数据集上，ENAS 发现了一个新颖的架构，其达到了 55.8 的测试困惑度，这是未经后处理而达到当前最佳性能的新方法。在 CIFAR-10 数据集上，ENAS 设计了一个新颖的架构，其测试误差达到了 2.89%，与 NASNet（Zoph et al., 2018）不相上下（2.65% 的测试误差）。

DARTS: Differentiable Architecture Search

(基于梯度)

理解：

DARTS 可微架构搜索

DARTS代码阅读

算子

华为：(基于梯度)

PDARTS 即 Progressive Differentiable Architecture Search: Bridging the Depth Gap between Search and Evaluation，是对 DARTS 的改进。DARTS 内存占用过高，训练不了较大的模型；PDARTS 将训练划分为3个阶段，逐步搜索，在增加网络深度的同时缩减操作种类。构造3次网络拉长了训练周期

PC-DARTS 仍出自华为诺亚方舟，相比前作 PDARTS 更加优雅。额外引入的一组权重参数可以提高性能。

百度：(基于梯度)

地平线：(基于梯度)

(基于梯度)

转载地址：http://glgof.baihongyu.com/

你可能感兴趣的文章

如何向纯洁的女朋友解释并发与并行的区别？