nips2014-survey:NIPS2014中超参数优化使用的调查

NIPS2014中的超参数优化调查 在这项调查中，我们检查了NIPS2014的所有论文，以调查作者使用了哪些方法来选择最佳参数。 该调查是针对我们的超参数优化软件。 如果您发现任何错误，请告诉我们或提交请求请求。 方法 为了客观地评估当前专用超参数优化技术的采用，我们调查了NIPS 2014大会的所有论文（共411篇）。 我们统计了所有提及交叉验证或超参数调整的论文，然后根据使用的超参数优化方法对这些论文进行了分类。 我们主要对使用网格搜索，随机搜索，手动调整或使用默认超参数值以外的技术报告多少篇论文感兴趣。 为了使调查自动化并使其可重现，我们扫描了所有论文，寻找著名的超参数优化方法的名称以及相应出版物的作者的名称。 通过这种方式，我们自动考虑了随机搜索（Bergstra和Bengio，2012），留兰香（Snoek等人，2012），HyperOpt（Bergstra等人，2013），B