商汤使用AutoML设计Loss函数，全面超越人工设计

---

深度学习领域，神经架构搜索得到的算法如雨后春笋般出现。

今天一篇arXiv论文《AM-LFS: AutoML for Loss Function Search》，商汤科技揭示使用AutoML方法设计Loss函数，在图像分类、人脸比对、行人重识别等任务中验证其比人工设计的Loss更优秀。

论文作者信息：

其主要思想是设计一种有效的搜索空间，使其可以囊括基于间隔的softmax loss函数（拥有鉴别表示的能力），和以Focal Loss为代表的的重加权方法（解决样本不平衡问题）。

下图是作者提出的搜索空间与现有loss函数的示例，

可见在作者提出的搜索空间里，可以有效近似现存的优秀的手工设计的loss函数。

AM-LFS 伪代码步骤：

通过不断的增加epoch选择最高分数R，更新模型，得到最终的loss函数模型。

实验结果

作者在CIFAR-10进行了分类实验：

相比softmax baseline 显然取得了更好的结果。

作者在人脸比对数据集MageFace上进行了实验：

取得了超越目前state-of-the-art ArcFace的精度。

下面是在行人重识别问题上两个数据集的结果：

相同特征提取算法换上新的loss 函数，取得了明显的精度提升。

论文地址：

https://arxiv.org/pdf/1905.07375v1.pdf