欢迎光临
我们一直在努力

MIT博士生、北大校友,利用自监督算法,解决了数据集中这一常见的“难题”

来源:量子位

萧箫 转载整理自 杨宇喆

量子位 报道 | 公众号 QbitAI

训练模型时,你是否也遭遇过这样的“尴尬”时刻:

好不容易找到了自己想要的数据集,结果点进去一看,大部分样本都是一类物体。(例如,数据集标签「动物」,结果80%的样本都是「猫」)

用上面这个数据集训练的动物检测模型,可能只能识别「猫」。

这类数据不均衡(某一标签数量太多,其余标签数量太少)的问题,在机器学习中被称为“长尾问题”

这个问题导致,数据集中(尤其是大型数据集)样本数量少的物体,泛化效果会非常差。

然而事实上,在一个数据集中,几乎总有常见和不常见的类别,其中不常见的类别,又往往成为需要被识别的目标。

例如,自动驾驶感知模型中,就要求AI能提前预测可能违规的情形,并及时阻止。

然而在自动驾驶数据集里,不可能全是肇祸、违规的场景(大部分场景还是安全的)

那么,这些“不均衡”的数据集,就真的不能用了吗?

来自MIT的两名博士生杨宇喆和Zhi Xu,想到了一种新的解决方案,研究成果登上了NeurIPS 2020顶会。

一起来看看。

一些已有的解决办法

事实上,此前为了解决“不均衡”数据集,研究者们已经尝试过多种方法。

仅仅是主流算法,就分为七种:

重采样(re-sampling):分为对少样本的过采样、及多样本的欠采样,但这2种方法,都有欠缺的地方。其中,过采样容易发生少样本过拟合,无法学习更鲁棒、易泛化的特征,在不平衡数据上表现较差;欠采样会造成多样本严重信息损失,导致发生欠拟合。

数据合成(synthetic samples):生成和少样本相似的新数据。以SMOTE方法为例,对于任意选取的少类样本,它用K近邻选取相似样本,并通过对样本线性插值得到新样本。这里与mixup方法相似,因此,也有非均衡的mixup版本出现。

重加权(re-weighting):为不同类别(甚至不同样本)分配不同的权重。其中,权重可以自适应。这一方法诞生出很多变种,如对类别数目的倒数进行加权、对“有效”样本数加权、对样本数优化分类间距的损失加权等等。

迁移学习(transfer learning):对多类和少类样本分别建模,将学到的多类样本信息/表示/知识迁移给少类别使用。

度量学习(metric learning):希望能学到更好的嵌入,以对少类附近的边界/边缘更好地建模。

元学习/域自适应(meta learning/domain adaptation):分别对头、尾部数据进行不同处理,自适应地学习如何重加权,或是规划成域自适应问题。

解耦特征和分类器(decoupling representation & classifier):研究发现,将特征学习和分类器学习解耦、将不平衡学习分为两个阶段,并在特征学习阶段正常采样、在分类器学习阶段平衡采样,可以带来更好的长尾学习效果。这是目前最优的长尾分类算法。

但这些,在样本极端失衡的情况下也没法用,如果真的只有几个样本,模型的性能差异就无法避免。

关键在于,究竟该怎么理解这里面的“不均衡”?

“不均衡”标签的内在价值

那些本身就不平衡的数据标签,会不会具有什么价值

研究发现,这些不平衡的数据标签,就像是一把“双刃剑”。

一方面,这些标签提供了非常珍贵的监督信息。

在特定任务上,有监督学习通常比无监督学习的准确性更高,即使不平衡,标签也都具有“正面价值”。

但另一方面,标签的不平衡,会导致模型在训练过程中,被强加标签偏见(label bias),从而在决策区域被主类别极大地影响。

研究者们认为,即使是不平衡标签,它的价值也可以被充分利用,并极大地提高模型分类的准确性。

如果能先“抛弃标签信息”,通过自监督预训,让模型学习到好的起始表示形式,是否就能有效地提高分类准确性?

从半监督,到自监督预训练

作者们先对半监督下的不均衡学习进行了实验。

实验证明,利用无标记数据的半监督学习,能显著提高分类结果。

从图中可以看出,未标记数据,有助于建模更清晰的类边界,促成更好的类间分离。

这是因为,尾类样本所处区域数据密度低,在学习过程中,模型不能很好地对低密度区域进行建模,导致泛化性差。

而无标记数据,能有效提高低密度区域样本量,使得模型能对边界进行更好的建模。

然而,在一些很难利用半监督学习的极端情况下,仍然需要自监督学习出场。

这是因为,一旦自监督产生良好初始化,网络就可以从预训练任务中受益,学习到更通用的表示形式。

而实验同样证明了这一点。

正常预训练的决策边界,很大程度上会被头类样本改变,导致尾类样本大量“泄漏”,无法很好地泛化。

而采用自监督预训练的话,学习到的样本保持清晰的分离效果,且能减少尾类样本泄漏。

也就是说,为了利用自监督克服标签偏见,在长尾学习的第一阶段,需要先放弃标签信息,进行自监督预训练

此阶段后,可以使用任何标准训练方法,训练得到最终模型。(例如此前所用的迁移学习、重加权、域自适应……)

这样,就能更好地解决长尾问题。

作者介绍

论文一作杨宇喆,目前是MIT计算机科学的三年级博士生,本科毕业于北京大学。

目前,杨宇喆的研究方向主要有两个:基于学习的无线感应技术,应用方向是医疗保健;机器学习,主要是针对机器学习和强化学习的鲁棒性进行研究。

论文二作Zhi Xu,本科毕业于伊利诺伊大学厄巴纳-香槟分校,同样是MIT的博士生,感兴趣的研究方向是机器学习理论和现代应用,目前主要在研究强化学习的稳定性、效率、结构和复杂度。

论文地址:

https://arxiv.org/abs/2006.07529

项目地址:

https://github.com/YyzHarry/imbalanced-semi-self

论文解读@杨宇喆:

https://zhuanlan.zhihu.com/p/259710601

未经允许不得转载:365体育官网APP下载_标准版 » MIT博士生、北大校友,利用自监督算法,解决了数据集中这一常见的“难题”