谷歌大脑研究人员发表新论文表明预训练在大量标记数据面前无济于事
文库划重点：例如，在COCO对象检测数据集上，当研究人员使用五分之一的标记数据时，预训练会受益，而在使用所有标记的数据时，准确性会受到损害。另一方面，自训练可以在与预训练不起作用的相同设置上完全兼容。在 PASCAL细分数据集上，该数据集比COCO小得多，尽管预训练确实有很大帮助，但自训练可改善预训练模型。
预训练是计算机视觉中的主要范例，而谷歌大脑研究人员的研究通过以下三点发现揭示了自我训练的一般性和灵活性：更强大的数据扩充和更多标记数据进一步降低了预训练的价值；与预训练不同，使用更强大的自我训练总是有帮助在低数据和高数据两种情况下进行数据增强，以及在预训练有帮助的情况下，自训练会在预训练后得到改善。
例如，在COCO对象检测数据集上，当研究人员使用五分之一的标记数据时，预训练会受益，而在使用所有标记的数据时，准确性会受到损害。另一方面，自训练可以在与预训练不起作用的相同设置上完全兼容。在 PASCAL细分数据集上，该数据集比COCO小得多，尽管预训练确实有很大帮助，但自训练可改善预训练模型。
收录于哈希力量，手机站省略本文固定网址
