标签成本高昂,而原始数据成本低廉。半监督学习将少量已标注数据集与大量未标注数据集相结合,利用未标注数据的结构来提升泛化能力,超越了仅使用标签所能达到的水平。
方法多种多样。自训练模型先对未标注的样本进行标注,然后再对组合后的样本集进行重新训练。一致性正则化迫使模型对同一输入的不同扰动版本产生相似的输出。基于图的方法则通过相似性网络传播标签。
常用的半监督技术
- 自训练和伪标签
- 一致性正则化
- 熵最小化
- 基于图的标签传播
- 对比预训练后进行微调
结果很大程度上取决于数据。如果未标记样本与已标记样本的分布不同,性能可能会下降。仔细的验证和领域匹配与算法本身同样重要。
Comments
No comments yet. Be the first to share a thought.
Leave a comment