До того как глубокое обучение стало стандартом, обучение множества слоев одновременно было сложной задачей. Глубокие сети доверия предложили путь вперед, объединив ограниченные машины Больцмана, обучая каждый слой жадным алгоритмом, а затем дообучая всю систему целиком.

Каждый слой обучается представлению нижележащего слоя. Верхние слои улавливают абстрактные признаки. Поскольку обучение происходит послойно, градиенты не исчезают, как это было в более ранних глубоких архитектурах.

Структура и обучение

• Многоуровневые ограниченные машины Больцмана
• Обучение без учителя, слой за слоем
• Контролируемая тонкая настройка на размеченных данных
• Генеративные возможности на самом высоком уровне

DBN оказали значительное влияние в середине 2000-х годов и помогли возродить интерес к глубоким архитектурам. В современной практике используются сети ReLU, пакетная нормализация и более совершенные оптимизаторы, которые обучаются от начала до конца без жадного послойного подхода.