Два слоя, без связей внутри слоя. Ограниченная машина Больцмана состоит из видимых и скрытых нейронов, связи между которыми существуют только между этими двумя группами. Это ограничение делает обучение осуществимым с помощью контрастивной дивергенции.
Модель обучается распределению вероятностей по видимым элементам. Скрытые элементы улавливают скрытые признаки. После обучения сеть может генерировать образцы, используя метод выборки Гиббса между слоями.
Ключевые свойства
- Двудольная графовая структура
- Вероятностная модель, основанная на энергии
- Тренировка контрастной дивергенции
- Используются в качестве строительных блоков в глубоких сетях доверия.
RBM сыграли центральную роль в возрождении глубокого обучения в 2006 году, когда их объединение позволило эффективно проводить предварительное обучение. Современные архитектуры, такие как VAE и диффузионные модели, в значительной степени заменили их, но эти идеи по-прежнему встречаются в исследованиях по моделированию на основе энергии.
Comments (2)
Leave a comment