Возьмите простую функцию, наложите на нее множество копий и позвольте каждой из них обучаться. Нейронная сеть — это композиция слоев, где каждый слой применяет веса, смещение и нелинейность. Обучение корректирует эти веса в соответствии с данными.

Конструкция в общих чертах вдохновлена ​​биологическими нейронами, хотя сходство поверхностное. Важно то, что архитектура может аппроксимировать сложные функции при достаточном объеме и объеме данных. Это подтверждают теоремы универсальной аппроксимации, хотя они ничего не говорят о том, найдет ли обучение хорошее решение.

Распространенные типы сетей

• Прямые сети
• Сверточные сети
• Рекуррентные сети
• Трансформеры
• Графовые сети

Глубина помогает. Поверхностные сети могут аппроксимировать многие функции, но глубокие сети более эффективно изучают иерархические признаки. Именно эта эффективность и стала причиной стремительного развития глубокого обучения после того, как его обучение стало практически осуществимым.