Многомерные данные сложно визуализировать, они медленно обрабатываются и склонны к переобучению. Снижение размерности сжимает признаки в меньший набор, сохраняя при этом как можно больше полезной структуры.

Линейные методы, такие как анализ главных компонентов, проецируют данные на направления максимальной дисперсии. Нелинейные методы, такие как t-SNE и UMAP, сохраняют локальные окрестности, что делает их популярными для визуализации кластеров.

Распространенные методы

• анализ главных компонентов
• Линейный дискриминантный анализ
• t-SNE для визуализации
• UMAP для обучения на многообразиях
• Автокодировщики для нелинейного сжатия

При сокращении всегда что-то теряется. Цель состоит в том, чтобы отсеять шум и избыточность, сохраняя при этом сигнал. Выбор оптимального количества измерений — это решение, принимаемое на основе субъективной оценки, часто определяемой производительностью последующего потока, а не только ошибкой восстановления.