Анализ данных выявляет закономерности в больших массивах данных. Он использует статистику, машинное обучение и методы работы с базами данных для обнаружения неочевидных взаимосвязей. Розничный продавец обнаруживает, что покупатели подгузников также покупают пиво по пятничным вечерам. Банк обнаруживает, что определенные модели транзакций предсказывают мошенничество. Больница выявляет факторы риска повторной госпитализации. Закономерности реальны. Полезность этих данных зависит от того, как вы их используете.

Добыча данных — это не то же самое, что анализ данных. Анализ проверяет гипотезы. Добыча данных генерирует их. Вы не знаете, что ищете. Алгоритм находит корреляции и аномалии. Затем человек решает, какие из них важны. Этот последний шаг имеет решающее значение. Корреляция — это не причинно-следственная связь. Закономерность может быть ложной. Она может отражать мешающую переменную. Она может быть артефактом данных. Добыча данных создает кандидатов, а не выводы. Методы включают кластеризацию, классификацию, регрессию, правила ассоциации и обнаружение аномалий. Каждый из них подходит для разных задач. Инструменты стали доступными. Библиотеки Python и облачные сервисы позволяют аналитикам запускать сложные алгоритмы без глубоких знаний. Риск заключается в неправильном использовании. Запуск тысячи моделей и выбор той, которая дала наилучший результат, — это не открытие. Это переобучение. Закономерность должна сохраняться на новых данных, чтобы быть реальной.

методы интеллектуального анализа данных

• Кластеризация — группировка похожих записей.
• Классификация — присвоение записей категориям.
• Правила ассоциации — поиск элементов, которые встречаются одновременно.
• Регрессионный анализ — моделирование взаимосвязей между переменными.
• Обнаружение аномалий — выявление необычных записей

Анализ данных выявляет закономерности. Люди определяют их смысл. Алгоритм — это инструмент, а не оракул.