Сбор данных предполагает получение информации из различных источников. Опросы, датчики, веб-журналы, записи транзакций, социальные сети и общедоступные базы данных — все это питает данный процесс. Метод формирует данные. Опрос с наводящими вопросами приводит к предвзятым ответам. Датчик с дрейфом калибровки дает неточные показания. Веб-скрейпер, игнорирующий ограничения скорости, блокируется. Сбор данных не является нейтральным процессом. Каждый выбор влияет на то, что вы узнаете.

Первый вопрос: что вам нужно и зачем? Собирать всё подряд заманчиво, но обычно это расточительно. Хранение данных стоит денег. Обработка стоит денег. Очистка стоит денег. Данные, которые лежат без дела, — это пассив, а не актив. Второй вопрос: как собирать данные этично и законно? Согласие имеет значение. Законы о конфиденциальности, такие как GDPR, требуют законного основания для сбора персональных данных. Условия предоставления услуг ограничивают парсинг на многих платформах. Третий вопрос — качество. Надежен ли источник? Является ли выборка репрезентативной? Есть ли пробелы? Сбор данных без контроля качества приводит к созданию наборов данных, которые впоследствии окажутся неэффективными. Лучшее время для выявления проблемы — до того, как данные попадут в конвейер обработки, а не после того, как кто-то построит на их основе модель.

Методы сбора

• Опросы — структурированные вопросы, подверженные предвзятости ответов.
• Датчики — автоматизированные, непрерывные, чувствительные к калибровке.
• Веб-скрейпинг — извлечение общедоступных данных, подлежащих ограничению в соответствии с законодательством.
• Журналы транзакций — автоматически фиксируют поведение пользователей.
• Общедоступные записи — государственные и открытые источники данных.

Сбор данных — это решение, продиктованное планомерным подходом. То, что вы собираете, определяет, чему вы сможете научиться. То, что вы упускаете, определяет, чего вы никогда не узнаете.