Источник данных — это место, откуда поступают данные. Базы данных, API, файлы журналов, датчики, опросы и общедоступные записи — все это служит источниками. Источник определяет структуру, качество и надежность данных. Хорошо поддерживаемая база данных с ограничениями и проверкой обеспечивает более чистые данные, чем электронная таблица, заполненная вручную. Датчик с дрейфом калибровки дает искаженные показания. Общедоступный набор данных может быть неполным или устаревшим.

Знание источника данных имеет решающее значение для обеспечения их достоверности. Откуда они взялись? Кто их собрал? Когда? Как? Какой был метод? Что было исключено? Эти вопросы определяют, что данные могут и чего не могут подтвердить. Данные опроса 100 человек не могут подтвердить утверждения о населении в миллионы человек. Данные системы, которая регистрирует только успешные транзакции, упускают из виду сбои. Данные от поставщика могут быть точными для его целей, но неверными для ваших. Источник также влияет на конвейер обработки данных. Базу данных со стабильной схемой проще интегрировать, чем веб-сайт, который меняет свой HTML каждый месяц. API с ограничениями скорости запросов ограничивает объем данных, которые вы можете получить. Файл, полученный вручную, подвержен задержкам и ошибкам. Источник — это фундамент. Слабый фундамент подрывает все, что на нем построено.

Общие источники данных

• Базы данных — структурированные записи из приложений.
• API — программный доступ к внешним системам.
• Журналы событий — системные и прикладные события
• Датчики — непрерывные физические измерения
• Опросы — структурированные ответы людей.
• Общедоступные записи — государственные и открытые наборы данных.

Прежде чем доверять данным, разберитесь в их источнике. Ответы зачастую окажутся более информативными, чем сами данные.