Набор данных — это совокупность связанных между собой точек данных, организованных для анализа. Это может быть отдельная таблица, набор файлов или выдержка из базы данных. У набора данных есть своё назначение. Набор данных Iris содержит измерения лепестков и чашелистиков цветов, используемые для обучения классификации. Набор данных MNIST содержит рукописные цифры, используемые для оценки точности распознавания изображений. Набор данных о продажах компании содержит данные о транзакциях, используемые для прогнозирования выручки. Набор данных определяет границы анализа.

Наборы данных сильно различаются по размеру, качеству и структуре. Некоторые достаточно малы, чтобы открыть их в электронной таблице. Другие занимают петабайты и хранятся в распределенных хранилищах. Некоторые тщательно отбираются и имеют документально подтвержденное происхождение. Другие собираются из интернета с неизвестной степенью достоверности. Качество набора данных определяет качество анализа, основанного на нем. Набор данных с пропущенными значениями, предвзятой выборкой или непоследовательной маркировкой дает ненадежные результаты. Перед использованием набора данных изучите его. Каков источник? Как он был собран? Какой временной период? Что отсутствует? Каковы известные ограничения? Эти вопросы не являются необязательными. Они определяют, что могут поддерживать данные. Набор данных, подходящий для одного анализа, может быть непригоден для другого. Данные не знают своих собственных ограничений. Аналитик должен знать.

Характеристики набора данных

• Размер — количество записей и характеристик.
• Структура — табличная, иерархическая или неструктурированная.
• Качество — точность, полнота, согласованность
• Происхождение — откуда оно взялось и как.
• Лицензия — условия использования и распространения

Набор данных — это снимок мира. У этого снимка есть рамка. Понимание рамки — это часть понимания данных.