ETL расшифровывается как извлечение, преобразование, загрузка. Этот стандартный подход к перемещению данных в хранилища данных используется уже несколько десятилетий. Извлечение (Extract) — это извлечение данных из исходных систем. Преобразование (Transform) — очистка, проверка и преобразование данных в целевую схему. Загрузка (Load) — запись данных в хранилище. Преобразование происходит перед загрузкой на отдельном сервере обработки. Хранилище данных получает чистые, структурированные данные.

Инструменты ETL эволюционировали. Ранние ETL-процессы писались вручную на SQL и скриптах. Коммерческие инструменты, такие как Informatica и DataStage, добавили графические интерфейсы и возможности планирования. Варианты с открытым исходным кодом, такие как Apache NiFi и Talend, расширили доступ. Схема остается прежней: извлечение, преобразование, загрузка. ETL по-прежнему является правильным выбором, когда целевая система не может справиться с задачами преобразования, когда необходимо уменьшить объем данных перед загрузкой или когда нормативные требования предписывают преобразование конфиденциальных данных перед их выходом из контролируемой среды. Он также распространен в устаревших средах, где хранилище данных представляет собой традиционное устройство с ограниченными вычислительными ресурсами. Появление облачных хранилищ данных и ELT снизило доминирование ETL, но не устранило его полностью. Многие организации используют оба подхода. ETL для устаревших систем и конфиденциальных данных. ELT для облачных конвейеров. Эта схема не устарела. Это лишь один из нескольких вариантов.

Характеристики ETL

• Сначала выполните преобразование — данные очищаются перед загрузкой.
• Раздельная обработка — преобразование на выделенном сервере.
• Сокращенный объем — на склад поступают только необходимые данные.
• Основано на десятилетиях опыта и практик.
• Удобен для традиций — подходит для традиционных складов.

ETL — это классический шаблон. Он по-прежнему работает. Это не всегда лучший выбор, но он редко бывает ошибочным.