Un flujo de datos transporta la información desde el origen hasta el destino mediante una serie de pasos: extracción del origen, transformación para adaptarla al destino, almacenamiento y, finalmente, su disponibilidad para el análisis. El flujo se ejecuta automáticamente, según un cronograma o en respuesta a eventos. Se encarga de la infraestructura para que los analistas y científicos de datos puedan centrarse en el uso de los datos en lugar de en su transporte.

Las canalizaciones varían desde simples hasta complejas. Un trabajo nocturno que copia un archivo CSV es una canalización. Un sistema de transmisión que procesa millones de eventos por segundo también lo es. Las herramientas varían: Airflow, Dagster, Prefect para la orquestación; Kafka, Kinesis y Pub/Sub para la transmisión; dbt para la transformación. Los desafíos son constantes. Las fuentes cambian sin previo aviso. Los datos llegan tarde o con formato incorrecto. Los trabajos fallan a las 2 de la madrugada y nadie se da cuenta hasta que el informe matutino está vacío. Las buenas canalizaciones cuentan con monitorización, alertas, lógica de reintento y pasos idempotentes que pueden ejecutarse dos veces sin duplicar datos. Están documentadas para que cualquiera pueda entender su funcionamiento. Se prueban para que los cambios no afecten a los sistemas posteriores. Una canalización es infraestructura. Como cualquier infraestructura, funciona mejor cuando nadie tiene que pensar en ella.

Etapas del proceso

• Extraer: obtener datos de las fuentes
• Transformar: limpiar, enriquecer y remodelar.
• Cargar: escribir en el sistema de destino.
• Orquestar: programar y coordinar los pasos.
• Monitorización: detecta y alerta ante fallos.

Una canalización de datos es una cadena de suministro de datos. Si se interrumpe, todo lo que sigue en la cadena se detiene.