La ingesta de datos importa datos a un sistema para su procesamiento. Es el primer paso del proceso. Los datos provienen de bases de datos, API, archivos de registro, colas de mensajes y sensores. La capa de ingesta los recopila, los valida y los transfiere al almacenamiento o al procesamiento. Si la ingesta falla, todo el proceso posterior se detiene.

El método depende de la fuente y del requisito de latencia. La ingesta por lotes extrae datos a intervalos programados. Es simple y eficiente para fuentes que se actualizan lentamente. La ingesta en tiempo real procesa los datos a medida que llegan, lo cual es necesario para análisis en tiempo real y sistemas basados ​​en eventos. Las herramientas varían: Kafka para flujos de alto rendimiento, Airflow para orquestación por lotes, servicios nativos de la nube para canalizaciones administradas. Los desafíos son constantes. Las fuentes cambian sus esquemas sin previo aviso. Los datos llegan tarde o fuera de orden. Los volúmenes aumentan impredeciblemente. La capa de ingesta debe manejar todo esto sin perder datos ni corromperlos. Los mecanismos de contrapresión evitan la sobrecarga. Las colas de mensajes no entregados capturan los registros que no se procesan. La monitorización detecta los problemas antes de que se propaguen. La ingesta es como la fontanería, pero una mala fontanería inunda la casa.

Patrones de ingestión

• Lote: extracciones programadas a intervalos
• Transmisión continua: procesamiento continuo a medida que llegan los datos.
• Captura de cambios de datos: captura los cambios de la base de datos en tiempo real.
• Sondeo de API: solicitudes periódicas a servicios externos.
• Webhooks: notificaciones push desde sistemas de origen

La ingesta es la puerta de entrada. Si los datos se pierden o se corrompen en este punto, ninguna solución posterior podrá recuperarlos.