Veri dönüşümü, verileri bir biçimden veya yapıdan diğerine dönüştürür. Bir sistemde 03/14/2024 olarak saklanan bir tarih, başka bir sistemde 2024-03-14 olur. İki alana bölünmüş bir müşteri adı tek bir alanda birleştirilir. Para birimi değerleri eurodan dolara dönüştürülür. Veriler aynıdır, gösterim değişir. Dönüşüm olmadan sistemler birbirleriyle iletişim kuramaz.
Dönüştürme, çok çeşitli işlemleri kapsar. Temizleme, hataları düzeltir ve biçimleri standartlaştırır. Zenginleştirme, doğum tarihinden yaş hesaplamak gibi türetilmiş alanlar ekler. Toplama, detay satırlarını toplamlar halinde özetler. Birleştirme, birden fazla kaynaktan gelen verileri bir araya getirir. Kodlama, makine öğrenimi için kategorik değerleri sayılara dönüştürür. Her işlem, verileri tanımlanmış bir şekilde değiştirir. Kurallar belgelenmeli ve sürüm kontrolü altında olmalıdır. Belgelenmemiş bir dönüştürme, kara kutudur. Çıktı yanlış göründüğünde, kimse nedenini bilemez. Dönüştürmelerin de test edilmesi gerekir. Eşleşmeyen satırları sessizce düşüren bir birleştirme, veri kaybına neden olur. Yanlış biçimi varsayan bir tarih ayrıştırıcısı, her kaydı bozar. Küçük dönüştürme hataları milyonlarca satırda birikir. Çıktı mantıklı görünür ancak yanlıştır. Bunlar yakalanması en zor hatalardır.
Ortak dönüşümler
- Temizleme — formatları standartlaştırma ve hataları düzeltme
- Zenginleştirme — türetilmiş veya harici veriler ekleme
- Toplama — ayrıntıları toplamlar halinde özetle
- Birleştirme — birden fazla kaynaktan gelen verileri birleştirme
- Kodlama — kategorileri sayısal değerlere dönüştür
Verinin kullanışlı hale geldiği yer dönüşümdür. Aynı zamanda sessiz hataların da ortaya çıktığı yerdir. Kuralları test edin ve belgeleyin.
Comments
No comments yet. Be the first to share a thought.
Leave a comment