Veri ekipleriningerçekte yaptığı iş için.
Bankacılık, perakende, otomotiv ve sanayideki veri ekipleri akışlarını DataFloem ile, kendi sunucularında kurar ve çalıştırır. DataFloem'in yapıldığı durumlar aşağıda.
Kimsenin okuyamadığı ETL betiklerini geride bırakın.
Akışlar yalnızca yazarlarının anladığı betiklerde ve zamanlayıcı görevlerinde yaşar. Her değişiklik, neye dokunduğunu anlamak için kod okumakla başlar.
DataFloem bunu nasıl çözer
- Görebildiğiniz bir iş. Kaynaklar, dönüşümler ve hedefler tek bir tuvalde; her düğüm tiplendirilmiş kolonlarıyla.
- Her adımda satırlar. İşin tamamı çalışmadan önce herhangi bir düğüme kadar çalıştırın ve satırlarını kontrol edin.
- Versiyonlar ve günlükler. Her versiyon işin tam bir kopyasıdır; her çalıştırma her adımı kayda geçirir.
- Uyduğu yerde kod. Daha kolaysa bir adımı aynı işin içinde SQL veya Python olarak yazın.
Kaynaktaki değişiklikleri bir raporu bozmadan yakalayın.
Bir kaynak ekibi bir kolon ekler, çıkarır ya da tipini değiştirir. Hemen hiçbir şey bozulmaz; birkaç gün sonra aşağı akıştaki bir tablo yanlış çıkar ve birinin geriye doğru iz sürmesi gerekir.
DataFloem bunu nasıl çözer
- Düğümler kolonlarını hatırlar. Her düğüm kaydedildiği andaki kolonları tutar ve onları gelen veriyle karşılaştırır.
- Yalnızca etkilenen düğümler işaretlenir. Değişikliğin ulaştığı düğümlerde bir inceleme işareti, değişen kolonları adıyla belirtir.
- Bir kişi karar verir. Yeni kolonları ekleyin ya da dışarıda bırakın. İncelemeler açıkken tam çalıştırma sizi uyarır.
Notebook çalışmasını yeniden yazmadan canlıya taşıyın.
Betikler ve modeller notebook'larda yazılır, sonra paketlenip kümede çalıştırılması için başka bir ekibe devredilir. Yolda hep bir şeyler kaybolur.
DataFloem bunu nasıl çözer
- Stüdyoda yazın. Jupyter Lab veya VS Code oturumları projeye atanmış bir kümede çalışır. Dosyaları oradan Kod Akışına kaydedin.
- Kendi sunucularınızda paketleyin. Bir Yapılandırma Tarifi derleme adımlarını sıralar; imajı kendi sunucunuzdaki bir ajan derler.
- Projenin verisiyle çalıştırın. Bir Çalıştırma Tarifi imajı, projenin kaynak ve hedefleri ile kaynak limitleriyle kümenizde çalıştırır.
Analistlerin sorgulayabildiği, veri ofisinin yönetebildiği bir lakehouse kurun.
Analistlerin bulup sorgulayabilecekleri tablolara ihtiyacı var. Veri ofisinin ise hangi tabloyu kimin okuyabildiğini bilmesi ve bunu gösterebilmesi gerekiyor.
DataFloem bunu nasıl çözer
- İşler katalogları doldurur. Iceberg REST, JDBC veya dosya kataloglarına yazın; tabloları sıkıştırma ve snapshot temizliğiyle düzenli tutun.
- İşlerin yanında SQL. Analistler katalog ağacını gezer ve tabloları seçtikleri kümede sorgular.
- Tablo düzeyinde erişim. Politikalar, roller ve izinler her kataloğu, alan adını ve tabloyu kimin görebileceğine karar verir.
Veri çalışmasını düzenlenmiş bir ağın içinde tutun.
Müşteri verisi ağın dışına çıkamaz ve her erişimin denetçilere açıklanabilmesi gerekir. Yalnızca bulutta çalışan araçlar daha değerlendirme başlamadan elenir.
DataFloem bunu nasıl çözer
- Kurum içinde. DataFloem'i kendi veri merkezinize ya da kendi bulut hesabınıza kurun. İşler sistemlerinizden doğrudan okur ve onlara doğrudan yazar.
- Sizin dizin servisiniz, sizin kimlik sağlayıcınız. LDAP veya tek oturum açma ile giriş yapın; yetkiler gruplarınızı izlesin.
- Her istek kayıt altında. Modül modül, 0 ile 730 gün arasında saklanan denetim ve değişiklik günlükleri.
Pek çok ekip için tek bir veri platformu işletin.
Her ekip kendi araçlarını ve kümelerini çalıştırır. Kimse diğerlerinin ne kurduğunu göremez; erişim talepleri e-postayla dolaşır.
DataFloem bunu nasıl çözer
- Her ekibe bir alan. Alanlar ekipleri, ortamları ya da müşterileri birbirinden ayırır; klasörler ve projeler içerideki işi düzenler.
- Ortak altyapı, atanmış olarak. Bağlantılar, kümeler, Stüdyolar ve kataloglar onları kullanan projelere atanır.
- Görev olarak talepler. Bir kaynak istemek, onu onaylayan grup için bir görev açar.
- Üzerine yazılan çalışma yok. İlk düzenleme bir işi ya da Kod Akışını, sahibi işini bitirene kadar kilitler.
Çalışmayı geliştirmeden canlıya, yeniden kurmadan taşıyın.
İşler her ortamda elle yeniden kurulur ve test için girilmiş bir değer canlıya karışır.
DataFloem bunu nasıl çözer
- Dışa ve içe aktarma. Bir klasörü, projeyi, işi ya da tek bir versiyonu paket olarak dışa aktarın ve sonraki ortama içe aktarın.
- Farklı olan için parametreler. Ortamdan ortama değişen değerleri işin içinde değil, parametrelerde tutun.
- Varsayılan bir versiyon. Bir sonrakinin üzerinde çalışırken varsayılan bir versiyonu koruyun.
Bankacılık, perakende, otomotiv ve sanayideki veri ekipleri tarafından tercih ediliyor.
Durumunuz bu sayfada yok mu?
Bize ekibinizden ve verinizden bahsedin; DataFloem'in nasıl uyduğunu gösterelim.