Veri platformunun her katmanı,tek bir çalışma alanında.
DataFloem, Apache Spark ve Kubernetes üzerine kurulu bir veri platformudur. Kaynaklarınızı bağlar, veriyi görsel işlerle ya da kodla şekillendirir, bunları kendi kümelerinizde çalıştırır, sonuçları yönetilen kataloglarda tutar ve kimin ne yaptığını kaydeder. Her katmanın ne yaptığı aşağıda.
- Bağlantılar
- İşler
- Veri önizleme
- Şema kayması
- Kod Akışları
- SQL editörü
- Kataloglar
- İşlem kaynakları
- Erişim
- Denetim
Enterprise işaretli özellikler Enterprise Edition lisansıyla gelir. Sürümleri karşılaştırın
Zaten çalıştırdığınız sistemlere bağlanın.
Dağınık sistemleri tek bir yerde toplayın: eski veri tabanlarından nesne depolamaya, lakehouse kataloglarına ve NoSQL'e kadar. Her bağlantı bir kez eklenir, test edilir ve yalnızca ihtiyaç duyan projelerle paylaşılır.
İlişkisel veri tabanları
PostgreSQL, Oracle, SQL Server, MySQL, Teradata, Vertica, ClickHouse, Trino, Azure SQL ve Azure Synapse.
Bulut veri tabanları
Google Cloud hizmet hesabıyla bağlanan BigQuery.
Nesne depolama
Amazon S3 ve MinIO, Ceph gibi S3 uyumlu depolar; path-style erişim ve seçtiğiniz bir kök dizinle.
Bulut depolama
Microsoft Entra ID üzerinden Azure Blob Storage ve Data Lake Storage Gen2, hizmet hesabı üzerinden Google Cloud Storage.
NoSQL
MongoDB ve Elasticsearch; sunucu istediğinde SSL/TLS ile.
Kataloglar
Iceberg REST, JDBC ve dosya katalogları; böylece tablolarınız her motorun okuyabildiği açık formatlarda kalır.
- FormatlarSnappy veya Gzip ile CSV, Parquet, ORC ve JSON
- Gizli bilgilerParolalar ve gizli olarak işaretlenen her sürücü seçeneği maskeli kalır
- TestBağlantıyı Test Et, bir bağlantıyı kaydetmeden önce dener
- ErişimProjeler yalnızca kendilerine atanan bağlantıları görür
Entegrasyonları görsel olarak kurun. Her düğüm kendi metaverisini bilir.
Bir iş, tuval üzerinde Apache Spark ile çalışan bir akıştır: kaynaklar, dönüşümler ve hedefler. Ekipler yeni entegrasyonları sıfırdan yazmadan kurar; her düğüm tiplendirilmiş bir form açar, böylece hatalar iş çalışırken değil, siz kurarken ortaya çıkar.
Okunabilen birleştirmeler.
Bir tablo ekleyin, birleştirme tipini seçin ve koşulu kurallar ile gruplardan oluşturun. Her kolon adının yanında tipini gösterir; böylece bir anahtar uyumsuzluğu motora ulaşmadan görünür.

Versiyonlar
Her iş versiyonlar tutar; her biri tuvalinin tam bir kopyasıdır. Varsayılan versiyon çalışmaya devam ederken akışı güvenle değiştirin; her versiyonu kimin oluşturduğunu ve hangi versiyondan türediğini görün.
Parametreler
Herhangi bir alanda $$name olarak kullanılan sabit ya da ifade değerleri. İfadeler iş çalıştığında hesaplanır.
SQL ve Python adımları
Bir adımı çizmek yerine yazmak daha kolaysa, onu bir sorgu ya da Python betiği olarak yazın ve çıktısını tanımlayın.
Çalıştırma günlükleri
Her çalıştırma, her adımın durumunu, mesajını, deneme sayısını ve süresini, başarısız olduğunda da hata yığınını raporlar. Bir adıma tıklayın, düğümünü bulun.
Kilitleme
Bir işi ilk düzenleyen kişi onu kilitler; böylece ekip arkadaşları birbirlerinin çalışmasının üzerine asla yazmaz. Kilidi yalnızca sahibi ya da bir yönetici kaldırabilir.
Kopyalama ve dışa aktarma
Yeni bir işe başlamak için bir işi kopyalayın ya da bir işi veya tek bir versiyonunu dosyaya aktarıp başka bir ortama içe aktarın.
Dokümanlardaİşler Versiyonlar Parametreler Çalıştırma günlükleri Kilitli işler
Her düğümde satırları kontrol edin.
İşi üzerinde çalıştığınız düğüme kadar çalıştırın ve satırlarını yerinde açın. Tuvalden ayrılmadan sonucu filtreleyin, sıralayın ve sayfalar arasında gezinin.
- Kısmi çalıştırma. İlgilendiğiniz düğümleri seçin ve yalnızca onları çalıştırın.
- Öncesini ve sonrasını karşılaştırın. Her hata ayıklama çalıştırması kendi önizlemesini tutar; böylece değişikliğinizin etkisini görebilirsiniz.
- Durum düğümün üzerinde. Çalışıyor, tamamlandı ve başarısız durumları tuvalde görünür. Son çalıştırmadan bu yana ayarları, bağlantıları veya öncülleri değişen düğüm güncel değil olarak işaretlenir.

Kaynakta bir kolon değişir. Yalnızca etkilenen düğümler inceleme ister.
Onlarca kaynak kendi takvimine göre değişirken şema değişiklikleri günlük bir gerçektir. Her düğüm kaydedildiği andaki kolonları hatırlar; bir kaynağa kolon eklendiğinde, kaynaktan kolon çıkarıldığında ya da kolonun tipi değiştiğinde DataFloem yalnızca değişikliğin ulaştığı düğümleri işaretler.
Kaynak değişikliği
Bir kolonun yalnızca yeri değiştiyse DataFloem referansı sizin için düzeltir. Çıktısı değişebilecek düğümler, kolonları tam adıyla belirten bir işaret alır.
Tuval onu takip eder.
Yalnızca yeri değişen kolon kimlikleri sizin için onarılır. Anlamı değişebilecek düğümler, ipucunda tam kolon adlarıyla birlikte bir işaret alır.
Bir kişi onaylar.
Düğümü açın ve seçin: yeni kolonları çıktıya ekleyin ya da dışarıda bırakın. İncelemeler açıkken tam çalıştırma sizi uyarır.

Bazı işler koda aittir. Onları işlerin yanında tutun.
Makine öğrenmesi için öznitelik hazırlığı, özel entegrasyonlar ya da tuvalin kapsamadığı her şey için Jupyter Lab'de Python yazın, bunu bir imaj olarak paketleyin ve işlerinizle aynı bağlantılar ve erişim kurallarıyla kendi Kubernetes kümenizde çalıştırın.



Dosyalar
Python betiklerini ve ihtiyaç duydukları dosyaları Stüdyo oturumundan doğrudan Kod Akışına kaydedin.
Stüdyo oturumları
Bir kümede Jupyter Lab başlatın ve Kod Akışının yanında açın; böylece veri bilimciler bildikleri araçlarla çalışır.
Yapılandırma Tarifleri Enterprise
Kodunuzu sıralı adımlarla bir konteyner imajı olarak paketleyin; imajı kendi sunucunuzdaki bir ajan derler, böylece kodunuz ortamınızdan asla çıkmaz.
Çalıştırma Tarifleri Enterprise
Derlenmiş bir imajı; projenin kaynak ve hedefleri, ortam değişkenleri, CPU ve bellek istek ve limitleriyle bir kümede çalıştırın.
Günlükler
Ajan derlemeleri, Stüdyo oturumları ve çalıştırmalar, durumları ve süreleriyle birer günlük tutar.
Kilitleme
Bir Kod Akışı da bir iş gibi ilk düzenlemede kilitlenir; kilidi sahibi ya da bir yönetici kaldırana kadar öyle kalır.
DokümanlardaKod Akışı dosyaları Stüdyo oturumları Yapılandırma Tarifleri Çalıştırma Tarifleri Kod Akışı günlükleri
İşlerinizin doldurduğu katalogları sorgulayın.
Analistler ve mühendisler aynı yönetilen tabloları aynı çalışma alanından sorgular. Katalogları bir ağaçta gezin, bir tabloyu yeni sekmede açın ve sorguyu seçtiğiniz kümede çalıştırın.
- Sekmeler ve kayıtlı sorgular. Aynı anda birden fazla sekmede çalışın, tekrar kullandığınız sorguları kaydedin, önceki çalıştırmaları Son Sorgular altında bulun.
- Kataloglarınızın ağacı. Katalogları, şemaları ve tabloları gezin; bir tabloyu editörde hazır bir sorgu olarak açın.
- Sizin kümeniz. Sorgunun hangi kümede çalışacağını seçin ve istediğiniz an durdurun.
- Yardımcı bir editör. Söz dizimi vurgulama ve otomatik tamamlama, tam nitelikli tablo adlarıyla.
- Kullanabileceğiniz sonuçlar. Sonuç tablosunu filtreleyin ve dışa aktarın.

DokümanlardaSQL sorguları
Lakehouse'unuz için yönetilen tek bir katalog.
Tablolarınız Iceberg gibi açık formatlarda tutulur; işlerin yazdığı, analistlerin sorguladığı ve yapay zekâ projelerinin beslendiği kataloglarda düzenlenir. Erişim kuralları her kataloğu, alan adını ve tabloyu kimin görebileceğine karar verir.
Iceberg REST
Her kataloğu Iceberg REST üzerinden sunun; böylece diğer motorlar da aynı tabloları okuyabilir. Sıkıştırma ve snapshot temizliği tabloları hızlı tutar; her katalog için varsayılan bir warehouse belirlenir.
Alan adları
Her biri kendi özellikleriyle bir bağlantı üzerinde çalışan dosya veya JDBC alan adları.
Tablolar
Formatı, konumu ve sizin kurduğunuz şemasıyla dosya tabloları; bir kaynaktan seçilen, birden fazlası bir kerede eklenebilen JDBC tabloları.
Politikalar
Bir katalogda, alan adında ya da tabloda işlemlere izin verin veya reddedin; joker karakterler ve çakışmaları çözen bir öncelikle.
Roller
Politikaları, ekiplerinizin çalışma biçimine uyan rollerde toplayın.
İzinler
Bir rolü bir kullanıcıya ya da bir gruba verin.
DokümanlardaKataloglar Katalog alan adları Katalog tabloları Politikalar Roller İzinler
Bulutta ya da kurum içinde, her Kubernetes üzerinde çalışır.
DataFloem cloud-native'dir ve kendi altyapınızda barındırılır. Onu Kubernetes'in çalıştığı her yere kurun: genel bulut, özel bulut ya da kendi veri merkeziniz. İşler kümeleriniz genelinde Apache Spark üzerinde çalışır, iş yüküyle birlikte ölçeklenir; verileriniz ve kimlik bilgileriniz ortamınızdan asla çıkmaz.
Kümeler
İş yüküyle birlikte ölçeklenen ve boşta kalınca duran dinamik kümeler; böylece yalnızca çalışan kaynak için ödersiniz. Sabit yükler için statik kümeler. Her pod'un imajını, CPU ve belleğini belirleyin.
Küme yapılandırmaları
Bir üst profilden miras alan ve yalnızca farklı olanı değiştiren, ortak değişken ve gizli bilgi profilleri.
Stüdyolar
Kendi CPU ve belleğiyle, NGINX veya Traefik ingress arkasında çalışan Jupyter Lab veya VS Code çalışma alanları.
İmajlar
Kümelerinizin ve Çalıştırma Tariflerinizin kullandığı imajlar; özel, herkese açık ya da bulut kayıt defterlerinden.
Derleme ajanları Enterprise
Kendi sunucularınızdaki ajanlar Kod Akışı imajlarını derler ve günlüğü çalışırken canlı olarak geri gönderir.
Projelere atanır
Kümeler ve Stüdyolar onları kullanan projelere atanır ya da bir görev olarak talep edilip onaylanır.
DokümanlardaKümeler Küme yapılandırmaları Stüdyolar İmajlar Ajanlar
Kurumunuzun yapısını izleyen erişim.
Alanlar klasörleri, klasörler projeleri, projeler de işi ve işin kullanabileceği kaynakları barındırır. Her modülün kullanıcılar ve gruplar için kendi yetkileri vardır.
Alanlar
Ortamları, ekipleri ya da müşterileri birbirinden ayırın. Yeni kullanıcılar ve ilk kez giriş yapan LDAP veya SSO kullanıcıları varsayılan alanda başlar.
Projeler
Bir proje; işlerini, Kod Akışlarını ve SQL sorgularını, kendisine atanan kaynak, hedef, katalog, küme ve Stüdyolarla bir araya getirir.
Yetkiler
Her modül için kullanıcılara ve gruplara görüntüleme, oluşturma, değiştirme, silme ve erişim yönetme hakkı verin. Bir kullanıcının hakları, gruplarının haklarının toplamıdır.
LDAP Enterprise
LDAPS veya StartTLS üzerinden kendi dizin servisinizle oturum açın; grup eşleme ve izinli gruplar listesiyle. Parolalar asla saklanmaz.
Tek oturum açma Enterprise
OpenID Connect üzerinden Google, Okta, Microsoft Entra ID veya Keycloak. Kullanıcılar ilk girişlerinde oluşturulur.
Görevler ve erişim talepleri
Bir erişim talebi, onu onaylayan grup için bir görev olur ve Tamamlandı ya da Reddedildi olana kadar Yapılacak olarak kalır.
DokümanlardaAlanlar Projeler Kullanıcılar Gruplar LDAP ayarları SSO sağlayıcıları Görevler
Kimin ne yaptığının kaydı, ihtiyacınız olduğu kadar.
DataFloem'e yapılan her istek ve verisindeki her değişiklik kayda geçer; uyumluluk denetimlerine hazırdır. Neyin ne kadar süre izleneceğine siz karar verirsiniz.
Denetim günlükleri Enterprise
Her API isteği; kullanıcı, uç nokta, durum kodu ve zamanıyla.
Değişiklik günlükleri Enterprise
DataFloem'in kendi verisindeki her ekleme, güncelleme ve silme, koleksiyon koleksiyon.
Günlük ayarları Enterprise
Günlükleri 0 ile 730 gün arasında saklayın ve her modül için günlük tutmayı açıp kapatın.
Kilitler
Kilitli işler ve Kod Akışları tek bir yerde listelenir; bir yönetici unutulmuş bir kilidi oradan kaldırabilir.
DokümanlardaDenetim günlükleri Değişiklik günlükleri Günlük ayarları Kilitli işler
Çalışırken görün.
Bir demo talep edin; tuvaldeki işlerden Kod Akışlarına kadar sizin için önemli olan kısımları ekibinizle birlikte inceleyelim.