Data Lakehouse Eğitimi, modern veri platformlarında büyük hacimli verilerin ekonomik, güvenilir ve ölçeklenebilir biçimde saklanması, işlenmesi ve analiz edilmesine yönelik mimari yaklaşımları ele alır.

Data Lakehouse mimarisi, geleneksel Data Warehouse sistemlerinin analitik yeteneklerini Data Lake yapılarının esnekliğiyle birleştirir. Böylece farklı veri kaynaklarından gelen bilgilerin merkezi bir yapıda yönetilmesi, farklı sorgu motorlarıyla analiz edilmesi ve veri işleme süreçlerinin daha etkin yürütülmesi mümkün hale gelir.

Eğitim kapsamında S3 uyumlu Object Storage, Apache Iceberg, Medallion Architecture, Apache Spark, Trino, Dremio, Kafka, CDC, OpenMetadata, Apache Ranger, dbt ve Apache Airflow teknolojileri incelenir.

Yaklaşık %60 uygulama ağırlıklı olarak tasarlanan programda katılımcılar; veri yükleme ve dönüştürme süreçleri geliştirme, batch ve streaming pipeline'ları oluşturma, sorgu performansını iyileştirme, metadata ve erişim politikalarını yönetme ve CI/CD destekli Lakehouse veri akışları tasarlama konularında deneyim kazanır.

Data Lakehouse Mimarisi Eğitimi programına Online Instructor-Led (canlı sanal sınıf) veya Classroom Based (sınıf eğitimi) formatlarında doğrudan katılım sağlayabilirsiniz. Ayrıca bu eğitimi kurumunuza özel olarak Online Instructor-Led, Classroom Based veya Onsite (yerinde eğitim) formatlarında, tercih ettiğiniz tarih ve lokasyonda organize edebiliriz. Detaylı bilgi ve kurumunuza özel planlama için bizimle iletişime geçebilirsiniz.

Kurumsal gruplar için bu eğitimi, kurumunuza özel Onsite (yerinde eğitim) formatında organize edebiliriz.

Önkoşullar

Katılımcıların temel SQL ve Python bilgisine sahip olmaları, ayrıca Docker ve Kubernetes teknolojilerine aşina olmaları önerilir.

Kimler Katılmalı

Modern veri platformları geliştirmek isteyen profesyoneller
Platform ekipleri
Veri analistleri
DevOps mühendisleri
Kıdemli veri mühendisleri
Veri altyapısı yöneticileri

Neler Öğreneceksiniz

Eğitim sonunda:

Data Warehouse, Data Lake ve Lakehouse mimarilerini karşılaştırabileceksiniz.
S3 uyumlu Object Storage sistemleri üzerinde veri depolama yapıları tasarlayabileceksiniz.
Apache Iceberg ile ACID, schema evolution ve time travel özelliklerini kullanabileceksiniz.
Bronze, Silver ve Gold katmanlarından oluşan Medallion Architecture tasarlayabileceksiniz.
Trino ve Dremio ile analitik ve federated SQL sorguları çalıştırabileceksiniz.
PySpark kullanarak veri pipeline'ları geliştirebilecek ve performans sorunlarını inceleyebileceksiniz.
Kafka ve Spark Structured Streaming ile gerçek zamanlı veri akışları oluşturabileceksiniz.
CDC ve MERGE işlemleriyle değişen verileri Lakehouse tablolarına aktarabileceksiniz.
OpenMetadata ve Apache Ranger ile veri yönetişimi, erişim ve denetim süreçlerini yönetebileceksiniz.
dbt ile test edilebilir veri dönüşümleri ve Fact, Dimension, Star Schema, SCD yapılarına uygun veri modelleri geliştirebileceksiniz.
CI/CD destekli, üretim ortamına uygun Lakehouse pipeline'ları tasarlayabileceksiniz.

Eğitim İçeriği

1. Lakehouse Mimarisi ve SQL Engine

Data Lakehouse Mimarisi

Lakehouse kavramı ve mimarinin gelişimi
Data Warehouse → Data Lake → Lakehouse dönüşümünün nedenleri
Düşük maliyetli Object Storage üzerinde ACID özellikleriyle güvenilir analitik işlemler gerçekleştirme
Compute ve storage ayrımı
Aynı verilerin Spark, Trino ve Dremio gibi farklı motorlar tarafından kullanılabilmesi

S3 Object Storage Yapıları

MinIO, AWS S3 ve Ceph gibi S3 uyumlu depolama çözümleri
On-premises veri depolama senaryoları
Parquet, ORC ve Avro dosya formatları
Kolonsal veri depolamanın avantajları
Small file problem ve partitioning stratejileri

Açık Tablo Formatları (Open Table Formats)

Parquet kullanımının tek başına yeterli olmadığı durumlar
Schema evolution, ACID ve time travel gereksinimleri
Apache Iceberg, Delta Lake ve Apache Hudi karşılaştırması
Apache Iceberg mimarisinde snapshot, manifest ve metadata yapıları
Hidden partitioning ve partition evolution

Medallion Architecture

Bronze: Kaynak sistemlerden alınan ham verilerin saklanması
Silver: Temizlenmiş, doğrulanmış ve tekrarlardan arındırılmış verilerin hazırlanması
Gold: Raporlama ve iş analitiğine uygun veri katmanlarının oluşturulması
Katmanlar arasındaki görevlerin ayrılması ve veri kalitesi kontrolleri

Apache Spark'a Genel Bakış

Spark teknolojisinin Lakehouse mimarisindeki rolü
Veri yükleme (ingestion) ve dönüştürme işlemleri
Spark'ın diğer Lakehouse bileşenleriyle ilişkisi

Uygulama 1: Mini Lakehouse Kurulumu

MinIO, Apache Iceberg ve Spark ile temel Lakehouse ortamının hazırlanması
Bronze katmanına ilk verilerin yüklenmesi
Time travel özelliğinin denenmesi

2. SQL Engine ve Analitik Sorgulama

SQL Engine Kavramı

Bağımsız sorgu motorlarının çalışma prensipleri
Veriyi taşımadan bulunduğu ortamda sorgulama
MPP (Massively Parallel Processing) mimarisi
Coordinator ve worker yapıları
Federated query ile farklı veri kaynaklarının tek SQL sorgusunda birleştirilmesi

Trino

Coordinator, worker ve connector mimarisi
Iceberg, Hive, PostgreSQL ve Kafka bağlantılarının yapılandırılması
Bellek yönetimi
Fault-tolerant execution yaklaşımı
Ad-hoc analitik, iş zekası ve federated sorgulama senaryoları

Dremio

Apache Arrow tabanlı sorgu yürütme mimarisi
Columnar Cloud Cache (C3)
Reflection ile sorgu performansının artırılması
Virtual dataset ve self-service analitik yaklaşımı
Apache Polaris tabanlı entegre katalog ve Iceberg üzerinde yazma desteği

Trino ve Dremio Karşılaştırması

Trino'nun sorgu motoru ve Dremio'nun entegre platform yaklaşımı
Manuel optimizasyon ile Reflection tabanlı hızlandırma yöntemleri
Veri yönetişimi ve semantik katman farklılıkları
Lisanslama, operasyonel gereksinimler ve ekip yetkinliğine göre platform seçimi

Uygulama 2: Iceberg Tablolarında Sorgu Performansı

Aynı Apache Iceberg tablosunun Trino ve Dremio üzerinden sorgulanması
EXPLAIN ile sorgu planlarının karşılaştırılması
Dremio üzerinde Reflection oluşturulması
Sorgu performansındaki değişimin gözlemlenmesi

3. Spark ile Yazılım Geliştirme, Metadata ve Governance

Bu bölümde Spark tabanlı veri işleme, metadata yönetimi ve veri yönetişimi konuları ele alınır.

Eğitim kazanımları kapsamında aşağıdaki çalışmalar öne çıkar:

PySpark ile veri işleme pipeline'larının geliştirilmesi
Veri işleme performansının analiz edilmesi
Kafka, Spark Structured Streaming ve Iceberg ile gerçek zamanlı veri akışları
CDC (Change Data Capture) verilerinin MERGE işlemleriyle Lakehouse tablolarına aktarılması
OpenMetadata ile veri keşfi, lineage, profiling ve veri kalitesi yönetimi
Apache Ranger ile erişim kontrolü, kolon maskeleme ve audit politikaları

4. dbt, CI/CD, Airflow ve Veri Modelleme

Bu bölüm, Lakehouse ortamında veri dönüşümlerinin, veri modellerinin ve otomasyon süreçlerinin yönetimine odaklanır.

Eğitim kazanımlarına göre ele alınan temel konular:

dbt ile test edilebilir Silver–Gold veri dönüşümleri
Fact ve Dimension tabloları
Star Schema ve Slowly Changing Dimensions (SCD) yapıları
Apache Airflow ve CI/CD kapsamında veri pipeline'larının yönetimi
Üretim ortamına uygun uçtan uca Lakehouse pipeline tasarımı

Neden Bizi Seçmelisiniz

1995’ten beri Birleşik Krallık merkezli lider bir global eğitim sağlayıcısıyız.

Data Lakehouse Mimarisi eğitimine Bilginç IT Academy'nin canlı ve etkileşimli sanal sınıf ortamında katılabilirsiniz. Online Instructor-Led eğitimlerimize bireysel olarak genel katılıma açık (Public) sınıflardan katılabileceğiniz gibi, kurumunuza özel (Private / In-house) bir sınıf da planlayabilirsiniz.

Eğitim Formatı (Delivery Method): Online Instructor-Led
Katılım Modeli (Participation Model): Genel Katılıma Açık (Public) / Kuruma Özel (Private / In-house)
Canlı ve Etkileşimli Eğitim: Eğitmeninizle gerçek zamanlı iletişim kurun; soru-cevap, uygulama ve grup çalışmalarıyla öğrenme sürecine aktif olarak katılın.
Esnek Katılım: Evinizden, ofisinizden veya internet erişiminizin bulunduğu herhangi bir lokasyondan eğitime katılın.
Uzman Eğitmen Kadrosu: Sektör deneyimine sahip, alanında yetkin eğitmenlerden güncel ve uygulanabilir bilgiler edinin.
30 Yılı Aşkın Deneyim: Bilginç IT Academy'nin 1995 yılından bu yana süregelen eğitim uzmanlığından yararlanın.
Dünya Genelinde Erişim: Canlı sanal sınıflarımıza dünyanın farklı lokasyonlarından katılabilir veya kurumunuza özel online eğitim planlayabilirsiniz.

Data Lakehouse eğitimine yüz yüze sınıf ortamında katılabilirsiniz. Classroom Based eğitimlerimiz genel katılıma açık (Public)sınıflar veya kurumunuza özel (Private / In-house)sınıflar şeklinde planlanabilir.

Eğitim Formatı (Delivery Method): Classroom Based
Katılım Modeli (Participation Model): Genel Katılıma Açık (Public) / Kuruma Özel (Private / In-house)
Yüz Yüze Öğrenme: Eğitmeniniz ve diğer katılımcılarla doğrudan iletişim kurarak etkileşimli bir sınıf deneyimi yaşayın.
Deneyimli Eğitmenler: Sektörde uzun yıllara dayanan deneyime sahip uzmanlardan gerçek dünya örnekleriyle öğrenin.
Profesyonel Eğitim Ortamı: Teknolojik altyapısı güçlü, konforlu ve öğrenmeye uygun sınıflarda eğitim alın.
Uygulamalı Öğrenme: Eğitim içeriğine bağlı olarak uygulamalar, senaryolar, vaka çalışmaları ve eğitmen yönlendirmeli çalışmalarla teorik bilgilerinizi pratiğe dönüştürün.

Data Lakehouse eğitimini kurumunuza özel olarak kendi ofisinizde veya tercih ettiğiniz lokasyonda gerçekleştirebilirsiniz. Bilginç IT Academy eğitmenleri, kurumunuzun ihtiyaçlarına göre planlanan eğitim için belirlediğiniz lokasyona gelebilir.

Eğitim Formatı (Delivery Method): Onsite
Katılım Modeli (Participation Model): Kuruma Özel (Private / In-house)
Tercih Ettiğiniz Lokasyonda Eğitim: Eğitimi şirketinizin ofisinde veya belirlediğiniz farklı bir lokasyonda organize edin.
Kuruma Özel İçerik: Eğitim programını şirketinizin projelerine, ekip yapısına, mevcut yetkinlik seviyesine ve iş ihtiyaçlarına göre uyarlayın.
Ekip Odaklı Öğrenme: Ekibinizin aynı içerik ve yaklaşım etrafında gelişmesini sağlayarak kurum içi bilgi paylaşımını ve iş birliğini güçlendirin.
Esnek Planlama: Eğitim tarihini, lokasyonunu ve programını kurumunuzun operasyonel ihtiyaçlarına göre planlayın.
Global Eğitim Organizasyonu: Bilginç IT Academy eğitmenleri, kurumunuza özel eğitimler için dünyanın farklı ülkelerine ve lokasyonlarına yönlendirilebilir.

Data Lakehouse Eğitimi