Databricks üzerinde Apache Spark programlamayı öğrenmek ve büyük ölçekli veri işleme süreçlerine giriş yapmak isteyenler için tasarlanmış uygulamalı bir eğitim programıdır.

Eğitim, her biri yaklaşık 4 saat süren dört ana modülden oluşur. Katılımcılar Apache Spark'ın dağıtık mimarisinden başlayarak DataFrame API ile veri işleme, ETL geliştirme, gerçek zamanlı veri akışlarını Structured Streaming ile analiz etme ve Databricks üzerindeki Spark iş yüklerini optimize etme konularına ilerler.

Program boyunca Apache Spark, Python, Spark DataFrame API, Structured Streaming, Delta Lake ve Databricks birlikte ele alınır. Teorik konular demo ve laboratuvar çalışmalarıyla desteklenerek katılımcıların öğrendiklerini gerçek veri işleme senaryolarına uygulamaları sağlanır.

Eğitimin son bölümünde Lakehouse yaklaşımı, Delta Lake, performans optimizasyonu ve Databricks üzerindeki Spark iş yüklerinin izlenmesi gibi üretim ortamları açısından önemli konular üzerinde durulur.

Bu eğitimi dilediğiniz tarih ve lokasyonda organize edebiliriz. Bize Ulaşın!

Önkoşullar

Katılımcıların aşağıdaki konularda temel bilgi sahibi olması beklenir:

Python programlama diline aşinalık
Veri tipleri, listeler, dictionary yapıları ve değişkenler
Fonksiyonlar, döngüler ve koşullu ifadeler
Exception handling
Class'lara erişim ve üçüncü taraf Python kütüphanelerinin kullanımı
Temel SQL bilgisi
SELECT, WHERE, GROUP BY, ORDER BY, LIMIT ve JOIN kullanarak sorgu yazabilme

Kimler Katılmalı

Bu eğitim özellikle:

Apache Spark programlama becerilerini geliştirmek isteyen Data Engineer ve Data Scientist'ler
Databricks üzerinde Apache Spark ve Delta Lake kullanmak isteyen geliştiriciler
Büyük ölçekli veri işleme ve gerçek zamanlı analitik projelerinde çalışan profesyoneller

için uygundur.

Neler Öğreneceksiniz

Apache Spark'a Giriş

Katılımcılar Apache Spark'ın temel çalışma prensiplerini ve dağıtık mimarisini öğrenir. Büyük ölçekli veri işleme açısından Spark'ın nasıl kullanıldığı incelenirken farklı programlama yapıları ve Spark DataFrame API ele alınır.

Python tabanlı Spark iş akışları kullanılarak verilerin okunması, yazılması ve dönüştürülmesine yönelik temel beceriler geliştirilir.

Apache Spark ile Uygulama Geliştirme

Katılımcılar ölçeklenebilir veri işleme uygulamalarının nasıl geliştirileceğini öğrenir. Spark DataFrame API kullanılarak ETL pipeline'ları oluşturulur ve dağıtık veri dönüşümleri üzerinde çalışılır.

Grouping, aggregation, join, set operations ve window functions gibi veri işleme tekniklerinin yanı sıra array, map ve struct gibi complex data type'lar ele alınır. Performans açısından verimli Spark uygulamaları geliştirmeye yönelik iyi uygulamalar da incelenir.

Apache Spark ile Stream Processing ve Analiz

Bu bölümde gerçek zamanlı verilerin işlenmesine yönelik temel kavramlar ele alınır.

Katılımcılar Spark Structured Streaming API ile streaming uygulamaları geliştirir; stream aggregation ve window analysis gibi yöntemlerle sürekli gelen verilerin nasıl işlenebileceğini öğrenir. Ölçeklenebilir ve hata toleranslı streaming uygulamalarının geliştirilmesine yönelik temel yaklaşımlar uygulamalı olarak incelenir.

Databricks Üzerinde Spark İş Yüklerini İzleme ve Optimize Etme

Programın bu bölümünde Lakehouse Architecture ve Medallion Architecture yaklaşımları üzerinden ölçeklenebilir veri iş akışları ele alınır.

Unity Catalog ile veri yönetişimi, erişim kontrolü ve lineage konuları incelenirken Delta Lake kullanılarak güvenilir ve ACID uyumlu veri pipeline'larının nasıl oluşturulabileceği değerlendirilir.

Ayrıca partitioning, caching ve query tuning gibi Spark optimizasyon yöntemleri; performans izleme, troubleshooting ve verimli data engineering uygulamalarına yönelik iyi pratiklerle birlikte ele alınır.

Eğitim İçeriği

Modül 1: Apache Spark'a Giriş

Spark Runtime Architecture
Databricks üzerinde Apache Spark mimarisinin incelenmesi
Spark DataFrames ve SQL'e giriş
DataFrame'lerle veri okuma ve yazma
Dağıtık sistem programlamanın temelleri
DataFrame API ile temel ETL
DataFrame API kullanarak uçuş verileri üzerinde ETL
DataFrame'lerle transaction verilerinin analizi

Modül 2: Apache Spark ile Uygulama Geliştirme

DataFrame API temelleri
Demo (Opsiyonel): DataFrame API ile temel ETL
Verileri gruplama ve aggregate etme
Demo: Grouping ve Aggregation
Lab: E-ticaret verilerinin gruplandırılması ve aggregate edilmesi
Relational Operations
Demo: Apache Spark ile ilişkisel veri işlemleri
Complex Data ile çalışma
Demo: Apache Spark'ta Complex Data Type'larla çalışma
Lab: E-ticaret verilerindeki Complex Data Type'larla çalışma

Modül 3: Apache Spark ile Stream Processing ve Analiz

Stream Processing'e giriş
Spark Structured Streaming
Demo: Spark Structured Streaming'e giriş
Lab: Spark Structured Streaming'e giriş
İleri seviye Stream Processing ve analiz
Demo: Spark Structured Streaming ile Window Aggregation
Lab: Spark Structured Streaming ile Window Aggregation

Modül 4: Databricks Üzerinde Apache Spark İş Yüklerini İzleme ve Optimize Etme

Apache Spark ve Databricks
Apache Spark'ın Delta Lake ile kullanılması
Demo: Delta Lake'e giriş
Lab: Delta Lake'e giriş
Apache Spark optimizasyonu
Demo: Apache Spark optimizasyonu
Lab: Apache Spark optimizasyonu

Neden Bizi Seçmelisiniz

Apache Spark Programming with Databricks eğitimini, Bilginç IT Academy'nin canlı ve etkileşimli sanal sınıf ortamında; evinizden, ofisinizden veya dilediğiniz herhangi bir lokasyondan deneyimleyin. Uzman eğitmenlerimizle gerçek zamanlı iletişim kurarak sınıf ortamının dinamizmini online eğitim deneyimine taşıyın.

Canlı Oturumlar: Belirlenen eğitim takvimi doğrultusunda, eğitmen ve diğer katılımcılarla eş zamanlı olarak derslere katılın.
Etkileşimli Öğrenme: Uygulamalar, grup çalışmaları ve soru-cevap oturumlarıyla öğrenme sürecine aktif olarak dahil olun.
Uzman Eğitmen Kadrosu: Sektör deneyimine sahip, alanında yetkin eğitmenlerden güncel ve uygulanabilir bilgiler edinin.
30 Yılı Aşkın Deneyim: Bilginç IT Academy'nin 1995 yılından bu yana süregelen eğitim uzmanlığıyla profesyonel gelişiminize değer katın.
Esnek ve Ölçeklenebilir Çözümler: Dünya genelinde erişilebilen canlı sınıflarımızla, bireysel ve kurumsal eğitim ihtiyaçlarınıza uygun esnek planlama avantajı elde edin.

Apache Spark Programming with Databricks eğitimini, yüz yüze öğrenmenin sağladığı güçlü etkileşim ve odaklanma avantajıyla deneyimleyin. Bilginç IT Academy'nin profesyonel eğitim lokasyonlarında, konforlu ve verimli bir sınıf ortamında uzman eğitmenler eşliğinde öğrenin.

Deneyimli Eğitmenler: Sektörde uzun yıllara dayanan saha tecrübesine sahip uzmanlardan gerçek dünya örnekleriyle öğrenin.
Modern Eğitim Alanları: Teknolojik altyapısı güçlü, konforlu ve öğrenmeye uygun sınıflarda eğitim alın.
Odaklı Sınıf Deneyimi: Sınırlı kontenjanla düzenlenen eğitimlerde eğitmeninizle daha yakın iletişim kurma fırsatı yakalayın.
Kaliteli Eğitim Yaklaşımı: Profesyonel gelişiminizi destekleyen, uygulamaya dönük ve yüksek standartlarda hazırlanmış eğitim içeriklerinden yararlanın.

Şirketinizin ekip bazlı eğitim ihtiyaçlarını, Bilginç IT Academy'nin Apache Spark Programming with Databricks onsite eğitim çözümüyle kendi ofisinizde veya tercih ettiğiniz lokasyonda karşılayın. Kurumunuza özel planlanan eğitimlerle ekiplerinizin gelişimini iş hedeflerinizle uyumlu hale getirin.

Kuruma Özel İçerik: Eğitim programını şirketinizin projelerine, ekip yapısına ve iş ihtiyaçlarına göre uyarlayın.
Bütçe ve Zaman Avantajı: Seyahat, konaklama ve operasyonel maliyetleri azaltarak eğitim yatırımınızı daha verimli kullanın.
Ekip Odaklı Öğrenme: Çalışanlarınızın aynı içerik ve bakış açısı etrafında gelişmesini sağlayarak kurum içi iş birliğini güçlendirin.
Kolay Planlama ve Takip: Katılımcı gelişimini, eğitim sürecini ve kurumsal ihtiyaçları daha kontrollü şekilde yönetin.

Eğitimlerle ilgili bilgi almak ve diğer tüm sorularınız için bize ulaşın!

Neden bizi tercih ettiniz?

Bilginç'ten daha önce eğitim aldım ve memnun kaldım.

Daha önce farklı bir kurumdan aldığım eğitimden memnun kalmadım.

Diğer

IT departmanınızda kaç kişi çalışıyor?

0 – 50

50 – 250

250 – 1000

1000+

Apache Spark Programming with Databricks Eğitimi