Azure Databricks Ortamının Kurulması ve Yapılandırılması
Bu bölüm Azure Databricks platformunun temel mimarisini ve çalışma ortamının hazırlanmasını ele alır.
Konular:
- Azure Databricks architecture
- Platformun temel bileşenleri
- Workspace oluşturma ve yapılandırma
- Collaborative development ortamları
- Clusters
- Compute resources
- Workload'a göre compute seçimi
- Development environment integration
- Git entegrasyonu
- Version control
- Microsoft Entra ID
- Identity and access management
- Workspace-level governance
Katılımcılar farklı geliştirme ve production senaryoları için uygun workspace ve compute yapısının nasıl tasarlanacağını öğrenir.
Unity Catalog ile Data Security ve Governance
Bu bölüm Databricks ortamında merkezi data governance yapısının oluşturulmasına odaklanır.
Konular:
- Unity Catalog architecture
- Metastores
- Catalogs
- Schemas
- Tables
- Centralised data access control
- Multi-workspace governance
- Role-Based Access Control
- Secure data operations
- Data lineage
- Auditing
- Compliance requirements
- Governance best practices
Katılımcılar, farklı ekipler ve workspace'ler arasında veri erişiminin güvenli ve merkezi şekilde nasıl yönetilebileceğini değerlendirir.
Azure Databricks ile Data Preparation ve Processing
Bu bölüm verinin Databricks ortamına alınması, hazırlanması ve dönüştürülmesine odaklanır.
Konular:
- Data ingestion strategies
- Batch ingestion
- Streaming ingestion
- SQL ile data transformation
- Python ile data transformation
- Dataset preparation
- Delta Lake
- Reliable data storage
- Scalable data storage
- Data quality checks
- Data cleansing
- Data validation
- Transformation optimisation
- Performance considerations
Katılımcılar raw data'yı analytics ve machine learning workload'larına uygun hâle getirmek için çeşitli processing teknikleri uygular.
Delta Lake ile Güvenilir Data Engineering
Bu bölüm Delta Lake'in modern lakehouse architecture içerisindeki rolünü ele alır.
Konular:
- Delta Lake fundamentals
- Transactional data storage
- Schema management
- Reliable data pipelines
- Scalable data processing
- Data consistency
- Production data management
- Analytics ve ML workload'ları için data preparation
Katılımcılar, data lake esnekliği ile data warehouse güvenilirliğini bir araya getiren lakehouse yaklaşımını uygular.
Data Pipeline Tasarımı ve Orchestration
Bu bölüm production-ready pipeline tasarımına odaklanır.
Konular:
- Data pipeline architecture
- Databricks Jobs
- Databricks Workflows
- Task dependencies
- Scheduling
- Pipeline orchestration
- Batch workloads
- Streaming workloads
- Failure handling
- Retry strategies
- Production pipeline design
Katılımcılar, farklı workload'ları güvenilir şekilde çalıştıran ve yönetilebilen data pipeline'lar oluşturur.
CI/CD ve Deployment
Bu bölüm Databricks projelerinin development ortamından production'a taşınmasını ele alır.
Konular:
- Continuous Integration
- Continuous Deployment
- Git-based development workflows
- Source control
- Deployment automation
- Environment management
- Dev, test ve production ayrımı
- Release processes
- Enterprise deployment practices
Katılımcılar veri mühendisliği workload'larını kontrollü ve tekrar edilebilir şekilde production ortamına taşıma yaklaşımını öğrenir.
Monitoring ve Troubleshooting
Bu bölüm çalışan data pipeline'ların izlenmesine ve sorunların giderilmesine odaklanır.
Konular:
- Pipeline monitoring
- Job monitoring
- Failure analysis
- Logging
- Error investigation
- Runtime diagnostics
- Performance monitoring
- Production troubleshooting
Katılımcılar pipeline sorunlarının nasıl belirlenebileceğini ve operasyonel güvenilirliğin nasıl artırılabileceğini öğrenir.
Performance ve Cost Optimisation
Bu bölüm Databricks workload'larının daha verimli çalıştırılmasına odaklanır.
Konular:
- Compute optimisation
- Cluster sizing
- Workload tuning
- Data transformation performance
- Resource utilisation
- Pipeline efficiency
- Cost monitoring
- Cost reduction strategies
- Scalable architecture decisions
Katılımcılar performans, ölçeklenebilirlik ve maliyet arasında uygun dengeyi kurmayı öğrenir.
Enterprise-Scale Data Engineering
Programın son bölümünde Databricks tabanlı data engineering çözümlerinin enterprise ölçekte işletilmesi ele alınır.
Konular:
- Multi-workspace environments
- Governance at scale
- Production workload management
- Standardisation
- Operational reliability
- Security and compliance
- Scalable lakehouse architecture
- Enterprise data engineering best practices
