HDP Developer: Enterprise Apache Spark I Eğitimi

Bu eğitim, Spark kullanarak Apache Hadoop’da saklanan Büyük Verileri analiz edecek uygulamaları geliştirmesi gereken geliştiriciler için giriş noktası olarak tasarlanmıştır. HDFS ve YARN dahil Hortonworks Veri Platformu (HDP) hakkında genel bilgi, İnteraktif veri keşfi için Spark Core API’lerinin kullanılması, Spark SQL ve DataFrame işlemleri, Spark Streaming ve DStream işlemleri, veri görselleştirme, raporlama ve işbirliği, performans izleme ve ayarlama, Spark uygulamalarını oluşturma ve kurma, ve Spark Makine Öğrenimi Kitaplığı’na giriş konularını içerir.

Bu eğitime kurumsal bir HDP ortamında zaman açısından hassas ve yüksek oranda tekrarlayan uygulamalar için bellek içi uygulamalar geliştirmenin yollarını arayan yazılım mühendisleri katılabilir.

Bu eğitimin tamamlanmasıyla birlikte öğrenciler:

• Hadoop, HDFS, YARN ve HDP ekosistemini açıklayabilecekler
• Spark kullanım vakalarını açıklayabilecekler
• Zeppelin kullanarak verileri keşfedebilecek ve değiştirebilecekler
• Spark REPL kullanarak verileri keşfedebilecek ve değiştirebilecekler
• RDD’lerin amacı ve fonksiyonunu anlatabilecekler
• Fonksiyonel programlama uygulamalarını kullanabilecekler
• Spark dönüşümleri ve eylemlerini gerçekleştirebilecekler
• İkili RDD’ler ile çalışabilecekler
• Spark SQL ve DataFrames’i kullanarak Spark sorguları yapabilecekler
• Spark Streaming’in durumsuz ve pencere dönüşümünü kullanabilecekler
• Zeppelin kullanarak verileri görselleştirebilecek, raporlar oluşturabilecek ve işbirliği yapabilecekler
• Spark History Server kullanarak Spark uygulamalarını izleyebilecekler
• Genel uygulama optimizasyonu yönergelerini/ipuçlarını öğrenebilecekler
• Uygulamaların performansını arttırmak için veri önbelleğini kullanabilecekler
• Spark uygulamalarını geliştirip paket haline getirebilecekler
• YARN kullanarak uygulamaları kümeye kurabilecekler
• Spark MLlib’in amacını anlayabilecekler

• Use common HDFS commands
• Use a REPL to program in Spark
• Use Zeppelin to program in Spark
• Perform RDD transformations and actions
• Perform Pair RDD transformations and actions
• Utilize Spark SQL* Perform stateless transformations using Spark Streaming
• Perform window-based transformations
• Use Zeppelin for data visualization and reporting
• Monitor applications using Spark History Server
• Cache and persist data
• Configure checkpointing, broadcast variables, and executors
• Build and submit a Spark application to YARN
• Run Spark MLlib applications