Azerbaycan HDP Developer: Java (Hadoop) Eğitimi

Bu eğitim, Java programcılarına Hadoop uygulaması geliştirme konusunda ayrıntılı bilgiler vermektedir. Öğrenciler, birleştiricileri, ayırıcıları, ikincil sıralamaları, özel girdi ve çıktı formatlarını nasıl uygulayacakları, büyük veri kümelerini nasıl birleştirecekleri, birim testini nasıl yapacakları ve Pig ve Hive için UDF’leri nasıl geliştirecekleri de dahil olmak üzere Hortonworks Veri Platformu’nu kullanarak Hadoop için etkin ve etkili MapReduce uygulamalarını nasıl tasarlayacaklarını ve geliştireceklerini öğreneceklerdir. Laboratuvarlar, öğrencilerin eğitim sonrasında kullanmak üzere tutabilecekleri bir sanal makinede çalışan, 7 düğümlü HDP 2.1 kümesi üzerinde çalışmaktadırlar.

Hadoop için Java MapReduce uygulamaları geliştirmesi gereken deneyimli Java yazılımı mühendisleri bu eğitime katılabilir.

Bu eğitimin tamamlanmasıyla birlikte öğrenciler:

• Hadoop 2.X’i ve Hadoop Dağıtık Dosya Sistemi’ni açıklayabilecekler
• YARN çalışma çerçevesini açıklayabilecekler
• YARN’da bir Java MapReduce uygulaması geliştirip çalıştırabilecekler
• Birleştiricileri ve harita içi yığını kullanabilecekler
• Azaltıcılardaki veri hatalarından kaçınmak için özel bir ayırıcı yazabilecekler
• İkincil sıralamayı gerçekleştirebilecekler
• Bütünleşik girdi ve çıktı formatlarına ait kullanım vakalarını tanıyabilecekler
• Özel bir MapReduce girdi ve çıktı formatı yazabilecekler
• MapReduce işini optimize edebilecekler
• Eşleştiricileri ve azaltıcıları optimize etmek üzere MapReduce’u yapılandırabilecekler
• Özel bir RawComparator sınıfı geliştirebilecekler
• Dosyaları Yerel Kaynaklar olarak dağıtabilecekler
• Hadoop’de birleştirme tekniklerini açıklayıp gerçekleştirebilecekler
• UnitMR API kullanarak birim testlerini gerçekleştirebilecekler
• HBase’in temel mimarisini açıklayabilecekler
• HBase MapReduce uygulaması yazabilecekler
• Pig ve Hive için kullanım vakalarını listeleyebilecekler
• Büyük verileri keşfetmek ve dönüştürmek için basit Pig komutu yazabilecekler
• Java’da Pig UDF (Kullanıcı Tanımlı Fonksiyon) yazabilecekler
• Java’da Hive UDF yazabilecekler
• MapReduce iş akışı oluşturmak için JobControl sınıfını kullanabilecekler
• İş akışlarını tanımlamak ve programlamak için Oozie kullanabilecekler