Bu eğitim, Hortonworks Veri Platformu (HDP) ve Hortonworks Veri Akışı (HDF) ortamlarını kullanarak veri yayını kaynaklarını özümseyen ve işleyen gerçek zamanlı uygulamaları oluşturması gereken geliştiriciler için tasarlanmıştır. Eğitim kapsamındaki teknolojiler arasında şunlar yer almaktadır: Apache Hadoop, Apache Kafka, Apache Storm & Trident, Apache Spark ve Apache HBase’in yanısıra Apache NiFi. Eğitimin en önemli özelliği, katılımcıların Storm ve Spark Streaming ile veri yayını yapan uygulamalar geliştirebilmelerine imkan sağlayan, özel grup çalışması tarzındaki laboratuvarlardır.
Önkoşullar
Öğrenciler, programlama ilkelerine aşina olmalı ve yazılım geliştirme konusunda deneyim sahibi olmalıdırlar. Java programlama deneyimi gereklidir. SQL ve basit komut metni yazımı konusunda bilgi sahibi olunması da faydalı olacaktır. Önceden Hadoop konusunda bilgili olmak gerekmemektedir.
Öğrenciler, programlama ilkelerine aşina olmalı ve yazılım geliştirme konusunda deneyim sahibi olmalıdırlar. Java programlama deneyimi gereklidir. SQL ve basit komut metni yazımı konusunda bilgi sahibi olunması da faydalı olacaktır. Önceden Hadoop konusunda bilgili olmak gerekmemektedir.
Bu eğitime HDP ve HDF’de gerçek zamanlı / veri yayını yapan uygulamaları geliştirmesi ve bu uygulamaları anlaması gereken geliştiriciler ve veri mühendisleri katılabilir.
Objectives
- Real-time architecture & overview of the class
- Identify the relevant HDP/HDF components
- Spark ecosystem overview
- RDD Programming
- Pair RDD Programming
- Spark Streaming
- Kafka Architecture
- HBase Architecture
- Storm Architecture
- Building Storm Topologies
- Advanced Storm Features
- Storm Integrations
- Introduction to HDF/NiFi
- NiFi Architecture
- Developing DataFlows
Hands-on Labs
- Using HDFS Commands
- Introduction to SPARK REPLs and Zeppelin
- Create and Manipulate RDDs
- Create and Manipulate Pair RDDs
- Spark Streaming Using HDFS Directories and TCP Sockets
- Spark Streaming Transformations
- Spark Streaming Window Transformations
- Storm WordCount
- Integrating Storm with Kafka
- Storm Workshop with Kafka and HBase
- NiFi User Interface
- Building a NiFi Data Flow
- Processor Group
- Remote Processor Group