Cloudera Developer for Spark and Hadoop Eğitimi

Bu uygulamalı eğitimde, katılımcıların en güncel araç ve teknikleri kullanarak bir Hadoop kümesinde verileri özümseyip işleyebilmesi için ihtiyaç duydukları temel kavramlar ve uzmanlık öğretilmektedir. Spark (Spark Streaming ve Spark SQL dahil), Flume, Kafka ve Sqoop gibi Hadoop ortamındaki projelerin geliştirildiği bu eğitim, Hadoop geliştiricilerin gerçek dünyada karşılaştıkları zorluklar için en iyi hazırlığı sunmaktadır. Spark ile geliştiriciler birçok farklı kullanım senaryosuna, mimariye ve sektöre yönelik daha hızlı ve daha iyi kararlar alabilmek ve etkileşimli işlemler yapabilmek için gelişmiş paralel uygulamalar yazabilmektedir.

• Bu eğitim, programlama deneyimine sahip olan geliştiriciler ve mühendisler için tasarlanmıştır, ancak önceden Hadoop bilgisine sahip olmak zorunlu değildir.
• Apache Spark örnekleri ve uygulamalı alıştırmalar Scala ve Python’da sunulmaktadır. Bu dillerden birinde programlama yapabilmek zorunludur
• Linux komut satırıyla ilgili temel bilgilere sahip olunduğu varsayılır
• SQL ile ilgili temel bilgilere sahip olmak faydalıdır

• Bir uzmanın yönettiği ve tartışma ve etkileşim ağırlıklı uygulamalı alıştırmalar ile katılımcılar şunları da öğrenecek:
• Verileri bir Hadoop kümesinde dağıtma, saklama ve işleme
• Bir Hadoop kümesinde Apache Spark uygulamalarını yazma, yapılandırma ve kurma
• Etkileşimli veri analizleri için Spark kabuğunu kullanma
• Spark SQL kullanarak yapılandırılmış verileri işleme ve sorgulama
• Canlı veri yayınını işlemek için Spark Streaming kullanma
• Spark Streaming için kullanılacak verileri özümsemek için Flume ve Kafka kullanma

Introduction

Introduction to Apache Hadoop and the Hadoop Ecosystem

• Apache Hadoop Overview
• Data Storage and Ingest
• Data Processing
• Data Analysis and Exploration
• Other Ecosystem Tools
• Introduction to the Hands-On Exercises
• Apache Hadoop File Storage
• Problems with Traditional

Large-Scale Systems

• HDFS Architecture
• Using HDFS
• Apache Hadoop File Formats

Data Processing on an Apache Hadoop Cluster

• YARN Architecture
• Working With YARN

Importing Relational Data with Apache Sqoop

• Apache Sqoop Overview
• Importing Data
• Importing File Options
• Exporting Data

Apache Spark Basics

• What is Apache Spark?
• Using the Spark Shell
• RDDs (Resilient Distributed Datasets)
• Functional Programming in Spark

Working with RDDs

• Creating RDDs
• Other General RDD Operations

Aggregating Data with Pair RDDs

• Key-Value Pair RDDs
• Map-Reduce
• Other Pair RDD Operations

Writing and Running Apache Spark Applications

• Spark Applications vs. Spark Shell
• Creating the SparkContext
• Building a Spark Application

(Scala and Java)

• Running a Spark Application
• The Spark Application Web UI

Configuring Apache Spark Applications

• Configuring Spark Properties
• Logging

Parallel Processing in Apache Spark

• Review: Apache Spark on a Cluster
• RDD Partitions
• Partitioning of File-Based RDDs
• HDFS and Data Locality
• Executing Parallel Operations
• Stages and Tasks

RDD Persistence

• RDD Lineage
• RDD Persistence Overview
• Distributed Persistence

Common Patterns in Apache Spark

Data Processing

• Common Apache Spark Use Cases
• Iterative Algorithms in Apache Spark
• Machine Learning
• Example: k-means

DataFrames and Spark SQL

• Apache Spark SQL and the SQL Context
• Creating DataFrames
• Transforming and Querying DataFrames
• Saving DataFrames
• DataFrames and RDDs
• Comparing Apache Spark SQL, Impala, and Hive-on-Spark
• Apache Spark SQL in Spark 2.x

Message Processing with Apache Kafka

• What is Apache Kafka?
• Apache Kafka Overview
• Scaling Apache Kafka
• Apache Kafka Cluster Architecture
• Apache Kafka Command Line Tools

Capturing Data with Apache Flume

• What is Apache Flume?
• Basic Flume Architecture
• Flume Sources
• Flume Sinks
• Flume Channels
• Flume Configuration

Integrating Apache Flume and Apache Kafka

• Overview
• Use Cases
• Configuration

Apache Spark Streaming:

Introduction to DStreams

• Apache Spark Streaming Overview
• Example: Streaming Request Count
• DStreams
• Developing Streaming Applications

Apache Spark Streaming:

Processing Multiple Batches

• Multi-Batch Operations
• Time Slicing
• State Operations
• Sliding Window Operations

Apache Spark Streaming: Data Sources

• Streaming Data Source Overview
• Apache Flume and Apache Kafka

Data Sources

• Example: Using a Kafka Direct Data Source

Conclusion