Data Science at Scale using Spark and Hadoop Azerbaijan Eğitimi

Veri bilimadamları, ayrıntılı bilgiler sunabilmek ve daha önce hayal dahi edilememiş soruları cevaplayabilmek için bilgi platformları inşa etmektedirler. Spark ve Hadoop ise büyük ölçeklerde etkileşimli ve yinelemeli veri analizine imkan tanıyarak veri bilimadamlarının çalışma yöntemlerini dönüştürüyor.

Spark ve Hadoop’un veri bilimadamlarının şirketlerin maliyetlerini azaltmalarına, karlarını arttırmalarına, ürünlerini iyileştirmelerine, müşterilerini ellerinde tutmalarına ve yeni fırsatları belirlemelerine yardımcı olmalarını nasıl sağladığını siz de öğrenin.

Cloudera University’nin bu üç günlük eğitimi, katılımcılara veri bilimadamlarının ne yaptığını, sorunları nasıl çözdüklerini ve hangi araç ve teknikleri kullandıklarını anlamalarına yardımcı oluyor. Sınıf içindeki simülasyonlar yoluyla katılımcılar, veri bilimi yöntemlerini, farklı sektörlerde karşılaşılabilen gerçek dünyadaki sorunlara uygulayarak kendilerini veri bilimadamı rolüne hazırlıyorlar.

Bu eğitim, Apache Hadoop, HDFS, MapReduce, Hadoop Streaming ve Apache Hive konusunda temel bilgiye sahip olmanın yanı sıra Linux ortamlarında da çalışma deneyimine sahip olan geliştiriciler, veri analistleri ve istatistikçiler için uygundur.  Öğrencilerin bir scripting dilinde yetkinliği olmalıdır, Python önemle tercih edilmekte olsa da Perl veya Ruby konusunda bilgi sahibi olmak da yeterlidir.

Bir eğitmenin yönettiği ve tartışma ve etkileşim ağırlıklı uygulamalı alıştırmalar ile katılımcılar Hadoop ortamında gezinirken aşağıdaki konularda da becerilerini geliştirebilecekler:

• Veri biliminin etkileyici sonuçlar üretebildiği örnek iş senaryoları nasıl belirlenebilir?
• Analiz için uyumlu bir ortam oluşturmak amacıyla birbirlerinden ayrı veri kaynakları nasıl temin edilebilir, temizlenebilir ve birleştirilebilir?
• Verilerinizle ilgili kritik bilgiler verecek olan veri keşfi çalışmasından hangi istatistik yöntemleriyle yararlanılabilir?
• Veri bilimiyle ilgili olası çalışmalarda Hadoop veri yayınından ve Apache Spark’dan nerede ve ne zaman faydalanılabilir?
• Belirli bir veri bilimi projesi için hangi makine öğrenimi teknikleri kullanılmalı?
• Spark’ın MLlib fonksiyonu kullanılarak tavsiye ediciler nasıl uygulamaya geçirilip yönetilebilir ve veri deneyleri nasıl kurulup değerlendirilebilir?
• Yeni analitik projelerini üretim ortamında kurmanın gizli tehlikeleri neler?

Introduction

• About This Course
• About Cloudera
• Course Logistics
• Introductions

Data Science Overview

• What Is Data Science?
• The Growing Need for Data Science
• The Role of a Data Scientist

Use Cases

• Finance
• Retail
• Advertising
• Defense and Intelligence
• Telecommunications and Utilities
• Healthcare and Pharmaceuticals

Project Lifecycle

• Steps in the Project Lifecycle
• Lab Scenario Explanation

Data Acquisition

• Where to Source Data
• Acquisition Techniques

Evaluating Input Data

• Data Formats
• Data Quantity
• Data Quality

Data Transformation

• File Format Conversion
• Joining Data Sets
• Anonymization

Data Analysis and Statistical Methods

• Relationship Between Statistics and Probability
• Descriptive Statistics
• Inferential Statistics
• Vectors and Matrices

Fundamentals of Machine Learning

• Overview
• The Three C’s of Machine Learning
• Importance of Data and Algorithms
• Spotlight: Naive Bayes Classifiers

Recommender Overview

• What is a Recommender System?
• Types of Collaborative Filtering
• Limitations of Recommender Systems
• Fundamental Concepts

Introduction to Apache Spark and MLlib

• What is Apache Spark?
• Comparison to MapReduce
• Fundamentals of Apache Spark
• Spark’s MLlib Package

Implementing Recommenders with MLlib

• Overview of ALS Method for

Latent Factor Recommenders

• Hyperparameters for ALS Recommenders
• Building a Recommender in MLlib
• Tuning Hyperparameters
• Weighting

Experimentation and Evaluation

• Designing Effective Experiments
• Conducting an Effective Experiment
• User Interfaces for Recommenders

Production Deployment and Beyond

• Deploying to Production
• Tips and Techniques for Working at Scale
• Summarizing and Visualizing Results
• Considerations for Improvement
• Next Steps for Recommenders

Conclusion