Azerbaycan Spark for Data Analysts Eğitimi

Apache Spark, büyük verilerle çalışmayı kolaylaştıran, verilerin çok hızlı işlenebilmesine olanak sağlayan, bir veri işleme motorudur. Apache Spark bir çok hazır kütüphaneye(SparkSQL, Spark Streaming, Mllib ve GraphX ) sahiptir ve bu kütüphanler Python, Java, Scala ve R gibi programlama dilleri ile uyumludur.

Apache Spark’ın büyük hacimli verileri işleyebilmek için, birçok makine öğrenmesi algoritmasını içeren MlLib kütüphanesi vardır. MlLib kütüphanesi Apache Spark’ın ölçeklenebilirlik(scalability), dil uyumluluğu ve veri işleme hızı gibi avantajlarını kullanmaktadır.

•Apache Spark Polygot’tur yani bir çok programlama dili ile çalışmaya izin verir. Java, Python, Scala vb. gibi bir çok dili destekler.

•Apache Spark mimari olarak dikey ve yatay büyümeye olanak sağlar.

•Apaache Spark’ın dahili kütüphanelerinden biri olan Spark Streaming sayesinde canlı ve sürekli üretilen veriler işlenebilir.

•Makine öğrenmesi işlemlerini gerçekleştirebilmek için yine dahili kütüphanelerinden biri olan MlLib kütüphanesi vardır.

Bu eğitim, en yeni Spark v2 özelliklerini kapsamaktadır.

Analist geçmişi (SQL, Scripting, vb. konusunda bilgi) ve Linux geliştirme ortamını (temel komut satırında gezinme / dosyaları düzenleme / programları çalıştırma) anlama

Veri analistleri, iş analistleri bu eğitime katılabilir.

• Spark Shell
• Spark Veri yapıları (RDD / Veri çerçevesi / Veri kümesi)
• Spark SQL
• Spark & Hadoop
• Spark MLLib
• Spark Graphx konularını öğreneceksiniz.

Apache Spark’ın büyük hacimli verileri işleyebilmek için birçok makine öğrenmesi algoritmasını içeren MlLib kütüphanesi vardır. Apache Spark'ın ölçeklenebilirliği(scalability), dil uyumluluğu ve veri işleme hızı ile araştırmacılar, veri ile ilgili sorunları daha hızlı çözebilir ve zamanlarını modelleri üzerinde geçirebilirler.

MlLib tarafından desteklenen bazı algoritmalar aşağıda listelenmiştir;

1. Sınıflama Algoritmaları

• Logistic Regression
• Decision Tree
• Random Forest
• Gradient Boosted Tree
• Multilayer Perceptron
• Linear Support Vector Machine
• Naive Bayes

2. Regresyon

• Linear Regression
• Decision Tree
• Random Forest
• Gradient Boosted Tree
• Survival Regression
• Isotonic Regression

3. Kümeleme

• K-Means Clustering
• Bisecting K-Means
• Gaussian Mixture Model
• Latent Dirichlet Allocation (LDA)

4. İşbirlikçi Filtreleme

• Alternating Least Square (ALS)

5. Frequent Pattern Mining

• FP-Growth
• PrefixSpan

Apache Spark resmi sitesinde yer alan, MlLib kütüphanesini kullanan bazı büyük şirket ve organizasyonlar; Act Now, Asian Info, ATP, Concur, FlyTxt, Localytics, Opentable, Apache Prediction IO, Radius Intelligent olarak listelebilir.

• Scala primer