Apache Spark, büyük verilerle çalışmayı kolaylaştıran, verilerin çok hızlı işlenebilmesine olanak sağlayan, bir veri işleme motorudur. Apache Spark bir çok hazır kütüphaneye(SparkSQL, Spark Streaming, Mllib ve GraphX ) sahiptir ve bu kütüphanler Python, Java, Scala ve R gibi programlama dilleri ile uyumludur.
Apache Spark’ın büyük hacimli verileri işleyebilmek için, birçok makine öğrenmesi algoritmasını içeren MlLib kütüphanesi vardır. MlLib kütüphanesi Apache Spark’ın ölçeklenebilirlik(scalability), dil uyumluluğu ve veri işleme hızı gibi avantajlarını kullanmaktadır.
•Apache Spark Polygot’tur yani bir çok programlama dili ile çalışmaya izin verir. Java, Python, Scala vb. gibi bir çok dili destekler.
•Apache Spark mimari olarak dikey ve yatay büyümeye olanak sağlar.
•Apaache Spark’ın dahili kütüphanelerinden biri olan Spark Streaming sayesinde canlı ve sürekli üretilen veriler işlenebilir.
•Makine öğrenmesi işlemlerini gerçekleştirebilmek için yine dahili kütüphanelerinden biri olan MlLib kütüphanesi vardır.
Bu eğitim, en yeni Spark v2 özelliklerini kapsamaktadır.
Analist geçmişi (SQL, Scripting, vb. konusunda bilgi) ve Linux geliştirme ortamını (temel komut satırında gezinme / dosyaları düzenleme / programları çalıştırma) anlama
Apache Spark’ın büyük hacimli verileri işleyebilmek için birçok makine öğrenmesi algoritmasını içeren MlLib kütüphanesi vardır. Apache Spark'ın ölçeklenebilirliği(scalability), dil uyumluluğu ve veri işleme hızı ile araştırmacılar, veri ile ilgili sorunları daha hızlı çözebilir ve zamanlarını modelleri üzerinde geçirebilirler.
MlLib tarafından desteklenen bazı algoritmalar aşağıda listelenmiştir;
2. Regresyon
3. Kümeleme
4. İşbirlikçi Filtreleme
5. Frequent Pattern Mining
Apache Spark resmi sitesinde yer alan, MlLib kütüphanesini kullanan bazı büyük şirket ve organizasyonlar; Act Now, Asian Info, ATP, Concur, FlyTxt, Localytics, Opentable, Apache Prediction IO, Radius Intelligent olarak listelebilir.
Sınıf eğitimlerimizi İstanbul, Ankara ve Londra ofislerimizde düzenlemekteyiz. Kurumunuza özel eğitimleri ise, dilediğiniz tarih ve lokasyonda organize edebiliriz.