Hortonworks ve Concurrent firmaları bu hafta, Hadoop’un gelişimini kolaylaştırmak ve hızlandırmak için eski veri platformu ile yeni Cascading uygulama geliştirme framework’ünü birleştirme suretiyle ortaklaşa çalışacaklarını duyurdular.
Bu genişletilmiş ortaklığın bir parçası olarak Hadoop’un gelişiminde önemli bir yere sahip olan Hortonworks, açık kaynak kodlu Cascading SDK ile Hortonworks Data Platform’u (HDP) birleştirecek. Ayrıca gelecekteki Cascading sürümleri, Hadoop’un şu anda kullanmakta olduğu -yavaşlığı, etkileşimli olmayışı ve toplu iş modeliyle eleştirilerin hedefi olan- orijinal MapReduce programlama modeline alternafit olacak Apache Tez desteğine sahip olacaklar. Tez, daha etkileşimli sorguları destekliyor, daha hızlı tepki veriyor ve büyük boyutlu verilerde çok daha verimli.
“Cascading kullanıcıları bundan böyle, Tez’in kullanıcılarına sunduğu Hadoop üzerinde yüksek etkileşimli operasyonel uygulamalar geliştirme olanağı sayesinde çok daha hızlı veri-merkezli uygulamalar geliştirebilecekler” diyor ortaklığı duyurduğu bir Hortonworks blog gönderisinde John Kreisa.
Kreisa’ya göre Cascading “Hadoop üzerindeki veri uygulamaları için kullanılan en yaygın uygulama geliştirme platformu”. Kreisa ayrıca Hortonworks’ün sürekli olarak yapılacak uyumluluk testleri ve Cascading için doğrudan verilecek HDP müşteri desteği ile Cascading temelli uygulamaların süregelen uyumluluğunu garanti edeceğini belirtti.
Geçtiğimiz günlerde Hortonworks ve Concurrent bir webinar düzenleyerek Cascading ve HDP kullanarak büyük veri gelişiminin nasıl hızlanacağını anlattılar.
Webinarda, Concurrent yöneticisi Suppet Oberoi 2008 yılında Chris Wensel tarafından kurulan ve Hadoop fenomeninin önde gelenlerinden olan firma tarafından geliştirilmiş olan Cascading’in gelişim sürecini anlattı.
Oberoi Wensel’in Hadoop’un çok güçlü olduğunu düşünmekle birlikte teknolojik olarak bazı sorunları olduğunu gördüğünü söyledi. “Veri uygulamaları geliştiren ilk kişiler bunu iş hedefleri ile ilgili değerlendirdiler ve bu durum da uygulamanın sezgiselliğini zedeledi” diyor Oberoi. “Diğer bir nokta ise bu API’ler Java ile yazılmış olmalarına rağmen karmaşık yapıları, Java camiasında var olan birçok geliştiricinin bu API’leri kullanmasını engelledi” diyerek devam ediyor.
Oberoi’ye göre “Üçüncü nokta ise, farklı kullanım vakaların farklı uygulama şekilleri gerektirdiğinin anlaşılması ve gelecekte ortaya çıkabilecek daha iyi ya da daha uygun teknolojileri kullanması engellemiş geliştiricilerin bir araya getirilmesiydi. Tüm bu nedenlerden dolayı Wensel, Cascading API’yi geliştirdi”.
Hortonworks bloğunda yazdığı bir makalede Jules S. Damji, Wensel’in API’yi geliştirmesindeki yegane amacının, geliştiricilerin Hadoop’un karmaşık yapısına hakim olması gerekmeden ve doğrudan MapReduce API’si ile uğraşmadan kurumsal büyük veri uygulamaları geliştirebilmesinin önünü açmak olduğunu söyledi.
Damji ayrıca Hadoop ve Cascading’e nasıl başlanabileceğini basit bir şekilde açıklayan ve geliştiricileri hedefleyen bir öğretici makale de yayınladı.
Kaynak: http://adtmag.com/articles/2014/04/23/hortonworks-concurrent-partnership.aspx