Big Data -Türkçesi ile Büyük Veri- ilk olarak astronomi ve genetik alanında ortaya çıkmış bir kavramdır. Büyük veri kavramı zamanla internet için kullanılmaya başlamış böylelikle günlük hayatımızın farkında olmadan içerisine giren ve sürekli olarak kendisine katkı yaptığımız bir parçası olmuştur. Büyük verinin birçok sözlük tanımı olmakla birlikte en açıklayıcı tanım olarak; “İnsanların her gün kullandığı sosyal medya hesapları, arama motorları, internet gezintileri sırasında arkalarında bıraktıkları izler ve tekil kullanıcıların internet ile olan tüm etkileşimlerinin bir araya getirildiği devasa veri yığını” kullanılabilir.
Bilgisayarın hayatımızın her alanında bu denli etkin olması sonucu birçok veri depolanmakta, işlenmekte, yönetilmekte. İnternetin şirketler, kurumlar ve insanlar tarafından yaygın olarak kullanılmasıyla birlikte bu verilerin dolaşımı, işlenmesi, elektronik ortamda büyük bir hızla çoğalması başka bir sonucu daha ortaya çıkardı. Sözünü ettiğimiz veriler içerisinde bir hizmetin gereği olarak giriş yapılan ve saklanan veriler olduğu gibi son derece gereksiz ve faydasızmış gibi görünen çok sayıda veri de yer almakta ve bunlar çok büyük bir hızla çığ gibi büyümekte. 2012 rakamlarıyla dünyada bir günde 2,5 kentrilyon byte veri üretilmekte. 10 yıl içinde de toplam veri büyüklüğünün şu anki zamanın 44 katına ulaşacağı tahmin ediliyor. Böylece yapısal olmayan verilerden oluşan bir çöplüğün ortaya çıktığını görüyoruz. Önceleri yapısal olmadığı için kullanılamayacağından hareketle bilgi çöplüğü olarak tabir edilen bu olgunun aslında büyük bir hazineyi barındırdığının anlaşılması uzun sürmedi. Nitekim web sunucularının logları, sosyal medya paylaşım ve yayınları, bloglar, mikro bloglar, internet istatistikleri gibi verilerden oluşan bu çöplük aslında çok işlevsel hale getirilebilirdi. Doğru analiz yöntemleri ile yorumlandığı takdirde bu veriler çok önemli kararların doğru olarak alınmasında, risklerin doğru yönetilmesinde ve yeni buluş ve keşiflere imza atılmasında çok önemli katkı sağlayabilmeliydi.
Yukarıda büyüklüğüne az çok işaret ettiğimiz bu veriyi işleme, transfer etme, yorumlama gibi işlerin tümüne big data (büyük veri) adı verilmektedir. Bu verilerin büyüklüğü petabyte, exabyte hatta zettabyte seviyesinde bile olabilir. Örneğin sosyal paylaşım sitelerinden sadece birisi bile her gün 10 TB veriyi üretebilmekte, bazı kurumlar her gün her saat 10’larca TB veri saklayabilmektedir. Tüm bu verilerin saklanması bile yüksek bir maliyet demektir. Oysa big data çözümlerinde açık kaynaklı dağıtık dosya sistemleri ile birleştirerek bu verileri daha az maliyetle saklamak mümkün olmaktadır.
Peki big data içerisindeki veri bileşenleri nelerdir? Büyük veri platformunda beş bileşen vardır. Bu bileşenler V harfi ile başlayan 5 kelime ile ifade edildiğinden 5v olarak anılmaktadır.
5v; variety, velecity, volume, verification ve value. Şimdi bunları kısa açıklamaya çalışalım.
Variety (çeşitlilik) big data'nın farklı farklı teknolojilerin farklı formatlarda, büyük oranda yapısal olmayan çok çeşitli verilerden oluşmasını ifade etmektedir. Telefonlar, tabletler, bütünleşik devreler oluşturdukları türlü türlü verilerle big data'nın büyümesine etki etmektedirler.
Velocity (hız) big data'nın üretilme hızının çok yüksek olmasını ifade etmektedir. Yukarıda değinildiği gibi big data gittikçe artan baş döndürücü bir hızla üretilmeye ve büyümeye devam etmektedir. Bu aynı zamanda veriye ihtiyaç duyan işlem sayısı ve çeşitliliğinin de aynı hızda artması demektir.
Volume (hacim) big datanın büyüklüğüne işaret etmektedir. Big data bu derece büyükken, arşivleme, işleme, bütünleştirme, saklama gibi teknolojilerin 10 yıl içinde yaklaşık olarak 44 kat büyüyecek olan bu verilerle nasıl başa çıkacağı konusunun düşünülmesi gerekmektedir.
Verification (doğrulama) bu denli çeşitli, hızlı ve büyük verinin akışının doğru katmanlardan, gerekli güvenlik ve gizlilik seviyesinde olması gerektiğini ifade eder.
Value (değer) big data'nın en önemli bileşenidir ve bu verilerin kurumunuz, şirketiniz, işiniz vs. için değer yaratması demektir. bu denli karmaşık, hızlı, çeşitli, yönetilmesi-işlenmesi zor veriler sizin için fayda sağlamalı. Söz gelimi bu veriler sayesinde kritik noktalarda doğru kararlar alabilmelisiniz. Örneğin bir banka kredi vereceği müşterisinin sadece nüfus bilgilerini değil, harcama ve tüketme eğilimlerini de big data sayesinde görebilmeli ve kararını ona göre verebilmelidir.
Big Data nasıl depolanır ve işlenir?
Büyük veriler genellikle bir veri gölünde depolanır. Veri ambarları genellikle ilişkisel veritabanları üzerine inşa edilir ve yalnızca yapılandırılmış verileri içerirken, veri gölleri çeşitli veri türlerini destekleyebilir ve genellikle Hadoop kümelerine, bulut nesne depolama hizmetlerine, NoSQL veritabanlarına veya diğer büyük veri platformlarına dayanır.
Birçok büyük veri ortamı, dağıtık bir mimaride birden fazla sistemi bir araya getirir; örneğin, merkezi bir veri gölü, ilişkisel veritabanları veya bir veri ambarı dahil olmak üzere diğer platformlarla entegre edilebilir. Büyük veri sistemlerindeki veriler ham haliyle bırakılabilir ve daha sonra belirli analitik kullanımlar için gerektiği şekilde filtrelenip düzenlenebilir. Diğer durumlarda ise veri madenciliği araçları ve veri hazırlama yazılımları kullanılarak önceden işlenir ve böylece düzenli olarak çalıştırılan uygulamalar için hazır hale getirilir.
Büyük veri işleme, altta yatan bilgi işlem altyapısı üzerinde ağır talepler doğurur. Gerekli bilgi işlem gücü genellikle Hadoop ve Spark işleme motoru gibi teknolojileri kullanarak işleme iş yüklerini yüzlerce veya binlerce emtia sunucusuna dağıtan kümelenmiş sistemler tarafından sağlanır.
Bu tür bir işlem kapasitesini uygun maliyetli bir şekilde elde etmek oldukça zordur. Sonuç olarak bulut, büyük veri sistemleri için popüler bir konumdur. Kuruluşlar kendi bulut tabanlı sistemlerini kurabilir ya da bulut sağlayıcılarının hizmet olarak yönetilen büyük veri tekliflerini kullanabilir. Bulut kullanıcıları, büyük veri analitiği projelerini tamamlamak için gereken sunucu sayısını yeterince uzun süre ölçeklendirebilir. İşletme yalnızca kullandığı depolama ve işlem süresi için ödeme yapar ve bulut örnekleri tekrar ihtiyaç duyulana kadar kapatılabilir.
Büyük veri analitiği nasıl çalışır?
Büyük veri analitiği uygulamalarından geçerli ve ilgili sonuçlar elde etmek için veri bilimcilerin ve diğer veri analistlerinin mevcut verileri ayrıntılı bir şekilde anlamaları ve bu verilerde ne aradıklarını bilmeleri gerekir. Bu da veri setlerinin profilinin çıkarılması, temizlenmesi, doğrulanması ve dönüştürülmesini içeren veri hazırlığını analitik sürecinde çok önemli bir ilk adım haline getirmektedir.
Veriler toplandıktan ve analiz için hazırlandıktan sonra, büyük veri analitiği özellikleri ve yetenekleri sağlayan araçlar kullanılarak farklı uygulamaları çalıştırmak için çeşitli veri bilimi ve ileri analitik disiplinleri uygulanabilir. Bu disiplinler arasında makine öğrenimi ve derin öğrenme dalı, tahmine dayalı modelleme, veri madenciliği, istatistiksel analiz, akış analitiği, metin madenciliği ve daha fazlası yer alır.
Örnek olarak müşteri verileri kullanıldığında, büyük veri kümeleriyle yapılabilecek farklı analitik dalları aşağıdakiler gibidir:
Karşılaştırmalı analiz: Bu, bir şirketin ürünlerini, hizmetlerini ve markasını rakiplerininkiyle karşılaştırmak için müşteri davranışı ölçümlerini ve gerçek zamanlı müşteri katılımını inceler.
Sosyal medya analizi: Bu, insanların bir işletme veya ürün hakkında sosyal medyada neler söylediğini analiz eder, bu da potansiyel sorunları ve pazarlama kampanyaları için hedef kitleleri belirlemeye yardımcı olabilir.
Pazarlama analitiği: Bu, ürünler, hizmetler ve iş girişimleri için pazarlama kampanyalarını ve promosyon tekliflerini iyileştirmek için kullanılabilecek bilgiler sağlar.
Duygu analizi: Müşteriler hakkında toplanan tüm veriler, bir şirket veya marka hakkında nasıl hissettiklerini, müşteri memnuniyet düzeylerini, potansiyel sorunları ve müşteri hizmetlerinin nasıl iyileştirilebileceğini ortaya çıkarmak için analiz edilebilir.
İnternet teknolojileri ile alakalı hizmet üreten büyük şirketler dev verileri işleyebilmek için yeni algoritmalar ve yazılımlar üzerinde çalışıyor. Kimi bunu açık kodlar ile yaparken kimi ise teknolojisini gizlemeyi tercih ediyor. Büyük verinin iyi işlenmesi ile tekil internet kullanıcıları aradığını kolay bulmakta, şirketler ise tekil kullanıcıların izleri ile oluşan büyük verideki kullanıcı istatistiklerini yorumlayarak yeni pazar stratejileri geliştirmekte. Tüketici eğilimlerini bire bir gözler önüne seren büyük veriyi iyi yorumlayabilen şirketler stratejilerini buna göre belirleyerek risksiz yatırımlar yapıyor. Büyük veri tıpkı uzay boşluğu gibi her gün büyümeye ve insan zihnini hayrete düşürmeye devam ediyor.
Günümüzün popüler kavramlarından biri olan Big Data - Büyük Veri eğitimlerimiz hakkında detaylı bilgi almak ve eğitimlerimize katılmak için bize ulaşın:
info@bilginc.com
+90 212 282 77 00