Amazon yakın zaman önce hızlı ticari kararlar vermeyi kolaylaştırmak için, sınırsız büyük veri akışlarını işleyebilen Kinesis ismini verdiği hizmetini duyurdu.
Tıpkı son zamanlarda büyük veri pazarında sunulan diğerleri gibi, Amazon Kinesis de Apache Hadoop ve veritabanları ya da birbirinden farklı / sabit işlenmemiş verilerle çalışan veri ambarı (data-warehouse) hizmeti veren firmalar gibi toplu işleme (batch-processing) konusunda ilerlemeyi amaçlıyor. AWS (Amazon Web Services) yöneticisi Terry Hanold, bir konuşmasında “Veritabanı ve MapReduce teknolojileri büyük boyuttaki verileri idare etmekte gayet iyiler, fakat bunlar özünde küme temelliler ve hiç bitmeyecek (hiçbir zaman tamamlanmayacak) veri akışlarını kullanarak gerçek zamanlı kararlar verme konusunda yetersiz kalıyorlar” demişti.
Gerçek zamanlı veri çözümleme hizmeti, sunucu kayıtları ya da diğer altyapı bilgilerini, sosyal medya içeriklerini, mali pazar veri akışlarını, web sitesi tıklanma verilerini, mobil oyun etkileşimlerini, online makine öğrenmeyi ve daha da fazlasını kullanarak hızlı iş kararları vermeye olanak sağlıyor.
Ölçeklenebilir bu hizmet, AWS veri işleme ekosisteminin içine eklenecek şekilde tasarlandı. Ekosistem Amazon Simple Storage Service (Amazon S3) isimli depolama hizmeti, yönetilebilir NoSQL veritabanı hizmeti olan Amazon DynamoDB ve petabyte seviyesinde veri depolayabilen Anazon Redshift veri ambarı hizmetinden oluşuyor.
Hacker News’e göre, birçok okuyucusu bu yeni hizmeti açık kaynak kodlu Apache Kafka, kalıcı mesajlaşma sistemi ve Storm gerçek zamanlı hesaplama sistemiyle karşılaştırmışlar. Bir okuyucu şöyle demiş: “Kafka/Storm’un Amazon sürümü, kullandığın kadar öde sistemiyle kümeleri (cluster) yönetirken başınıza gelebilecek sorunları en aza indiriyor”. Bir başka okuyucu ise “Bu temelde hazır sunulmuş bir Kafka. Bir dağıtık kalıcı iş sırasını (distributed persistent quene) yönetmenin karmaşıklığı düşünüldüğünde, bu teknoloji AWS-merkezli ortamlar için ilgi uyandıran bir seçenek olabilir. (AWS üstünde büyük bir Kafka kümesi çalıştırıyoruz ve bu bizim en çok uğraştığımız hizmetlerimizden bir tanesi.)”
Amazon Web Servisleri Blog’una göre Kinesis’in işleme modeli bir üretici bileşeni ve müşteri tarafından oluşuyor. Üretici tarafı veriyi bir akışın içine kaydederken müşteri tarafı -müşterinin istediği veri boyutu oranında- bu “shard”lardan eşzamanlı olarak okuma yapıyor. Her bir “shard” 1.000 işlem yazma (1 mb/s hızında erişebilen bu işlem giriş hızı –ingress rate- olarak adlandırılıyor) ve 20 işleme kadar okuma (2 mb/s hızına kadar erişebilebilen bu işlem ise çıkış hızı –egress rate- olarak adlandırılıyor) yeteneğine sahip. Blog’a göre “shard”ları ekleyip çıkartarak işlem verimliliğinden ödün vermeden ya da herhangi bir kesintiye sebep olmadan saniyeler içinde akışı ölçeklendirebilirsiniz.
Amazon, aynı zamanda yük dengeleme, eşgüdüm ve hataları idare edebilmek için Java ile yazılımış olan Kinesis istemci kütüphanesini de kullanıma sunuyor. Kinesis hizmet API’si ile herhangi bir dilde özelleşmiş yazılımlar geliştirilebilir.
Amazon’a göre bu yazılımlar ticari karar önerileri oluşturmaya yardım etmek için gerçek zamanlı gösterge paneli sunabilir ve özel durumlarla ilgilenebilir ve hatalarla ilgili uyarı verebilir. AWS yönetim ekranı Kinesis API ve AWS Komut Satırı Arabirimi ile birlikte kullanılarak veri akışları yaratılabilir ve bu akışlar yönetilebilir.
Servisi ücretlendirmesi bir mobil oyun senaryosu üzerinden açıklanmış. Senaryoda her bir cihaz, her beş saniyede bir oyuncunun etkileşimi ile ilgili 2 kb boyutunda ileti gönderiyor. Aynı anda en fazla 10.000 cihazın veri gönderdiği varsayılıyor. Veri akışı devam ederken akışın veri hızı düşmeden ölçeklendirilebildiği böylesi bir senaryo da 20 “shard” ihtiyacı bulunuyor. Kullandığın kadar öde ücretlendirme modeliyle her bir milyon PUT işleminin maliyeti 0.028 dolar ve “shard” başına saatlik maliyet ise 0.015 dolar. Yani örnek senaryoya göre bir saatlik oyun verisi toplamak için maliyet 1.31 dolar oluyor.