Büyük Veriye Güncel Çözümler

tarihinde yayınlandıSEO Paylaşımları içinde yayınlandı

Büyük Veriye Güncel Çözümler

Günümüzde kullanıcı verilerini iyi analiz edebilen ve büyük veriyi en doğru şekilde kullanabilen markalar rekabet ortamında bir adım öndeler. Infogroup Targeting Solutions tarafından hazırlanan rapora göre, markaların pazarlamacılarının %70’inin data ile ilgili harcamalarını artıracağı belirtiliyor. Bu veriye verilen önemin ne kadar arttığını gözler önüne sermektedir. %50 civarı veri yükleme konusunda tecrübeli eleman temin edeceğini belirtiyor. %80 civarı ise, bu veriyi internet sitelerinin performansını artırmak amacıyla kullanacağını belirtiyor. Ayrıca, büyük bir çoğunluk posta verimliliğini kullanmak amacıyla ve sosyal performansını iyileştirmek amacıyla da bu durumu kullanacak.

Bu noktada büyük veri çözümleri arasına girenler şöyledir:

 

SAP HANA (High Performance Analytic Appliance)

SAP; HP, Fujitsu ve IBM ile beraber HANA’yı geliştirdi. HANA, bellek içi (In memory) çalışabilen bir veri platformudur. Temelindeki bellek içi teknolojisi sayesinde çok büyük boyutlardaki veri yığınlarını gerçek zamanlı olarak analiz etmeyi bir başka deyişle büyük veri analizi yapmayı kolaylaştırır. Yani, veriyi disklerde (Secondary storage) tutan geleneksel veri tabanlarının aksine veriyi ana bellekte (Primary storage/ RAM) depolar. Optimizasyon algoritmaları daha basit ve CPU kullanımları daha düşük olduğu için bellek içi veri tabanları disk optimize veri tabanlarına göre daha hızlıdır. Bir kullanıcı SAP HANA ile gelir ve maliyet verilerini kullanarak karlılık durumunu gerçek zamanlı olarak takip edebilir; proje bazında anlık simülasyonlar gerçekleştirebilir. Hızlı raporlamalar ve gerçekçi öngörüler sayesinde tam zamanında karar alınmasına fayda sağlayabilir ve bu anlamda başka fırsatlar yaratılabilir.

SAP HANA’nın sağladıkları;

  • Bellek içi teknolojisiyle veride gerçek zamanlı analiz imkanı
  • Hızlı raporlama araçlarıyla daha hızlı kararlar alabilme
  • BT maliyetlerini azaltma
  • Bilgiye kolayca erişme ve işleme
  • Simülasyon yapabilme
  • Daha hızlı güncelleme

 

PREDICTIVE ANALYSIS (Öngörücü Analiz)

İstatiksel ve matematiksel teknikler kullanılarak büyük hacimli veri içerisinde anlamlı korelasyonlar, modeller ve trendler bulma işidir. Günümüzde iş dünyası geçmişte olmuş bitmiş olaylara bakarak karar verme eğiliminden, gelecekte olacakları tahmin edip önlem alma yoluna gidiyor. İşletmeler bu yapıyı kurmak için bazı öngörücü analizleri yapmalıdır. Bugüne kadar karşılaşılan en temel problem büyük verinin işlenmesindeki zorluktu. Ancak, SAP HANA sayesinde işletmeler çok büyük hacimli verileri analiz edebileceğinden gelecek hakkında da kestirimleri olabilecektir. Hız ve performans bu nedenlerle önemlidir.

 

ORACLE BIG DATA APPLIANCE

Oracle Big Data Appliance, üzerinde Hadoop Cluster’i ve Oracle Enterprise Linux kurulu gelmektedir. Bu ürünün üzerinde koşan ilişkisel bir veritabanı bulunmamaktadır. Bunların yerine key-value saklama ve sorgulama yapabilen Oracle NoSQL veritabanı bulunmaktadır. Dolayısıyla Oracle Big Data Appliance

üzerinde koşan bütün yazılımlar ücretsizdir. Oracle, Hadoop’u ve yapabileceklerini hemen kullanmanız için gerekli ortamı sağlamaktadır.

  • Veri Akışı: Birbirinden farklı tipte veriler birden çok kaynaktan sisteme akmaktadır. Bu aşamada verilerin sisteme akışı hazırlanır ve Oracle Big Data Appliance‘a yüklenmek üzere yapılandırılır.
  • Toplama ve Organize Etme: Veriler yüksek hacimle, çeşitlilikle ve hızla Oracle Big Data Appliance’a yani HDFS üzerine kaydedilirler. HDFS üç kopya olarak saklar ve bunu Hadoop Cluster’i üzerinde dağıtır.
  • Analiz ve Raporlama: Oracle Big Data Appliance, üzerindeki verileri Map/Reduce’den geçirir ve ilişkisel bir veritabanına yüklenebilecek formata getirdikten sonra yine Infiniband aracılığı ile Bağladığımız Oracle Exadata’ya verileri aktarıp, ilişkisel dünyaya dahil edilmesini sağlar.

 

ORACLE BIG DATA CONNECTORS

Bu yazılım bileşenlerinin amacı veriyi Big Data Appliance’den Oracle veritabanına kolaylıkla çıkartmaktır. Normalde verinin HDFS’den dolayısıyla Hadoop Cluster’inden ilişksel ortama çıkartılabilmesi için de emek ve zaman harcamanız gerekmektedir. Aynı zamanda kurumunuz bünyesinde bunu yapabilecek yetkinlikte personel bulundurmak veya danışmanlık hizmeti almanız gerekmektedir. Big Data ile Oracle veritabanının arasındaki köprü görevini görecek ve yükleme zahmetini ve maliyetini azaltacak olana

bu connector yazılımları şunlardır:

  • Oracle Loader for Hadoop
  • Oracle Direct Connector for Hadoop Distributed File System (HDFS)
  • Oracle Data Integrator Application Adapter for Hadoop
  • Oracle R Connector for Hadoop

 

ORACLE LOADER FOR HADOOP

Bu yazılım bir çeşit Map/Reduce aracıdır. Hadooptan Oracle veritabanına verilerin aktarılmasının optimize edilmesini sağlar. Oracle Loader for Hadoop veriyi, veritabanına yüklenebilecek formata getirebilmek için optimize eder ve değiştirir. Aynı zamanda CPU ve I/O miktarını da azaltmaya destek olur.

 

ORACLE DIRECT CONNECTOR FOR HDFS

Bu yazılımın amacı, Oracle veritabanından HDFS ortamına çok hızlı bir şekilde erişmemizi sağlamaktır. Direct Connector ile dilediğimiz zaman ilişkisel ortamdan, ilişkisel olmayan Big Data ortamına sorgulama yapabiliyoruz .Bunu direkt SQL erişimi yani bir nevi “External Table” gibi düşünebilirsiniz. HDFS üzerindeki veri sorgulanabilir ya da ilişkisel veritabanına yüklenebilir.

 

ORACLE DATA INTEGRATOR APPLICATION ADAPTER FOR HADOOP

Oracle Data Integrator (ODI) aracının big datayla birleştiği yazılımdır. Amacı HDFS üzerinden Oracle veritabanına veri aktarmaktır. Hadoop implementasyonları Java ve Map/Reduce kodu bilmeyi gerektirir. ODI Connector’ü ile bir grafiksel arayüz kullanarak Map/Reduce fonksiyonları yazılabilir ve kullanılabilir. Ardından geliştirilen bu kod hadoop üzerinde koşulur ve Map/Reduce işlemlerini yerine getirir.

 

Günümüzde ortaya çıkan devasa veri yığınlarına hükmetme ihtiyacı özellikle yazılım tarafından büyük yenilikler ve yatırımlar gerektirmeye başladı. Eldeki verinin büyüklüğünü ifade etmek için kullandığımız terimler her geçen gün değişiyor. Giga, tera, pera, exa, … Bu durum büyük verinin gelecek potansiyelinin artmasına neden oluyor. Bunun için birçok firma ortaya farklı çözümler koyuyor. Oracle, SAP, Microsoft PWD, … NoSQL sistemler ve Hadoop big data analizi için büyük önem taşıyor. NoSQL sistemleri özetle üç grup altında toplayabilirz. Grafik tabanlı, döküman tabanlı ve anahtar değer tabanlı. Bu sistemlerin genel özellikleri dışında birbirlerinden bazı farklılıkları bulunmaktadır.

 

Bir Cevap Yazın

E-posta hesabınız yayımlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir