BIG DATA Nedir ve IBM Çözümleri.

3,396 views

Published on

10-11 Nisan'da Akıllı Dünya IBM etkinliklerinde sunuldu

Published in: Technology
0 Comments
1 Like
Statistics
Notes
  • Be the first to comment

No Downloads
Views
Total views
3,396
On SlideShare
0
From Embeds
0
Number of Embeds
32
Actions
Shares
0
Downloads
101
Comments
0
Likes
1
Embeds 0
No embeds

No notes for slide

BIG DATA Nedir ve IBM Çözümleri.

  1. 1. Think BIG Büyük Düşün!... 10 Nisan 2012 – İstanbul 11 Nisan 2012 – AnkaraCüneyt Göksu, VBTIBM Gold ConsultantIBM Champion for Data ManagementCuneyt.Goksu@vbt.com.tr @CuneytG http://www.linkedin.com/in/cuneytgoksu
  2. 2. Ajanda1) Neden BIG Data? Buralara Nasıl Geldik?2) BIG Data Bileşenleri nedir?3) Mevcut Sistemler ile entegrasyonu nasıl olacak ?4) BIG Data Uygulamaları var mı?
  3. 3. Instrumented, Interconnected, Intelligent World 4.630 billion RFID billion tags today camera(1.3B in 2005) phones world %80 vs % 20 wide 100s of millions Yapısal of GPS enabled ve devices Yapısal sold Olmayan annually 2+ billion people 76 million smart on the meters in 2009… Web by 200M by 2014 end 2011
  4. 4. Sosyal Ağlar ve Sosyal İş Yaşamı • Ağustos 2012’de 1 Milyar kullanıcıya ulaşması bekleniyor. 12TB/gün «log data» üretiliyor. • 2012 sonunda 400+ Milyon kullanıcıya ulaşması bekleniyor. • 130 Milyon kullanıcı var. • 100 million aktif kullanıcı. 12+ TB of tweet data/gün!..
  5. 5. Sosyal Ağlar ve Sosyal İş Yaşamı Google günde 24 Petabytes veri işliyor 4.6 Milyar cep telefonu var 2 Milyar Internet kullanıcısının 2013’deki yıllık trafiği 667 Exabytes
  6. 6. Kullanıcılar sadece insanlar değil!.. Source: http://www.mediabistro.com/alltwitter/how-to-get-fido-to-tweet-infographic_b17521
  7. 7. Sensor güdümlü ve enstrüman temelli iş dünyası.BÜYÜK miktarda veriyi, MAKİNA HIZINDA üretiyor. Her motor 10TB/30 Dk veri üretiyor.
  8. 8. “Data generated by machines and sensors willexceed that generated by social media by atleast a factor of 10.” *Leon KatsnelsonProgram Director, Big Data & Cloud ComputingIBM* Makina ve duyargalar, sosyal medyadan 10 kat daha fazla veri üretiyorlar.
  9. 9. 35 ZB 1.8 ZB (1 ZB = 1B TB) 1 ZB 1 ZB=1B TB 4Trillion 8GBGbyte : 109 iPodsTbyte : 1012Pbyte : 1015Ebyte : 1018Zbyte : 1021
  10. 10. Bütün bu bilgiyi saklayacak yer yok!
  11. 11.  Ağustos 2010da Adam Savage, arabasının fotoğrafını akıllı telefon ile çekip, üzerine de "işe gidiyorum" yazarak, Twitter adresine yükledi. Fotoğraf akıllı telefon ile çekildiğinden, çekildiği yerin coğrafi bilgisi otomatik olarak metadata içinde yer alıyordu. Böylece Bay Savage, evinin, arabasının yerini herkese belirtmiş oldu, üstelik evde yokken!
  12. 12. Bir sosyal medya insanı kaç para eder?
  13. 13. BIG Data Bileşenleri : 3VMevcut sistemlerin veri işleme ve analiz kapasitelerinin çok üstündekapasitelere ihtiyaç duyan, büyük miktarda, çeşitlilikte ve hızda türeyenverilerin işlenerek değerlendirilmesi ve değer yaratılmasıVariety Farklı yapılarda, çeşitlilikte ve(Çeşit) karmaşıklıktaki verilerin yönetilmesi. Yapısal, log, ham ve yapısal olmayan gibi...Velocity Büyük miktarda sürekli akışkan(Hız) veri.Volume TBtan PetaBytea (1K TBs),(Hacim) Exabytea (1M TB), Zetabytesa (1B TBs) giden ölçekler
  14. 14. BIG Data Bileşenleri + 2VVerification Veri güvenli olarak transfer edilmeli, doğru(Doğrulama) kullanıcılar tarafından erişilebilmeli.Value Son kullanıcı ve kurum için bir değer(Değer) yaratabilmeli
  15. 15. Geleneksel BT: 30 Yıllık Transaction Yönetimi.  BT uzun yıllar "iş transaction"larının ürettiği verileri toplayıp buradan anlam Analytics çıkardı. Data  Veriler büyük oranda, kurum içinde üretildi.  Yapılan analizler, «geleceği tahmin etmek» yerine, genellikle operasyonların iyileştirilmesine yönelikti.Operational Systems CRM Censors
  16. 16. Geçmişin performanslı sistemleri, geleceğin tahmin edilmesi için yeterli olmayabilir!Sürekli geçmişi iyileştirmek ve onu gözlemek yerine nasıl ileriye odaklanacağız?
  17. 17. Houston... We have a problem!... Bir kurumun çözümleyebileceği verinin yüzdesi, o kuruma gelen verinin artış hızı ile orantılı olarak azalıyor. Başka bir deyişle, zaman geçtikçe, işimiz hakkında daha az bilgi sahibi oluyoruz. Data AVAILABLE to an organization Data an organization can PROCESS
  18. 18. IDUG (International DB2 Users Group) 2007 Konferansı - Keynote Enterprise Intelligence ”Data finds the data … Relevance finds the user” Jeff Jonas, Chief Scientist, IBM Entity Analytics IBM Distinguished Engineer JeffJonas@us.ibm.com
  19. 19. Big Data Analitik UygulamalarıSmarter Healthcare Multi-channel Finance Log Analysis salesHomeland Security Traffic Control Telecom Search Quality Manufacturing Trading Analytics Fraud and Risk Retail: Churn, NBO
  20. 20. Bazı Big Data uygulamaları Log Analytics (IT for IT) Smart Grid / Smarter Utilities RFID Tracking & Analytics Fraud / Risk Management & Modeling 360° View of the Customer Warehouse Extension Email / Call Center Transcript Analysis Call Detail Record Analysis IBM Watson
  21. 21. Gittikçe daha da fazla artan veri üretimi.• Retailers collect click-stream data from Web site interactions and loyalty card-drive transaction data – This traditional POS information is used by retailer for shopping basket analysis, inventory replenishment – But data is being provided to suppliers for customer buying analysis• Healthcare has traditionally been dominated by paper-based systems, but this information is getting digitized• Science is increasingly dominated by big science initiatives – Large-scale experiments generate over 15 PB of data a year and can’t be stored within the data center; then sent to laboratories• Financial services are seeing larger volumes through smaller trading sizes, increased market volatility, and technological improvements in automated and algorithmic trading
  22. 22. Hareket halindeki veriVerinin hiç saklanmadığını, dolayısı ile saklama maaliyetlerinin hiç olmadığını hayal edin!
  23. 23. Data In Motion  Bir önceki çözüm, yeni talep edilen 3G ihtiyaçlarına ve artan iş ve veri hacmine cevap vermekten uzaktı. Streams ve Netezza ortaklığındaki çözüm ile - Yeni ürünlerin hazırlanıp, piyasaya sunulma süresi saatlerden dakikalara indi. - Verinin birleştirme ve yükleme zamanı %90 azaldı.
  24. 24. Veri = Ürün
  25. 25. • Tamamen ücretsiz oyun olanakları sunuyor.• Sanal ürünler satarak gelir elde ediyor.• Aylık ortalama 232M aktif kullanıcı bulunuyor.• Oyuncuların %95’i hiç alışveriş yapmıyor!• Big Data analizi kullanarak oyun dünyasını altüst etti. Biz aslında bir oyun şirketiymiş gibi gözüken bir veri analizi şirketiyiz Ken Rudin, Zynga VP of Analytics
  26. 26. Supply Chain Recommendation for Natural Disasters
  27. 27. Correlate combined risk andimpending weather threats to Dynamically optimize inventory and updated risk determine supply chain assessment recommendations for assets in projected path Real-time projections of hurricane path
  28. 28. The IBM Big Data Platform
  29. 29. IBM Big Data Platformu Nisan 5 duyurusu: IBM Big Data & Netezza Product Group InfoSphere BigInsights Hadoop temelli, az gecikmeli, çeşitli ve yüksek hacimli veri analizi Hadoop Information Stream ComputingInfoSphere Information Server Integration InfoSphere StreamsYüksek hacimli veri entegrasyon Akışkan Veri için az gecikmeli ve dönüşüm analiz MPP Data Warehouse IBM InfoSphere Warehouse IBM Smart Analytics Yüksek hacimli, yapısal veri IBM Informix Timeseries System analizi Time-structured analytics Yapısal veri üzerinde IBM Netezza High IBM Netezza 1000 BI+Ad Hoc operasyonel analiz Capacity Appliance Sorgulanabilir Arşivlenmiş Yapısal Veri Analizi yapısal veri
  30. 30. Big Data Platformu ne yapar? Farklı Çeşitlilikte Veri Analizi Karışık özellikte veriler üzerinde daha önce yapılamayan analizlerin yapılması. Hareketli Bilgi Analizi Yüksek hacimli akan verinin, ad-hoc analizi Çok Yüksek Hacimli Veri Analizi PB ölçeğinde verinin uygun fiat/performans kriterlerinde, analizi Keşfet ve Deneyle Veri üzerinde Ad-hoc analiz, veri keşfi ve deneyleme Yönet ve Planla Veri kurallarını, bütünlüğünü denetleme ve uygulama
  31. 31. Tamamlayıcı Analitik Geleneksel Yaklaşım Yeni Yaklaşım Yapısal, Analitik, Mantıksal Yaratıcı, bütünlükçü düşünce, sezgisel Veri Ambarı Hadoop Streams Transaction Data Web KütükleriIç Uygulamalar Yapısal Sosyal Veri Structured Yapısal Değil Unstructured Repeatable Kurumsal Exploratory Tekrar edilebilirMainframe Verisi Linear Entegrasyon Keşfedilebilir Text Veri: eposta Iterative Monthly sales reports Brand sentiment Lineer Profitability analysis OLTP Sistemleri surveys Döngüsel Product strategy Customer Maximum asset utilization imaj Duyarga Verisi: ERP Geleneksel Yeni RFID Kaynaklar Kaynaklar
  32. 32. Açık Kaynak Yazılımla iç içe!• Açık Kaynak Topluluğa yıllardır yapılan katkılar- Apache Hadoop ve Jaql, Apache Derby, Apache Geronimo, Apache Jakarta- Eclipse: IBM tarafından kuruldu.- Lucene katıları, IBM Lucene Extension Library (ILEL) kanalı ile...- DRDA, XQuery, SQL, XML4J, XERCES, HTTP, Java, Linux...• Açık kaynak kodlu IBM Yazılımları – WebSphere: Apache – Rational: Eclipse ve Apache – InfoSphere: Eclipse ve Apache• IBM’s BigInsights (Hadoop) is %100 açık kaynak kodlu bir yazılımdır
  33. 33. February 2012 “The Forrester Wave™: Enterprise Hadoop Solutions, Q1 2012” Forrester Wave™: Enterprise Hadoop Solutions, Q1 ’2012 Amazon IBM Oracle
  34. 34. BIG Data teknolojilerini öğrenmenin eğlenceli ve kolay yolu: Satıcı bağımsız, topluluk temelli, IBM ve diğer liderler tarafından destekleniyor; Esnek, çevrim içi eğitimler; Ücretsiz kurslar ve çalışma materyalleri; Video destekli, kolay öğrenim olanakları; Bulut temelli alıştırma imkanları; 14000+ kayıtlı öğrenci.
  35. 35. Cüneyt Göksu, VBTIBM Gold ConsultantIBM Champion for Data Management37Cuneyt.Goksu@vbt.com.tr

×