Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

8,169 views

Published on

講者:SYSTEX 數據加值應用發展部產品經理 | 陶靖霖
議題簡介:認清現實吧! Big Data 是個熱門詞彙、熱門議題,但是問題的核心仍然圍繞在資料處理的流程、架構與技術,要踏入 Big Data 的領域,使用者會遭遇哪些挑戰? Splunk 被譽為「全球最佳的 Big Data Company」,究竟在資料處理的流程中擁有什麼獨特的技術優勢,能夠幫助使用者克服這些挑戰?又有哪些成功幫助使用者從資料中萃取出價值的應用案例?歡迎來認識 Splunk 以及全球 Big Data 成功案例。

Published in: Technology
1 Comment
51 Likes
Statistics
Notes
  • 台灣最大茶莊~素質有保障台灣本土 看照選妹(小女子一人打拼養一家人~實屬不易~若不喜,望手下留情,勿向網站舉報脹號) 你還在委屈你的弟弟打手槍嗎~遜耶 你的弟弟需要緊窒濕熱的洞洞緊緊的含著 插進去就迅速大力的頂~插得淫水猛流~發出咕咕咕的聲音 輕輕抽出來再用力的頂進去~越來越快~ 洞洞一陣收縮含得越來越緊~九淺一深用力的插最爽了~ 看照選妹~想要這樣心情做愛的就加我吧 什麼類型的正妹都有喔,任你上~小明星`模特也是不少喔~ 約完了我手上有的模特小明星空姐~ 我再給你挖喔~嘿嘿 LINE:xtscf86或SKYPE:mm88936 先選妹:http://xtscf86.weebly.com/
       Reply 
    Are you sure you want to  Yes  No
    Your message goes here
No Downloads
Views
Total views
8,169
On SlideShare
0
From Embeds
0
Number of Embeds
89
Actions
Shares
0
Downloads
997
Comments
1
Likes
51
Embeds 0
No embeds

No notes for slide

Big Data Taiwan 2014 Track1-3: Big Data, Big Challenge — Splunk 幫你解決 Big Data 議題帶來的挑戰

  1. 1. ! Big Data, Big Challenge Splunk Big Data Splunk
  2. 2. ! Big Data
  3. 3. ! Big Data Data Input Output Processor Storage! Informa4on 所謂巨量資料,就是用現有的一般技術難以管理的大量數據 的集合 野村綜合研究所
  4. 4. ! Big Data 生 流 存 算 用 看
  5. 5. ! 生 流 存 算 用 看 我需要的資料從 哪裡來? 要怎麼收集資料? 資料收集能力? 資料格式的限制? 資料如何ETL? 資料如何正規化? 該如何呈現運算分析 結果? 該用什麼工具呈現? 需要客製開發嗎? 資料可否壓縮保存? 資料可否備份? 保存年限與生命週 期管理? 如何尋找與計算? 如何撰寫MR程式? 需要多久才能學會? 如何輸出運算結果? 如何與其他系統整 合?
  6. 6. ! Hadoop Ecosystems 生 流 存 算 用 看
  7. 7. ! ! ! !
  8. 8. ! 全球最佳 Big Data 創新應用公司 8!
  9. 9. ! 獲獎無數 Big Data Innovator 2013 SIEM Magic Quadrant LEADER 2012 Security Market Growth #1 Worldwide 2012 IT Operations Market Growth #3 Worldwide Best SIEM North America Best Enterprise Security Solution EMEA #1 ! Most Innovative#4 !
  10. 10. ! Splunk
  11. 11. ! Splunk !! Metadata! 報表與分析 客製化 儀表板 即時監視 與告警 快速搜尋 整合與介接 資安分析 系統維運 用戶行為 精準行銷 萬物聯網 商業分析
  12. 12. ! Splunk Big Data 生 流 存 算 用 看
  13. 13. ! •  –  •  –  –  •  –  生 流 存 算 用 看
  14. 14. ! Key-Value Pair (KVP) •  ETL • 
  15. 15. ! •  ETL • 
  16. 16. ! • 
  17. 17. ! Best Practices 建立具有可讀性的資料
  18. 18. ! Best Practices •  Text Binary –  parsing •  XML –  JSON •  •  timestamp •  time offsets •  Timestamp •  UUID Session ID –  •  –  –  • 
  19. 19. ! 19! 特性! ! ! 時間序列,時間順序性! ! 純文字格式(Plain!Text)! ! 內容產生後不再修改! ! ! ! 日誌(Log/Event)! 紀錄(Record)! 封包資訊 工業設備訊號 感應器資料 資料庫內的資料 效能量測指標 Message/Queue! 設定檔 點擊紀錄 系統畫面 STDOUT! API!輸出
  20. 20. ! 20! 不用事先定義資料欄位,不用客製化連接器,不用資料庫,不需要事先過濾   Web!logs!   Log4J,!JMS,!JMX!   .NET!events!   Code!and!scripts!   Configura4ons!   syslog!   SNMP! neUlow!   Configura4ons!   Audit/query! logs!   Tables!   Schemas!   Hypervisor!   Guest!OS,!Apps!   Cloud!   Configura4ons!   syslog!   File!system! ps,!iostat,!top!   Registry!   Event!logs!   File!system!   sysinternals! Logfiles! Configs! Messages! Traps!! !Alerts! Metrics! Scripts! Tickets!Changes! UNIX Linux/Unix!Windows! Networking!Databases!Applica4ons! !! ! Virtualiza4on!   Click`stream!data!   Shopping!cart!data!   Online!transac4on! data! ! !   Manufacturing,! logis4cs…!   CDRs!!IPDRs!   Power!consump4on!   RFID!data!   GPS!data!
  21. 21. ! •  –  –  –  •  ETL (Extract, Transform, Load) –  –  生 流 存 算 用 看
  22. 22. ! Splunk 結構化資料 非結構化資料 關聯式 資料庫 半結構化資料 Log Email XML 聲音 圖片 影像 Extract! Metadata
  23. 23. ! Splunk 彈性的資料收集方式,可使用代理程式或免用代理程式 perf shell code Mounted File Systems! hostnamemount syslog! TCP/ UDP WMI! Event Logs! Performance Active ! Directory syslog compatible hosts! and network devices Unix, Linux and Windows hosts
 (NFS, CIFS, SMB…etc.) Windows hosts DB Connection, SNMP, REST API, STDOUT…etc. Local File Monitoring! log files! config files! dumps and trace files Windows Inputs! Event Logs! performance counters! registry monitoring! Active Directory monitoring virtual! host Windows hosts Scripted! Inputs! shell scripts! custom parsers! batch loading 免安裝代理程式 Splunk Forwarder
  24. 24. ! 24! 壓縮與加密!!! 日誌緩衝佇列 自動負載平衡 自動故障轉移 自動斷線重傳 匿名化個資遮罩 傳輸頻寬管理 分散式搜尋 Forwarder Forwarder Forwarder
  25. 25. ! •  ETL (Extract, Transform, Load) –  – ETL –  •  –  –  生 流 存 算 用 看
  26. 26. ! Splunk •  •  •  –  JSON, CSV, W3C…etc.
  27. 27. ! Data Schema
  28. 28. !
  29. 29. ! Hadoop ETL
  30. 30. ! Splunk •  Hadoop •  –  Replication Factor •  Multi-site Clustering –  •  –  PB
  31. 31. ! ! Hot!Buckets! Warm!Buckets!
  32. 32. ! •  –  Time to Value –  •  生 流 存 算 用 看
  33. 33. ! Search your IT infrastructure J2EE exception Last 60 minutes fail* password sshd Last 30 minutes Last 60 minutes Last 3 hours Last 24 hours Last 7 days All time Last 24 hours
  34. 34. !
  35. 35. ! •  •  •  (Regular Expression) •  •  Join •  (Lookup) •  •  •  (Tag) (Event Type) •  (Data Modeling) (Pivot) •  (Predictive Analysis)
  36. 36. ! Splunk Map Reduce 36! Indexer Search Head 分散式搜尋 Search!Head Map Reduce Indexer Indexer Indexer Indexer
  37. 37. ! Hadoop 3 匯入 瀏覽 匯出 Splunk Hadoop Connect Hadoop Splunk' Hadoop'' Connect' HA'Indexes' and'Storage' Commodity' Servers' Hadoop' (MapReduce' 'HDFS)' Report'and'' analyze' Custom'' dashboards' Monitor'' and'alert' Ad'hoc'' search'
  38. 38. ! Hadoop! ! 可完全與 Hadoop!整 合,運用 Hadoop 完 成搜尋與計算 能夠立即為 Hadoop! 的導入帶來效益 可直接使用已存在 Hadoop 內的資料 搜尋與探索 視覺化 儀表板 分享分析 NoSQL'and'Other'Data'Stores' Hadoop!Client!Libraries! Streaming!Resource!Libraries! 保留 Splunk 全功能, 操作方式與 Splunk 完全相同
  39. 39. ! Splunk ' ' ' '
  40. 40. ! •  –  –  Big Data •  –  –  –  生 流 存 算 用 看
  41. 41. ! ! 避險! 節流! 開源! 日誌管理! 資安稽核! 法規遵循! 個資法! ISO27001!/!ISO20000! 資安監控! 資安事件分析! 網站/App分析! 使用者行為分析! Customer!Insight! 精準行銷! (CEM)用戶經驗管理! 商業情報分析! Business!Insight! IT!與系統狀態監控! 效能與資源監控! 應用系統管理/監控! 故障查找排除! 異常問題調查! 資源規劃! !
  42. 42. ! Splunk IT Business •  Splunk –  –  –  –  –  … 42! Splunk 帶來「一份日誌,多重應用」的複合價值 Mush up Web Apps 網站管理 團隊 VPs of Infrastruct ure
  43. 43. ! 43! 網站維運分析 應用系統管理 商情分析 資安與法規遵循 LOB!Owners/! Execu4ves! Customer! Support! System! Administrator! IT 維運管理 Opera4ons! Teams! Security! Analysts! IT!! Execu4ves! Development!! Teams! Auditors! Website/Business! Analysts!
  44. 44. ! Splunk Apps 超過!500!種!Apps!提供各種應用方式 REST!API! XenApp! XenDesktop! Server, Storage, Network Server Virtualization Operating Systems Infrastructure Applications Mobile Applications Cloud Services Other Monitoring Ticketing/Help Desk Custom Biz Applications SDKs! Web!Framework!
  45. 45. ! Splunk REST API Web Framework 開發人員可以利用熟悉的程式語言、SDK 介接其他系統或開發應用 Web!! Framework! JAVA' JavaScript' Python' Data'Models' Search' Extensibility' Modular'Inputs' SDKs'Simple'XML' JavaScript' Django' Ruby' C#' PHP'
  46. 46. ! ODBC driver
  47. 47. ! DB Connect RDBMS Hadoop
  48. 48. ! Splunk Hortonworks Cloudera
  49. 49. ! Splunk Tableau
  50. 50. ! •  Hadoop •  vs. –  –  … •  Data Visualization / –  … 生 流 存 算 用 看
  51. 51. ! Splunk 不需要撰寫程式,即選即用
  52. 52. ! Apps
  53. 53. !
  54. 54. ! Splunk 生 流 存 算 用 看 完整成熟的解決方案,涵蓋巨量資料處理各階段會遭遇的挑戰 成熟穩定的資料 收集機制 完善的資料格式 處理能力 妥善的資料生命 週期管理 強大的資料搜尋 運算功能 貼心的 Hadoop 整合應用 開放彈性的資料 整合開發平台 優異便利的 資料視覺化工具
  55. 55. ! Splunk!!Hunk!是 Hadoop!的好朋友 Splunk!是優異的機器資料應用平台 從資料來源開始規劃,事半功倍 Big!Data!議題不只是分散式或是計算的問題
  56. 56. ! Q A

×