海量資料:行動運算的最後一塊拚圖      海量資料:行動運算的最後一塊拚圖From WSN to Mobile Computing, Big Data : The Missing PuzzleFrom WSN to Mobile Comput...
WHO AM I ? 這傢伙是誰啊? JAZZ ?    WHO AM I ? 這傢伙是誰啊? JAZZ ?• 講者介紹:  – 國網中心 王耀聰 副研究員 / 交大電控八九級碩士  – jazz@nchc.org.tw• 所有投影片、參考資料...
DECLARATION 內容重點聲明  DECLARATION 內容重點聲明        筆者不是行動運算的專家,    目前筆者的專長是雲端運算相關技術,      特別是海量資料運算相關技術,    過去曾經執行過多項感測網路的專案,  ...
Agenda 演講大綱        Agenda 演講大綱From WSN to IoT?From WSN to IoT?      物聯網的崛起                      物聯網的崛起What is Cloud ?What ...
This is a story about Data Flow今天要講一個關於 資料的漫長旅程
資料的漫長旅程 Magic Journey of Data                     Sensor                                    雲    資料中心          開放資料       ...
HISTORY歷史
無線感測器網路 (Wireless Sensor Network) 感測器網路泛指由各式各樣不同的感測器所組成, 透過網路鏈結成一大型的資訊蒐集網。    Video                Camera              Inf...
生態觀測格網 (Ecology Grid)   http://ecogrid.nchc.org.tw
KenTing Ecosite Geography Topology                          Taipower                         Admin office     Optical     ...
KenTing Dataflow and Storage                                   EcoGrid Website PC                        HiNet ADSL       ...
Underwater Camera
Site A
Site B & CSite B & C
農業格網 (Agriculture Grid)http://sensor.nchc.org.tw/tounan
Sensor               Camera  Data                Video Logger               Server                      AccessAP Client   ...
Electric Wire PostElectric Wire Post
Passive Field Server
文湖線無線管理單元 (TRTC Neihu WSU) http://www.flickr.com/photos/rail02000/5292653579/lightbox/
Wireless Fast RoamingAP #1              AP #2                                光纖      車廂         攝影機WSU        緊急通話
TRENDS趨勢
物聯網的時代來臨 Internet of Things圖片來源: Attacks on Mobile and Embedded Systems: Current Trends by Mocana
http://www.techbang.com/posts/1258-wifi-scales-through-the-internet-to-manage-your-weight
智慧電網的新政策 Smart Grid圖片來源: NIST ,美國國家標準局
The Trends of Cloud Computing雲端運算的趨勢觀察:搜尋關鍵字熱門度                                     Google Trends                         ...
開放資料的新趨勢 Open Data    http://data.gov.uk/
開放資料的實例 Open Datahttp://www.mygonews.com/news/detail/news_id/101779
我個人的開放資料慘痛經驗 Ocean Database http://oceandb.info
Agenda 演講大綱        Agenda 演講大綱From WSN to IoT?From WSN to IoT?   物聯網的崛起                   物聯網的崛起What is Cloud ?What is Clo...
WHAT定義
什麼是雲端運算啊?                            What is Cloud Computing ?http://www.youtube.com/watch?v=bJLSAcU6O3U   當紅「雲端運算」 你瞭解了嗎?...
Paradigm Shift of Cloud Business Model !!             雲端商業模式的典範轉移軟體從買斷變成租賃                              硬體從買斷變成租賃         ...
National Definition of Cloud Computing National Definition of Cloud Computing美國國家標準局 NIST 給雲端運算所下的定義美國國家標準局 NIST 給雲端運算所下的定...
4 Deployment Models of Cloud Computing4 Deployment Models of Cloud Computing         雲端運算的四種佈署模型         雲端運算的四種佈署模型      ...
3 Service Models of Cloud Computing    3 Service Models of Cloud Computing      雲端運算的三種服務模式(市場區隔)      雲端運算的三種服務模式(市場區隔)  ...
2 perspectives :: Services vs Technologies2 perspectives Services vs Technologies 您想聽的是「雲端服務」還是「雲端技術」 ? 您想聽的是「雲端服務」還是「雲端技術...
One key spirit of Cloud ComputingOne key spirit of Cloud Computing 用一句話說明雲端運算 !! 服務才是王道 !! 用一句話說明雲端運算 服務才是王道  Anytime  Any...
WHO誰在賣
Supply Chain of Cloud Industry !! 雲端產業的供應鍊                                     端應用軟體應用軟體供應商 供應商行動裝置行動裝置                   ...
Who are the Cloud Service Providers ?Who are the Cloud Service Providers ?              雲端關鍵提供者              雲端關鍵提供者  Publ...
WHEN何時
The Wisdom of Clouds (Crowds)雲端序曲:雲端的智慧始終來自於群眾的智慧                2006 年 8 月 9 日                2006 年 8 月 9 日Google 執行長施密特...
Evolution of Cloud Services               Evolution of Cloud Services            雲端服務只是軟體演化史的必然趨勢            雲端服務只是軟體演化史的必...
WHY為何
Why are they named by “ SMART ” ?!              智慧打哪兒來?! Smart Phone                    Smart Car   智慧手機                  ...
Can Machine understand You?        讓機器更懂你?                       http://www.ettoday.net/news/20120215/25085.htm
Data, Information, Knowledge, Wisdom知識管理模型:資料、資訊、知識與智慧  http://www.pursuantgroup.com/blog/tag/dikw-model/
Agenda 演講大綱        Agenda 演講大綱From WSN to IoT?From WSN to IoT?     物聯網的崛起                     物聯網的崛起What is Cloud ?What is...
Key Driving Forces of Cloud ComputingKey Driving Forces of Cloud Computing         雲端運算的關鍵驅動力         雲端運算的關鍵驅動力          ...
「笨蛋!重點在經濟」  ( "Its the economy, stupid")卡維爾( James Carville )自創這句標語,  促使柯林頓當上美國第 42 屆總統。                            - 1992...
Data Explosion!! 始於 2007 的「資料大爆炸」時代                                                                                      2...
Data expanded 1.6x each year !! 每年約略 1.6 倍                                                              追蹤歷年的 IDC 數據:     ...
What is Big Data?! 何謂『海量資料』?  海量資料泛指資料大小已無法用一般軟體擷取、管理與處理;         單一資料集大小介於數十 TB 至數 PB 的資料。  Big Data = few dozen TeraByte...
Gartner Big Data Model ? 海量資料的模型? 海量資料的挑戰在於如何管理「數量」、「增加率」與「多樣性」                                              參考來源:        ...
12D of Information Management?                                12 個維度?                                     品質管控            ...
HOW怎麼做
New IT Architecture toward Cloud Computing !! 用雲掌握資料,加以分析,形成智能給端用                                       雲                 ...
4. 下載最佳路徑 1. 上傳行進軌跡 6. 上傳最佳路徑執行狀態   ( 判斷是否需要修正)         3. 運算             2. 運算         最佳路徑    起始        掃過區域            ...
Three Key Technologies !! 三種服務模式 vs. 三大關鍵技術   隨需   隨需                  SaaS                       SaaS                Web ...
Agenda 演講大綱        Agenda 演講大綱From WSN to IoT?From WSN to IoT?     物聯網的崛起                     物聯網的崛起What is Cloud ?What is...
十九世紀是帝國的世紀二十世紀是國家的時代二十一世紀將是城市的時代                                                         61http://www.postscapes.com/anato...
市                                 居住在城                 上            的人口            50% 以      以 後已有    裡2008 年            ...
超                         個         城     市》                    《                                                         ...
五                                                     年                百                                               全  ...
的                                                 十                  能                                          至         ...
感                                                          智 測                                                  慧         ...
安      、                  、環                                                          量            境                      ...
68http://www.postscapes.com/anatomy-of-a-smart-city-full
智慧城市的六個維度 6D of Smart Cities    根據維基百科的定義,    智慧城市包含六個維度                              智慧經濟                                ...
讓人民有感的智慧城市 Ubiquitous Computing                   食      樂                   Food                              衣   Enterta...
幫忙您找食物的地理資訊系統服務http://www.ipeen.com.tw/map/#loc=台中市                                       71
幫忙您決定該怎麼穿衣服的氣象服務   http://www.cwb.gov.tw/township/                                     72
幫忙您找房子的地理資訊服務   http://rent.591.com.tw/   73
幫忙您查即時交通路況的地理資訊服務    http://1968.freeway.gov.tw/   74
幫忙您查即時交通路況的地理資訊服務http://www.datanami.com/datanami/2012-08-01/what_it_takes_to_deliver_real-time_traffic_info.html75
用地理資訊服務學習一個城市的歷史    http://hypercities.ats.ucla.edu/   76
運用地理資訊服務進行防災應變 http://earth.wra.gov.tw/water/index.html                                            77
Agenda 演講大綱        Agenda 演講大綱From WSN to IoT?From WSN to IoT?      物聯網的崛起                      物聯網的崛起What is Cloud ?What ...
The SMAQ stack for big data                     海量資料處理的資訊架構                                               未來處理海量資料的人必需知道  ...
The SMAQ stack for big data                    海量資料處理的資訊架構                                                   用來儲存分散、沒有關聯  ...
The SMAQ stack for big data                    海量資料處理的資訊架構                                                   運用批次處理的方式,將  ...
The SMAQ stack for big data                    海量資料處理的資訊架構                                                   將算完的結構化資料儲存  ...
Three Core Technologies of Google ....                 Google 的三大關鍵技術 ....• Google 在一些會議分享他們的三大關鍵技術• Google shared their d...
Open Source Mapping of Google Core TechnologiesOpen Source Mapping of Google Core Technologies         Google 三大關鍵技術對應的自由軟...
Hadoop                          Hadoop•   http://hadoop.apache.org•   Hadoop 是 Apache Top Level 開發專案•   Hadoop is Apache T...
Hadoop 簡介          Hadoop 簡介 Hadoop 是一個讓使用者簡易撰寫並執行處理海量資料應用程式的軟體平台。 亦可以想像成一個處理海量資料的生產線,只須學會定義 map 跟 reduce 工作站該做哪些事情。  就像工廠...
Sector // Sphere                     Sector Sphere•   http://sector.sourceforge.net/•   由美國資料探勘中心研發的自由軟體專案。•   Developed b...
Why we choice Hadoop? Good Ecosystem!         豐富的生態系建構出處理海量資料的工具庫                                                         ...
Agenda 演講大綱        Agenda 演講大綱From WSN to IoT?From WSN to IoT?      物聯網的崛起                      物聯網的崛起What is Cloud ?What ...
IoT is the source of Big Data          Cloud Computing is the Store    Big Data is the key to Mobile Computing      SMAQ i...
Questions?               Questions?Slides -- http://trac.nchc.org.tw/cloudSlides http://trac.nchc.org.tw/cloud  Jazz Wang ...
Upcoming SlideShare
Loading in...5
×

Big Data : The Missing Puzzle of Mobile Computing

599

Published on

Published in: Technology
0 Comments
0 Likes
Statistics
Notes
  • Be the first to comment

  • Be the first to like this

No Downloads
Views
Total Views
599
On Slideshare
0
From Embeds
0
Number of Embeds
0
Actions
Shares
0
Downloads
23
Comments
0
Likes
0
Embeds 0
No embeds

No notes for slide

Big Data : The Missing Puzzle of Mobile Computing

  1. 1. 海量資料:行動運算的最後一塊拚圖 海量資料:行動運算的最後一塊拚圖From WSN to Mobile Computing, Big Data : The Missing PuzzleFrom WSN to Mobile Computing, Big Data : The Missing Puzzle Jazz Wang Jazz WangYao-Tsung WangYao-Tsung Wang jazz@nchc.org.tw jazz@nchc.org.tw 1
  2. 2. WHO AM I ? 這傢伙是誰啊? JAZZ ? WHO AM I ? 這傢伙是誰啊? JAZZ ?• 講者介紹: – 國網中心 王耀聰 副研究員 / 交大電控八九級碩士 – jazz@nchc.org.tw• 所有投影片、參考資料與操作步驟均在網路上 – http://trac.nchc.org.tw/cloud – 由於雲端資訊變動太快,愛護地球,請減少不必要之列印。 行動力薄弱的開發者 FOSS 使用者 TRTC WSU/ Debian/Ubutnu Haduzilla / Access Grid Hadop4Win / Ezilla Motion/VLC 推廣者 Red5 DRBL/Clonezilla Debian Router Partclone/TuxbootDRBL/Clonezilla Hadoop Ecosystem Hadoop 2
  3. 3. DECLARATION 內容重點聲明 DECLARATION 內容重點聲明 筆者不是行動運算的專家, 目前筆者的專長是雲端運算相關技術, 特別是海量資料運算相關技術, 過去曾經執行過多項感測網路的專案, 本演講將跟各位分享資料是如何從感測網路 到行動運算中間的漫長旅途! Im NOT Export of Mobile Computing. My current research topics are: Cloud Computing and Big Data.I worked on few WSN projects years ago. In this talk, Im trying to share the magic journey of sensor data to mobile computing. 3
  4. 4. Agenda 演講大綱 Agenda 演講大綱From WSN to IoT?From WSN to IoT? 物聯網的崛起 物聯網的崛起What is Cloud ?What is Cloud ? 淺談雲端運算 淺談雲端運算Cloud and Big DataCloud and Big Data 雲與海量資料 雲與海量資料Smart City AppSmart City App 智慧城市應用 智慧城市應用How to do in futureHow to do in future 打造基礎建設 打造基礎建設 Conclusion Conclusion 結論 結論 4
  5. 5. This is a story about Data Flow今天要講一個關於 資料的漫長旅程
  6. 6. 資料的漫長旅程 Magic Journey of Data Sensor 雲 資料中心 開放資料 Cloud Computing Cloud Computing Networ 提供服務 Open DataInternet of ThingsInternet of Things k 雲物 端聯 端 運網 算 各類裝置 Smart 存取服務 Grid Big Data Mobile Computing 6
  7. 7. HISTORY歷史
  8. 8. 無線感測器網路 (Wireless Sensor Network) 感測器網路泛指由各式各樣不同的感測器所組成, 透過網路鏈結成一大型的資訊蒐集網。 Video Camera Infrared Speaker Light Audio Photo- Sensor Micro- meter Network phone Data Thermo- Water meter Gauge Hygro- meter
  9. 9. 生態觀測格網 (Ecology Grid) http://ecogrid.nchc.org.tw
  10. 10. KenTing Ecosite Geography Topology Taipower Admin office Optical connector Field server 1st camera 2nd camera 3rd camera
  11. 11. KenTing Dataflow and Storage EcoGrid Website PC HiNet ADSL 512K/512K x 2 NCHC KM Storage LANKenTing Ecosite PC Current Usage: MPEG-1 90G @ 2004/09/01 Tape Disk Disk
  12. 12. Underwater Camera
  13. 13. Site A
  14. 14. Site B & CSite B & C
  15. 15. 農業格網 (Agriculture Grid)http://sensor.nchc.org.tw/tounan
  16. 16. Sensor Camera Data Video Logger Server AccessAP Client Point Router TANET TANET Special Education School Bridge NCHC BridgeField Server Pigeon House Access AP Client Router Point Data Video ADSL Logger Server moderm Internet Internet Sensor Camera
  17. 17. Electric Wire PostElectric Wire Post
  18. 18. Passive Field Server
  19. 19. 文湖線無線管理單元 (TRTC Neihu WSU) http://www.flickr.com/photos/rail02000/5292653579/lightbox/
  20. 20. Wireless Fast RoamingAP #1 AP #2 光纖 車廂 攝影機WSU 緊急通話
  21. 21. TRENDS趨勢
  22. 22. 物聯網的時代來臨 Internet of Things圖片來源: Attacks on Mobile and Embedded Systems: Current Trends by Mocana
  23. 23. http://www.techbang.com/posts/1258-wifi-scales-through-the-internet-to-manage-your-weight
  24. 24. 智慧電網的新政策 Smart Grid圖片來源: NIST ,美國國家標準局
  25. 25. The Trends of Cloud Computing雲端運算的趨勢觀察:搜尋關鍵字熱門度 Google Trends 觀察全球對雲端運算 這個字眼的熱門搜尋 趨勢~ 約莫 2007 年開始炒 2011 年到達頂峰 2012 年開始退燒 http://www.google.com/trends
  26. 26. 開放資料的新趨勢 Open Data http://data.gov.uk/
  27. 27. 開放資料的實例 Open Datahttp://www.mygonews.com/news/detail/news_id/101779
  28. 28. 我個人的開放資料慘痛經驗 Ocean Database http://oceandb.info
  29. 29. Agenda 演講大綱 Agenda 演講大綱From WSN to IoT?From WSN to IoT? 物聯網的崛起 物聯網的崛起What is Cloud ?What is Cloud ? 淺談雲端運算 淺談雲端運算 29
  30. 30. WHAT定義
  31. 31. 什麼是雲端運算啊? What is Cloud Computing ?http://www.youtube.com/watch?v=bJLSAcU6O3U 當紅「雲端運算」 你瞭解了嗎?http://www.youtube.com/watch?v=VIMtd3nfPqc 雲端產業 8 分鐘就上手
  32. 32. Paradigm Shift of Cloud Business Model !! 雲端商業模式的典範轉移軟體從買斷變成租賃 硬體從買斷變成租賃 硬體從買斷變成租賃軟體從買斷變成租賃 PC // Server → PC Server → Office 2007 → Office 2007 → Hosting // Colocation → Hosting Colocation → Google Docs // Office 365 Google Docs Office 365 Amazon EC2 // S3 Amazon EC2 S3軟體從單機變成行動軟體從單機變成行動 硬體從固定變成行動 硬體從固定變成行動 Outlook → Webmail → Outlook → Webmail → PC // Server → PC Server → Mail Web Apps → Mail Web Apps → NB // Tablet → NB Tablet → Mail Mobile Apps Mail Mobile Apps Pad // Mobile Pad Mobile
  33. 33. National Definition of Cloud Computing National Definition of Cloud Computing美國國家標準局 NIST 給雲端運算所下的定義美國國家標準局 NIST 給雲端運算所下的定義 5 Characteristics 5 Characteristics 五大基礎特徵 五大基礎特徵 4 Deployment Models 四個佈署模型 4 Deployment Models 四個佈署模型 3 Service Models 3 Service Models 三個服務模式 三個服務模式1. On-demand self-service.1. On-demand self-service. 隨需自助服務 隨需自助服務 4. Rapid elasticity 4. Rapid elasticity 2. Broad network access 2. Broad network access 快速重新佈署靈活度 快速重新佈署靈活度隨時隨地用任何網路裝置存取隨時隨地用任何網路裝置存取 5. Measured Service 5. Measured Service 3. Resource pooling 3. Resource pooling 可被監控與量測的服務 可被監控與量測的服務 多人共享資源池 多人共享資源池
  34. 34. 4 Deployment Models of Cloud Computing4 Deployment Models of Cloud Computing 雲端運算的四種佈署模型 雲端運算的四種佈署模型 Dynamic Resource Provisioning between public and private cloud Public Cloud 私有雲端動態根據計算需求 公用雲端 調用公用雲端的資源 Target Market is S.M.B. 以大型企業 主要客戶為 Hybrid 為主要客戶 中小企業 Cloud Enterprise is key marketCommunity Cloud 私有雲端 社群雲端 Private Cloud Academia 學術為主
  35. 35. 3 Service Models of Cloud Computing 3 Service Models of Cloud Computing 雲端運算的三種服務模式(市場區隔) 雲端運算的三種服務模式(市場區隔) IaaS IaaSInfrastructure as a ServiceInfrastructure as a Service 架構即服務 架構即服務 PaaS PaaS Platform as a Service Platform as a Service 平台即服務 平台即服務 SaaS SaaS Software as a Service Software as a Service 軟體即服務 軟體即服務
  36. 36. 2 perspectives :: Services vs Technologies2 perspectives Services vs Technologies 您想聽的是「雲端服務」還是「雲端技術」 ? 您想聽的是「雲端服務」還是「雲端技術」 ? 雲端服務 雲端技術Cloud computing hype spurs confusion, Gartner sayshttp://www.computerworld.com/s/article/print/9115904淺談雲端運算 (Cloud Computing)http://www.cc.ntu.edu.tw/chinese/epaper/0008/20090320_8008.htm
  37. 37. One key spirit of Cloud ComputingOne key spirit of Cloud Computing 用一句話說明雲端運算 !! 服務才是王道 !! 用一句話說明雲端運算 服務才是王道 Anytime Anytime 隨時 隨時 Key spirit of Cloud ~ Key spirit of Cloud ~ 形成服務才是重點 !! 形成服務才是重點 !! Anywhere Anywhere 隨地 隨地 Everything as a Service !! Everything as a Service !!With Any DevicesWith Any Devices 使用任何裝置 使用任何裝置Accessing ServicesAccessing Services 存取各種服務 存取各種服務Cloud Computing =~ Network Computing 雲端運算 =~ 網路運算
  38. 38. WHO誰在賣
  39. 39. Supply Chain of Cloud Industry !! 雲端產業的供應鍊 端應用軟體應用軟體供應商 供應商行動裝置行動裝置 各類裝置 共通平台共通平台 存取服務 雲軟體服務軟體服務供應商 供應商資料中心資料中心 資料中心機房維運機房維運 提供服務基本硬體基本硬體建設組件建設組件
  40. 40. Who are the Cloud Service Providers ?Who are the Cloud Service Providers ? 雲端關鍵提供者 雲端關鍵提供者 Public Cloud 公用雲端 Target Market is S.M.B. 以大型企業 主要客戶為 Hybrid 為主要客戶 中小企業 Cloud Enterprise is key marketCommunity Cloud 私有雲端 社群雲端 Private CloudAcademia 學術為主
  41. 41. WHEN何時
  42. 42. The Wisdom of Clouds (Crowds)雲端序曲:雲端的智慧始終來自於群眾的智慧 2006 年 8 月 9 日 2006 年 8 月 9 日Google 執行長施密特( Eric Schmidt )於 SES06 會議中首次使用Google 執行長施密特( Eric Schmidt )於 SES06 會議中首次使用 「雲端運算( Cloud Computing )」來形容無所不在的網路服務 「雲端運算( Cloud Computing )」來形容無所不在的網路服務 2006 年 8 月 24 日 2006 年 8 月 24 日 Amazon 以 Elastic Compute Cloud 命名其虛擬運算資源服務 Amazon 以 Elastic Compute Cloud 命名其虛擬運算資源服務 Source: http://www.cnet.co.uk/i/c/blg/cat/software/cloudcomputing/clouds1.jpg
  43. 43. Evolution of Cloud Services Evolution of Cloud Services 雲端服務只是軟體演化史的必然趨勢 雲端服務只是軟體演化史的必然趨勢 實體 實體 單機版 個人使用 單機版 個人使用 網路版 多人共享 網路版 多人共享 行動版 非同步存取 行動版 非同步存取 Physical Physical Personal Software Personal Software Share Service Software Share Service Software Mobile Cloud Service Mobile Cloud Service 信箱 信箱 E-Mail E-Mail Web Mail Web Mail Mobile Mail Mobile Mail Mailbox Mailbox 電視 電視 電視盒 電視盒 Web TV Web TV Mobile TV Mobile TV TV TV Setop Box Setop Box Ex. Youtube Ex. Youtube 打字機 打字機 Office Office Google Docs Google Docs M-Office M-OfficeTyper WriterTyper Writer 電話 電話 數位電話 數位電話 Skype Skype Flash Wengo Flash WengoTelephoneTelephone PBX PBX 佈告欄 佈告欄 電子佈告欄 電子佈告欄 部落格 Blog 部落格 Blog 微網誌 Twitter 微網誌 TwitterBullet BoradBullet Borad BBS BBS
  44. 44. WHY為何
  45. 45. Why are they named by “ SMART ” ?! 智慧打哪兒來?! Smart Phone Smart Car 智慧手機 智慧車輛Smart Grid SMART ? Smart City 哪裡長 智慧電網 智慧城市 智慧了? Smart Home Smart Meter 智慧家庭 智慧電錶 資料 資料 Data Data 知識 知識 Knowledge Knowledge 智慧 智慧 Wisdom Wisdom
  46. 46. Can Machine understand You? 讓機器更懂你? http://www.ettoday.net/news/20120215/25085.htm
  47. 47. Data, Information, Knowledge, Wisdom知識管理模型:資料、資訊、知識與智慧 http://www.pursuantgroup.com/blog/tag/dikw-model/
  48. 48. Agenda 演講大綱 Agenda 演講大綱From WSN to IoT?From WSN to IoT? 物聯網的崛起 物聯網的崛起What is Cloud ?What is Cloud ? 淺談雲端運算 淺談雲端運算Cloud and Big DataCloud and Big Data 雲與海量資料 雲與海量資料 48
  49. 49. Key Driving Forces of Cloud ComputingKey Driving Forces of Cloud Computing 雲端運算的關鍵驅動力 雲端運算的關鍵驅動力 個人 個人 端 用任何連網裝置 用任何連網裝置 都可以存取資料 都可以存取資料 隨需 隨需 行動服務 行動服務 企業 企業 Mobile Service 全球 全球 Mobile Service租賃取代買斷租賃取代買斷 資料往雲擺 資料往雲擺動態隨需付費動態隨需付費 減少資料傳輸 減少資料傳輸 雲 降低 降低 因應 因應 經營成本 經營成本 資料爆炸 資料爆炸 Cost Down Cost Down Data Explore Data Explore
  50. 50. 「笨蛋!重點在經濟」 ( "Its the economy, stupid")卡維爾( James Carville )自創這句標語, 促使柯林頓當上美國第 42 屆總統。 - 1992 年 「笨蛋!重點還是在經濟」( "Its STILL the economy, stupid") 卻讓小布希嘲笑是幼稚的總統。 - 2002 年 雲端時代,谷歌會說:「笨蛋!重點在資料」 ( "Its the data, stupid" ) 誰掌握了你的資料,就有機會掌握你的荷包想想看,電腦、手機掉了,您心疼的是甚麽呢? - 2007 年
  51. 51. Data Explosion!! 始於 2007 的「資料大爆炸」時代 2007 年, IDC 預估 2010 年會成長六倍! (相較 2006 年) 2006 161 EB出處: The Expanding Digital Universe, 2010 988 EB ( 預測 )A Forecast of Worldwide Information Growth Through 2010,March 2007, An IDC White Paper - sponsored by EMChttp://www.emc.com/collateral/analyst-reports/expanding-digital-idc-white-paper.pdf
  52. 52. Data expanded 1.6x each year !! 每年約略 1.6 倍 追蹤歷年的 IDC 數據: 2006 161 EB 2007 281 EB 2008 487 EB 2009 800 EB (0.8 ZB) 2010 988 EB ( 預測 ) 2010 1200 EB (1.2 ZB) 2011 1773 EB ( 預測 ) 2011 1800 EB (1.8 ZB) 景氣差而成長趨緩? 或受新技術抑制?出處: Extracting Value from Chaos,June 2011, An IDC White Paper - sponsored by EMChttp://www.emc.com/collateral/about/news/idc-emc-digital-universe-2011-infographic.pdf
  53. 53. What is Big Data?! 何謂『海量資料』? 海量資料泛指資料大小已無法用一般軟體擷取、管理與處理; 單一資料集大小介於數十 TB 至數 PB 的資料。 Big Data = few dozen TeraBytes to PetaBytes in single data set. 出處: http://en.wikipedia.org/wiki/Big_data多個檔案,容量 一個資料庫,容量 一個檔案,容量 100TB100TB 100TB 53
  54. 54. Gartner Big Data Model ? 海量資料的模型? 海量資料的挑戰在於如何管理「數量」、「增加率」與「多樣性」 參考來源: Volume 資料數量 [1] Laney, Douglas. "3D Data Management: Controlling Data Volume, Velocity and Variety" (6 February 2001) (amount of data) [2] Gartner Says Solving Big Data Challenge Involves More Than Just Managing Volumes of Data, June 2011 EB Structured 結構化資料Batch ( 批次作業 ) Semi-structured PB 半結構化資料 Realtime ( 即時資料 ) Unstructured 非結構化資料 TB Variety 資料多樣性 Velocity 資料增加率 (data types, sources) (speed of data in/out) 54
  55. 55. 12D of Information Management? 12 個維度? 品質管控 權限管控 Big Data 數量管控 只是終極 資訊管理 的開端! Source: Gartner (March 2011), Big Data Is Only the Beginning of Extreme Information Management, 7 April 2011, http://www.gartner.com/id=1622715 55
  56. 56. HOW怎麼做
  57. 57. New IT Architecture toward Cloud Computing !! 用雲掌握資料,加以分析,形成智能給端用 雲 資料中心 提供服務雲端設計新思維:端的智能來自於雲的服務 Devices share the wisdom of Cloud端各類裝置存取服務
  58. 58. 4. 下載最佳路徑 1. 上傳行進軌跡 6. 上傳最佳路徑執行狀態 ( 判斷是否需要修正) 3. 運算 2. 運算 最佳路徑 起始 掃過區域 座標 掃過 區域5. 執行最佳路徑 曾經有人問道:我是學電機的,那 電機與控制跟雲端有甚麽關聯性?
  59. 59. Three Key Technologies !! 三種服務模式 vs. 三大關鍵技術 隨需 隨需 SaaS SaaS Web 2.0 Web 2.0 行動服務 行動服務 Software as a Service Software as a Service Mobile Service Mobile Service 軟體即服務 軟體即服務 網頁服務 網頁服務 因應 因應 PaaS PaaS Big Data Big Data 資料爆炸 資料爆炸 Platform as a Service Platform as a Service Data Explore 平台即服務 平台即服務 資料分析 資料分析 Data Explore 降低 降低 IaaS IaaSService Virtualization Virtualization 經營成本 經營成本 Infrastructure as a Service Infrastructure as a Cost Down 架構即服務 架構即服務 虛擬化技術 虛擬化技術 Cost Down
  60. 60. Agenda 演講大綱 Agenda 演講大綱From WSN to IoT?From WSN to IoT? 物聯網的崛起 物聯網的崛起What is Cloud ?What is Cloud ? 淺談雲端運算 淺談雲端運算Cloud and Big DataCloud and Big Data 雲與海量資料 雲與海量資料Smart City AppSmart City App 智慧城市應用 智慧城市應用 60
  61. 61. 十九世紀是帝國的世紀二十世紀是國家的時代二十一世紀將是城市的時代 61http://www.postscapes.com/anatomy-of-a-smart-city-full
  62. 62. 市 居住在城 上 的人口 50% 以 以 後已有 裡2008 年 每個禮拜有一百三十萬人 搬入城市 62 http://www.postscapes.com/anatomy-of-a-smart-city-full
  63. 63. 超 個 城 市》 《 全球 球最 有大 二的 一市 是 目 前 全 十 城東 京63 http://www.postscapes.com/anatomy-of-a-smart-city-full
  64. 64. 五 年 百 全 多 球 個 已 有 2011 百 生 分 產 毛 額 貢 前 獻 了 之六 六百 十大 的城 市64 http://www.postscapes.com/anatomy-of-a-smart-city-full
  65. 65. 的 十 能 至 源 八 十 百 城 分 市 之 使 六 用 了65 http://www.postscapes.com/anatomy-of-a-smart-city-full
  66. 66. 感 智 測 慧 城 市 基 要 於 即 造 主統時 成 城 了 市 了 訊 資系66 http://www.postscapes.com/anatomy-of-a-smart-city-full
  67. 67. 安 、 、環 量 境 全對 測 交包 、象 通括 建 、 電 築 力 物67 http://www.postscapes.com/anatomy-of-a-smart-city-full
  68. 68. 68http://www.postscapes.com/anatomy-of-a-smart-city-full
  69. 69. 智慧城市的六個維度 6D of Smart Cities 根據維基百科的定義, 智慧城市包含六個維度 智慧經濟 Smart Economy 智慧連網 智慧空間 Smart Smart Environment Mobility Sustainable 永續經營 Smart Smart Living People 智慧生活 Smart 智慧市民 Governance 智慧政府http://en.wikipedia.org/wiki/Smart_city 69
  70. 70. 讓人民有感的智慧城市 Ubiquitous Computing 食 樂 Food 衣 Entertainment Clothing 育 住 Education 行 Housing Traffic 70
  71. 71. 幫忙您找食物的地理資訊系統服務http://www.ipeen.com.tw/map/#loc=台中市 71
  72. 72. 幫忙您決定該怎麼穿衣服的氣象服務 http://www.cwb.gov.tw/township/ 72
  73. 73. 幫忙您找房子的地理資訊服務 http://rent.591.com.tw/ 73
  74. 74. 幫忙您查即時交通路況的地理資訊服務 http://1968.freeway.gov.tw/ 74
  75. 75. 幫忙您查即時交通路況的地理資訊服務http://www.datanami.com/datanami/2012-08-01/what_it_takes_to_deliver_real-time_traffic_info.html75
  76. 76. 用地理資訊服務學習一個城市的歷史 http://hypercities.ats.ucla.edu/ 76
  77. 77. 運用地理資訊服務進行防災應變 http://earth.wra.gov.tw/water/index.html 77
  78. 78. Agenda 演講大綱 Agenda 演講大綱From WSN to IoT?From WSN to IoT? 物聯網的崛起 物聯網的崛起What is Cloud ?What is Cloud ? 淺談雲端運算 淺談雲端運算Cloud and Big DataCloud and Big Data 雲與海量資料 雲與海量資料Smart City AppSmart City App 智慧城市應用 智慧城市應用How to do in futureHow to do in future 打造基礎建設 打造基礎建設 78
  79. 79. The SMAQ stack for big data 海量資料處理的資訊架構 未來處理海量資料的人必需知道 做網頁相關的人可能聽過 LAMP SMAQ ( Storage, MapReduce and Query )參考來源: The SMAQ stack for big data , Edd Dumbill , 22 September 2010 ,         http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html 79圖片來源: http://smashingweb.ge6.org/wp-content/uploads/2011/10/apache-php-mysql-ubuntu.png
  80. 80. The SMAQ stack for big data 海量資料處理的資訊架構 用來儲存分散、沒有關聯 的非結構化資料參考來源: The SMAQ stack for big data , Edd Dumbill , 22 September 2010 ,         http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html 80
  81. 81. The SMAQ stack for big data 海量資料處理的資訊架構 運用批次處理的方式,將 運算工作平均分散到許多 的伺服器做運算。參考來源: The SMAQ stack for big data , Edd Dumbill , 22 September 2010 ,         http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html 81
  82. 82. The SMAQ stack for big data 海量資料處理的資訊架構 將算完的結構化資料儲存 到可供查詢的資料庫系統參考來源: The SMAQ stack for big data , Edd Dumbill , 22 September 2010 ,         http://radar.oreilly.com/2010/09/the-smaq-stack-for-big-data.html 82
  83. 83. Three Core Technologies of Google .... Google 的三大關鍵技術 ....• Google 在一些會議分享他們的三大關鍵技術• Google shared their design of web-search engine – SOSP 2003 : – “The Google File System” – http://labs.google.com/papers/gfs.html – OSDI 2004 : – “MapReduce : Simplifed Data Processing on Large Cluster” – http://labs.google.com/papers/mapreduce.html – OSDI 2006 : – “Bigtable: A Distributed Storage System for Structured Data” – http://labs.google.com/papers/bigtable-osdi06.pdf 83
  84. 84. Open Source Mapping of Google Core TechnologiesOpen Source Mapping of Google Core Technologies Google 三大關鍵技術對應的自由軟體 Google 三大關鍵技術對應的自由軟體 Google 三大關鍵技術 自由軟體對應解決方案 Q = Query Q = Query HBase, Hypertable HBase, Hypertable BigTable BigTable Cassandra, .... Cassandra, ....A huge key-value datastoreA huge key-value datastore MapReduce MapReduce Hadoop MapReduce API Hadoop MapReduce API To parallel process data To parallel process data Sphere MapReduce API, ... Sphere MapReduce API, ... S = Storage S = Storage Hadoop Distributed File System (HDFS) Hadoop Distributed File System (HDFS) Google File System Google File System Sector Distributed File System Sector Distributed File SystemTo store petabytes of dataTo store petabytes of data 84
  85. 85. Hadoop Hadoop• http://hadoop.apache.org• Hadoop 是 Apache Top Level 開發專案• Hadoop is Apache Top Level Project• 目前主要由 Yahoo! 資助、開發與運用• Major sponsor is Yahoo!• 創始者是 Doug Cutting ,參考 Google Filesystem• Developed by Doug Cutting, Reference from Google Filesystem• 以 Java 開發,提供 HDFS 與 MapReduce API 。• Written by Java, it provides HDFS and MapReduce API• 2006 年使用在 Yahoo 內部服務中• Used in Yahoo since year 2006• 已佈署於上千個節點。• It had been deploy to 4000+ nodes in Yahoo• 處理 Petabyte 等級資料量。 Facebook、Last.fm• Design to process dataset in Petabyte 、Joost are also powered by Hadoop 85
  86. 86. Hadoop 簡介 Hadoop 簡介 Hadoop 是一個讓使用者簡易撰寫並執行處理海量資料應用程式的軟體平台。 亦可以想像成一個處理海量資料的生產線,只須學會定義 map 跟 reduce 工作站該做哪些事情。 就像工廠的倉庫 生產機台存放生產原料跟待售貨物 包裝機台 Map HDFS 存放 Reduce待處理的非結構化資料與處理後的結構化資料 一進一出 多進一出 86
  87. 87. Sector // Sphere Sector Sphere• http://sector.sourceforge.net/• 由美國資料探勘中心研發的自由軟體專案。• Developed by National Center for Data Mining, USA• 採用 C/C++ 語言撰寫,因此效能較 Hadoop 更好。• Written by C/C++, so performance is better than Hadoop• 提供「類似」 Google File System 與 MapReduce 的機制• Provide file system similar to Google File System and MapReduce API• 基於UDT高效率網路協定來加速資料傳輸效率• Based on UDT which enhance the network performance• Open Cloud Testbed有提供測試環境,並開發MalStone效能評比軟體• Open Cloud Consortium provide Open Cloud Testbed and develop MalStone toolkit for benchmark 87
  88. 88. Why we choice Hadoop? Good Ecosystem!   豐富的生態系建構出處理海量資料的工具庫 88 http://rationalintelligence.com/wp_log/?p=104
  89. 89. Agenda 演講大綱 Agenda 演講大綱From WSN to IoT?From WSN to IoT? 物聯網的崛起 物聯網的崛起What is Cloud ?What is Cloud ? 淺談雲端運算 淺談雲端運算Cloud and Big DataCloud and Big Data 雲與海量資料 雲與海量資料Smart City AppSmart City App 智慧城市應用 智慧城市應用How to do in futureHow to do in future 打造基礎建設 打造基礎建設 Conclusion Conclusion 結論 結論 89
  90. 90. IoT is the source of Big Data Cloud Computing is the Store Big Data is the key to Mobile Computing SMAQ is the way to achieve Wisdom 未來物聯網會產生海量資料 必須儲存於雲端的資料中心得透過分析技術來提供行動服務 SMAQ 是產生智慧的必要架構
  91. 91. Questions? Questions?Slides -- http://trac.nchc.org.tw/cloudSlides http://trac.nchc.org.tw/cloud Jazz Wang Jazz WangYao-Tsung WangYao-Tsung Wang jazz@nchc.org.tw jazz@nchc.org.tw 91
  1. A particular slide catching your eye?

    Clipping is a handy way to collect important slides you want to go back to later.

×