本文件讨论了数据运用的趋势和挑战，介绍了Hadoop平台及其多种数据处理工具。它强调了Azure HDInsight作为云服务的优势，包括自动化管理、经济有效的存储和与其他Azure服务的整合。文件还涉及不同数据类型的处理，如情绪分析、点击流和地理信息等。

2. 資料運用的趨勢與挑戰

3. 資料運用的趨勢與挑戰

4. 資料運用的趨勢與挑戰

5. 資料運用的趨勢與挑戰

6. 組織需要處理的各式資料

7. Apache Hadoop 介紹

8. Hadoop platform包含許多不同專案
資料服務
營運服務
= HDFS + MapReduce + YARN
+ ecosystem of tools and frameworks

9. Hadoop 有許多貢獻者

10. Microsoft 貢獻到Hadoop專案

11. 常透過Hadoop 處理的資料型態
1. 情緒分析(Sentiment)
Understand how your customers feel about your brand
2. Clickstream
Capture and analyze website visitors’ data trails and optimize your website
3. 感應器(Sensor)/機器
Discover patterns in data streaming automatically from remote sensors and machines
4. 地理資訊
Analyze location-based data to manage operations where they occur
5. 伺服器 Logs
Research logs to diagnose process failures and prevent security breaches
6. 非結構化資料 (txt, video, pictures, etc..)
Understand patterns in files across millions of web pages, emails, and documents

12. Azure HDInsight 簡介
Hadoop Meets the Cloud由微軟所管理的Hadoop服務
使用100% 開源的Apache Hadoop
相容.Net 與 Java 工具
可自動升級 Hadoop 版本
數分鐘內可以設定完成並執行, 無須採購硬體
執行於 Windows 或 Linux
啟用與設定服務, 使用, 取消服務 – 可以保留資料
微軟提供技術支援

13. Microsoft + Hortonworks

14. Hadoop Distribution包含許多不同專案

18. Data Node Data Node Data Node Data Node
Task Tracker Task Tracker Task Tracker Task Tracker
Name Node
Job Tracker
HMaster
Coordination
Region Server Region Server Region Server Region Server

21. Stream
processin
g
Search and query
Data analytics (Excel)
Web/thick client
dashboards
Devices to take action
RabbitMQ /
ActiveMQ

22. Azure
HDInsight
In Memory
Spark

27. 其他Hadoop 元件與工具
Ambari: Cluster provisioning, management, and monitoring.
Avro (Microsoft .NET Library for Avro): Data serialization for
the Microsoft .NET environment
MapReduce and YARN: Distributed processing and resource
management
Oozie: Workflow management
Phoenix: Relational database layer over HBase
Pig: Simpler scripting for MapReduce transformations
Sqoop: Data import and export
Tez: Allows data-intensive processes to run efficiently at
scale
ZooKeeper: Coordination of processes in distributed systems

28. 以量計價
$£€¥

29. 受維護的Hodoop服務
自動進行作業系統 更新及安全性更新
Hadoop 版本每年快速演進
輕易地維持在最新的Hadoop版本

30. 結合Hadoop作先進資料分析
Cloud

31. HDInsight 優勢
自動化建置 Hadoop clusters
使用最新, 穩定的 Hadoop 元件
提供叢集的高可用度跟高可靠性
透過Azure Blob storage提供經濟, 有效率的儲存方式
整合其他Azure 服務, 包括 Web apps 跟 SQL
Database
低進入成本

33. Hadoop 叢集設置

34. Hadoop 叢集設置

35. be removed January 1, 2017
https://portal.azure.com
https://azure.microsoft.com/en-
us/documentation/templates/?term=hdinsight
叢集佈署