從 Web Site 到 Web Application,從 Web Services 到 Mobile ServicesKuo-Chun Su
從 Web Site 到 Web Application,從 Web Services 到 Mobile Services - 談談使用與管理上的一些有趣小問題,包括前端如何使用 JavaScript 呼叫 Web Services,JSON 格式的小秘密,以及整合 OpenID/OAuth 等內容。
How to plan a hadoop cluster for testing and production environmentAnna Yen
Athemaster wants to share our experience to plan Hardware Spec, server initial and role deployment with new Hadoop Users. There are 2 testing environments and 3 production environments for case study.
從 Web Site 到 Web Application,從 Web Services 到 Mobile ServicesKuo-Chun Su
從 Web Site 到 Web Application,從 Web Services 到 Mobile Services - 談談使用與管理上的一些有趣小問題,包括前端如何使用 JavaScript 呼叫 Web Services,JSON 格式的小秘密,以及整合 OpenID/OAuth 等內容。
How to plan a hadoop cluster for testing and production environmentAnna Yen
Athemaster wants to share our experience to plan Hardware Spec, server initial and role deployment with new Hadoop Users. There are 2 testing environments and 3 production environments for case study.
MongoDB Background and specifics ,
also I provide how to use Mongod Security .
and Basic MongoDB operation by pymongo
我這份文件有介紹MONGODB的特性及限制,Sharding 及 Replicate 的觀悠,Security怎麼作,怎麼用
MongoDB Background and specifics ,
also I provide how to use Mongod Security .
and Basic MongoDB operation by pymongo
我這份文件有介紹MONGODB的特性及限制,Sharding 及 Replicate 的觀悠,Security怎麼作,怎麼用
Analiza la evolución de las ventas, los inventarios, los principales problemas y expectativas de los comerciantes de las subregiones de Oriente y Urabá. A partir de la información mensual que se obtiene de los establecimientos y firmas encuestadas, y el indicador tradicional de lectura es el porcentaje de respuestas.
update:2016/06/28
Example & homework: https://github.com/Phate334/MapReduceExample
簡報已更新並重新整理
This slide show you how to deploy Hadoop cluster with Cloudera and set up your own development environment to easy to test your MapReduce app.
這份簡報分成三個部分:
1.架設hadoop叢集,今年縮短了這部分的介紹,只放上一些參考的連結。
2.準備一個可以在本機端測試Mapreduce的開發環境,而不需要每次都將程式送到叢集中。
3.三個簡單的例子,用來介紹Mapreduce框架。
Hadoop con 2015 hadoop enables enterprise data lakeJames Chen
Mobile Internet, Social Media 以及 Smart Device 的發展促成資訊的大爆炸,伴隨產生大量的非結構化及半結構化的資料,不但資料的格式多樣,產生的速度極快,對企業的資訊架構帶來了前所未有的挑戰,面對多樣的資料結構及多樣的分析工具,我們應該採用什麼樣的架構互相整合,才能有效的管理資料生命週期,提取資料價值,Hadoop 生態系統,無疑的在這個大架構裡,將扮演最基礎的資料平台的角色,實現企業的 Data Lake。
14. Pig
• 由Yahoo! 開發
• Scripting Language for Hadoop
• 提供Pig Latin 語言,在Grunt Shell 進行互動
• 透過一系列的Relation 宣告,對資料進行轉換,每個轉換都
是一個MapReduce Job
• 通常用在ETL 階段,將外部資料轉入Hadoop
14
15. Sqoop
• 取SQL to Hadoop 之意
• 由Cloudera 開發,現在是Apache 專案
• Get Data to/from SQL Database
• 是RDBMS 與Hadoop 間的匯入匯出工具
• 底層一樣是透過MapReduce 機制運作
• 提供一般的Connector,透過JDBC 建立Connection
• MySQL 與PostgreSQL 可以使用支援特殊語法的Fast
Connector
15
16. Hadoop Distribution
• Apache 有Apache BigTop
• Cloudera 有Cloudera Distribution for Hadoop (CDH)
• Oracle 有Oracle Big Data Appliance
• Intel 以前有Intel Distribution for Hadoop (IDH),現在是直接
與Cloudera 合作
• MapR 有MapR Distribution for Apache Hadoop (M3/M5/M7)
• Hortonworks 有Hortonworks Data Platform (HDP)
• Microsoft 有Microsoft HDInsight
• …
16
38. Hive 示範
create external table movies(title string, year string)
row format delimited
fields terminated by 't'
lines terminated by 'n';
location '/movies';
select count(*) from movies;
select title, size(split(title, ' ')) from movies
where year = 2000;
select year, count(*) from movies group by year;
drop table movies;
38
39. Hive 輸出檔案注意事項
insert overwrite directory 'moviesoutput'
select concat_ws(',', cast(size(split(title, ' ')) as string),
cast(count(*) as string))
from movies
group by size(split(title, ' '));
39
• 輸出放在/user/CLUSTER帳號目錄之下
• 檔名為000000_0、000001_0、…,視Reducer 數目而定
• 使用Unix 換行方式(n)
• 欄位分隔符號預設為^A (001),可以透過concat_ws 調整
• 欄位最好先透過cast 轉換型別為String,方便輸出