2012.05.24 於 「Big Data Taiwan 2012」的 Keynote 講稿。
主講者:Etu 副總經理/ 蔣居裕
《議題簡介》
無論是企業區域網路,還是開放的網際網路,在巨大的結構化與非結構化資料的背後,其實充滿著各種行為意圖,以及人、事、物、時、地的多維度關聯。商業的日益競爭,已經來到了一個除了講求行銷創意,還要擁有巨量資料處理與分析技術,才能出奇制勝的時代。有人形容 Big Data 的價值挖掘,就像是在攪拌混凝土,若在尚未完成前就中斷,將導致前功盡棄,全無可用的窘境。對 Big Data 的意圖與關聯探索,必須是 End-to-End 全程的照料,方得實現。本議程將舉例說明這個有序到永續的過程,讓聽者更能領略意圖與關聯充滿的世界。
2012.05.24 於 「Big Data Taiwan 2012」的 Keynote 講稿。
主講者:Etu 副總經理/ 蔣居裕
《議題簡介》
無論是企業區域網路,還是開放的網際網路,在巨大的結構化與非結構化資料的背後,其實充滿著各種行為意圖,以及人、事、物、時、地的多維度關聯。商業的日益競爭,已經來到了一個除了講求行銷創意,還要擁有巨量資料處理與分析技術,才能出奇制勝的時代。有人形容 Big Data 的價值挖掘,就像是在攪拌混凝土,若在尚未完成前就中斷,將導致前功盡棄,全無可用的窘境。對 Big Data 的意圖與關聯探索,必須是 End-to-End 全程的照料,方得實現。本議程將舉例說明這個有序到永續的過程,讓聽者更能領略意圖與關聯充滿的世界。
在接連勇奪三個產品創新獎項之後,亞洲 Big Data 解決方案領導品牌 Etu 今天舉辦「Etu Solution Day 2012」,與合作夥伴聯手展出了一系列以其核心產品 Etu Appliance 發展出來的 Big Data End-to End 解決方案,並在會中提出 2013 年台灣 Big Data 市場的趨勢預測。Etu 認為,隨著不同行業的 Big Data 首批應用一一成形落地,企業擁抱 Big Data 的力道將在新的一年有明顯加重的趨勢。
首屆的「Etu Solution Day」特別針對電子商務、零售、電信、金融、高科技製造、政府及交通運輸行業,一次匯集具有 Hadoop 經驗的 Big Data 應用軟體開發商,以及可接取 Hadoop 平台的工具廠商,與焦點行業來賓分享經驗成果。Etu 在會中發表對 2013 年台灣 Big Data 市場的五大前瞻性預測,包括:一、本地不同行業的 Big Data 應用案例將一一浮現;二、”Medium” Data 出現在更多企業 Big Data 應用場景;三、Hadoop 相關專業教育訓練課程漸熱;四、從 Quantified Self、Enterprise Data、Open Data、到 Internet-scale Data,資料分析蔚為顯學; 五、Open Data 方興未艾,各級政府、不同部門的開放策略與腳步不一,來自民間的挑戰也不斷。
ESD 2012 Keynote: What Is the next Big Data?Fred Chiang
This is my keynote slides for Etu Solution Day 2012 which was held on Dec, 20, 2012 @Taipei, Taiwan. I had summarized the market status of Big Data in Taiwan and predicted the trend in 2013.
Big Data 102 - Crossovers 成長之旅導覽 (Keynote for Big Data Taiwan 2013)Fred Chiang
總結阻礙企業導入 Big Data 解決方案的因素,除了大環境的景氣因素,其餘幾乎可歸結為對「價值」與「技術」的不確定與不熟悉。此場將帶領大家預覽 Big Data Taiwan 2013 整天的內容精華,具體說明 Big Data 的「價值」洞見與展現,「技術」養成與發展,配合戰略探討與驅動,以降低企業的不確定感,協助數據價值策略的發展。
在接連勇奪三個產品創新獎項之後,亞洲 Big Data 解決方案領導品牌 Etu 今天舉辦「Etu Solution Day 2012」,與合作夥伴聯手展出了一系列以其核心產品 Etu Appliance 發展出來的 Big Data End-to End 解決方案,並在會中提出 2013 年台灣 Big Data 市場的趨勢預測。Etu 認為,隨著不同行業的 Big Data 首批應用一一成形落地,企業擁抱 Big Data 的力道將在新的一年有明顯加重的趨勢。
首屆的「Etu Solution Day」特別針對電子商務、零售、電信、金融、高科技製造、政府及交通運輸行業,一次匯集具有 Hadoop 經驗的 Big Data 應用軟體開發商,以及可接取 Hadoop 平台的工具廠商,與焦點行業來賓分享經驗成果。Etu 在會中發表對 2013 年台灣 Big Data 市場的五大前瞻性預測,包括:一、本地不同行業的 Big Data 應用案例將一一浮現;二、”Medium” Data 出現在更多企業 Big Data 應用場景;三、Hadoop 相關專業教育訓練課程漸熱;四、從 Quantified Self、Enterprise Data、Open Data、到 Internet-scale Data,資料分析蔚為顯學; 五、Open Data 方興未艾,各級政府、不同部門的開放策略與腳步不一,來自民間的挑戰也不斷。
ESD 2012 Keynote: What Is the next Big Data?Fred Chiang
This is my keynote slides for Etu Solution Day 2012 which was held on Dec, 20, 2012 @Taipei, Taiwan. I had summarized the market status of Big Data in Taiwan and predicted the trend in 2013.
Big Data 102 - Crossovers 成長之旅導覽 (Keynote for Big Data Taiwan 2013)Fred Chiang
總結阻礙企業導入 Big Data 解決方案的因素,除了大環境的景氣因素,其餘幾乎可歸結為對「價值」與「技術」的不確定與不熟悉。此場將帶領大家預覽 Big Data Taiwan 2013 整天的內容精華,具體說明 Big Data 的「價值」洞見與展現,「技術」養成與發展,配合戰略探討與驅動,以降低企業的不確定感,協助數據價值策略的發展。
34. 如果用HiveQL
SELECT sourceIP, totalRevenue, avgPageRank
FROM
SELECT sourceIP, sum(adRevenue) as totalRevenue,
avg(pageRank)as avgPageRank
FROM Rankings as R, Uservisits as UV
WHERE R.pageURL = UV.destURL and UV.visitDate
between Date (‘2000-01-15’) and Date (‘2000-01-22’)
GROUP BY UV.sourceIP
ORDER BY totalRevenue DESC limit 1;
34
35. Hive中的表
• 就像在关系型数据库里, 数据存储在表里
• 比SQL更丰富的字段类型
– 基本类型: ints, floats, strings, date
– 复杂类型: associative arrays, lists, structs
例子:
CREATE Table Employees
(
Name string,
Salary integer,
Children List <Struct <firstName: string, DOB:date>>
)
35