2012.05.24 於 「Big Data Taiwan 2012」的 Keynote 講稿。
主講者:Etu 副總經理/ 蔣居裕
《議題簡介》
無論是企業區域網路,還是開放的網際網路,在巨大的結構化與非結構化資料的背後,其實充滿著各種行為意圖,以及人、事、物、時、地的多維度關聯。商業的日益競爭,已經來到了一個除了講求行銷創意,還要擁有巨量資料處理與分析技術,才能出奇制勝的時代。有人形容 Big Data 的價值挖掘,就像是在攪拌混凝土,若在尚未完成前就中斷,將導致前功盡棄,全無可用的窘境。對 Big Data 的意圖與關聯探索,必須是 End-to-End 全程的照料,方得實現。本議程將舉例說明這個有序到永續的過程,讓聽者更能領略意圖與關聯充滿的世界。
2012.05.24 於 「Big Data Taiwan 2012」的 Keynote 講稿。
主講者:Etu 副總經理/ 蔣居裕
《議題簡介》
無論是企業區域網路,還是開放的網際網路,在巨大的結構化與非結構化資料的背後,其實充滿著各種行為意圖,以及人、事、物、時、地的多維度關聯。商業的日益競爭,已經來到了一個除了講求行銷創意,還要擁有巨量資料處理與分析技術,才能出奇制勝的時代。有人形容 Big Data 的價值挖掘,就像是在攪拌混凝土,若在尚未完成前就中斷,將導致前功盡棄,全無可用的窘境。對 Big Data 的意圖與關聯探索,必須是 End-to-End 全程的照料,方得實現。本議程將舉例說明這個有序到永續的過程,讓聽者更能領略意圖與關聯充滿的世界。
從電商到媒體,從商品推薦到客戶行為分析 - Udn 的 big data 價值實踐之路Etu Solution
亞洲 Hadoop 產品與解決方案引領者 Etu,於年度 Etu Solution Day (ESD) 活動中發表「2014 年台灣 Big Data 市場 5 大趨勢預測」。Etu 也首度發表兩岸的 10 大行業、21 種 Hadoop Big Data 已經被驗證的應用,如電信業的經營分析與客服查詢、電子商務的精準推薦、數位媒體的內容推薦、零售行業的使用者行為分析、高科技製造的資料倉儲工作分流卸載與製程良率分析、政府與地產的輿情分析、電力的能源管理、保險的巨量小圖檔管理等。預期 2014 年的台灣 Big Data 市場將更為成熟,經過驗證階段後,進入最後導入階段的企業也可望有倍數的成長。
Etu 負責人蔣居裕表示:「UDN 的採用,說明了台灣企業導入 Big Data 應用的需求在特定產業力道明顯上揚,『2014 年台灣 Big Data 市場的 5 大趨勢預測』也呼應了這樣的看法。」蔣居裕說:「一、首先過河的人,要開始挑戰資料價值的海洋,越早期投入者,越用越深,越深越廣;二、Total Data BI 帶動企業採用多結構化資料倉儲。客戶行為分析、精準行銷、客戶體驗是應用目標;三、從新舊系統整合到 End-to-End 解決方案,大部分企業期待廠商能夠完整交付 Big Data 應用與專業技術顧問。『容易』(Ease) 是 Big Data 產品進入企業的關鍵字;四、資料探索工具當道,力助 Business User 比 IT 人員更能挖掘 Big Data 的價值。『探索』(Discovery) 是 Big Data 分析的神髓所在 —— 探索關聯、探索意圖、探索缺少什麼;五、Big Data 教育訓練課程,從以處理技術為主者,快速擴展到資料分析。但均會被含括在『資料科學』大傘下。資料科學家萬中選一,強調專業分工的資料科學團隊,才是實踐資料價值希望之所在。」
ESD 2013 另外還展現了藉由 Etu Appliance 所架構起來的 Etu Ecosystem,展示了由 Etu 以及 ISV 夥伴們所開發的 End-to-End 解決方案:Etu Recommender,除了原有的個人化精準推薦,現在還可與第三方工具整合,進行資料視覺化探索,建置使用者行為分析資料倉儲;合作夥伴堂朝數位整合的雲端電子刊物加值平台、PilotTV 前線媒體的收視量測系統、樺鼎商業資訊的視覺化分析工具、以及衛信科技的 SDN 網路管理完整解決方案,則分別透過 Etu Appliance 來做巨量、可擴展的檔案格式轉換運算、臉部辨識資料及時處理與分析、多結構化資料倉儲、網路資料封包預處理等工作。這些方案的共同點,就是它們都是基於不斷獲得各種產品創新獎項的 Etu Appliance 所開發或整合的應用。
從電商到媒體,從商品推薦到客戶行為分析 - Udn 的 big data 價值實踐之路Etu Solution
亞洲 Hadoop 產品與解決方案引領者 Etu,於年度 Etu Solution Day (ESD) 活動中發表「2014 年台灣 Big Data 市場 5 大趨勢預測」。Etu 也首度發表兩岸的 10 大行業、21 種 Hadoop Big Data 已經被驗證的應用,如電信業的經營分析與客服查詢、電子商務的精準推薦、數位媒體的內容推薦、零售行業的使用者行為分析、高科技製造的資料倉儲工作分流卸載與製程良率分析、政府與地產的輿情分析、電力的能源管理、保險的巨量小圖檔管理等。預期 2014 年的台灣 Big Data 市場將更為成熟,經過驗證階段後,進入最後導入階段的企業也可望有倍數的成長。
Etu 負責人蔣居裕表示:「UDN 的採用,說明了台灣企業導入 Big Data 應用的需求在特定產業力道明顯上揚,『2014 年台灣 Big Data 市場的 5 大趨勢預測』也呼應了這樣的看法。」蔣居裕說:「一、首先過河的人,要開始挑戰資料價值的海洋,越早期投入者,越用越深,越深越廣;二、Total Data BI 帶動企業採用多結構化資料倉儲。客戶行為分析、精準行銷、客戶體驗是應用目標;三、從新舊系統整合到 End-to-End 解決方案,大部分企業期待廠商能夠完整交付 Big Data 應用與專業技術顧問。『容易』(Ease) 是 Big Data 產品進入企業的關鍵字;四、資料探索工具當道,力助 Business User 比 IT 人員更能挖掘 Big Data 的價值。『探索』(Discovery) 是 Big Data 分析的神髓所在 —— 探索關聯、探索意圖、探索缺少什麼;五、Big Data 教育訓練課程,從以處理技術為主者,快速擴展到資料分析。但均會被含括在『資料科學』大傘下。資料科學家萬中選一,強調專業分工的資料科學團隊,才是實踐資料價值希望之所在。」
ESD 2013 另外還展現了藉由 Etu Appliance 所架構起來的 Etu Ecosystem,展示了由 Etu 以及 ISV 夥伴們所開發的 End-to-End 解決方案:Etu Recommender,除了原有的個人化精準推薦,現在還可與第三方工具整合,進行資料視覺化探索,建置使用者行為分析資料倉儲;合作夥伴堂朝數位整合的雲端電子刊物加值平台、PilotTV 前線媒體的收視量測系統、樺鼎商業資訊的視覺化分析工具、以及衛信科技的 SDN 網路管理完整解決方案,則分別透過 Etu Appliance 來做巨量、可擴展的檔案格式轉換運算、臉部辨識資料及時處理與分析、多結構化資料倉儲、網路資料封包預處理等工作。這些方案的共同點,就是它們都是基於不斷獲得各種產品創新獎項的 Etu Appliance 所開發或整合的應用。
2023 Supervised Learning for Orange3 from scratchFEG
This document provides an overview of supervised learning and decision tree models. It discusses supervised learning techniques for classification and regression. Decision trees are explained as a method that uses conditional statements to classify examples based on their features. The document reviews node splitting criteria like information gain that help determine the most important features. It also discusses evaluating models for overfitting/underfitting and techniques like bagging and boosting in random forests to improve performance. Homework involves building a classification model on a healthcare dataset and reporting the results.
This document provides an overview of unsupervised learning techniques including k-means clustering and association rule mining. It begins with introductions to the speaker and tutorial topics. It then contrasts supervised vs unsupervised learning, describing how k-means is used for clustering without labels and how association rules can discover relationships between items. The document provides examples of applying these techniques in domains like retail, sports, email marketing and healthcare. It also includes visualizations and discusses important concepts for k-means like data transformation and for association rules like support, confidence and lift. Homework questions are asked about preparing data for these algorithms in Orange.
202312 Exploration Data Analysis Visualization (English version)FEG
This document provides an overview of exploratory data analysis (EDA) and visualization techniques that can be performed before building a machine learning model. It introduces the Iris dataset as an example and outlines the key steps of EDA, including loading the data, examining correlations, creating scatter plots, and generating distribution and box plots to understand feature statistics. As homework, students are asked to explore another dataset with a numeric target feature called "housing.tab" and explain the visualizations.
202312 Exploration of Data Analysis VisualizationFEG
This document provides a tutorial on data visualization and analysis using Orange 3. It discusses different types of charts like pie charts, line charts, histograms, bar charts, scatter plots, box plots, and pivot tables. It demonstrates how to visualize survival rates from the Titanic dataset based on features like sex, passenger class, age, and fare paid. Key findings are that women and higher class passengers had higher survival rates, and survival rates also depended on combinations of these features.
Transfer learning (TL) is a research problem in machine learning (ML) that focuses on applying knowledge gained while solving one task to a related task
This document provides a summary of image classification using deep learning techniques. It begins with an introduction to the speaker and their background. It then discusses the main types of image AI tasks like classification, detection, and segmentation. The document reviews the history and timeline of deep learning, important datasets like ImageNet, and algorithms such as convolutional neural networks. It presents the typical process flow for image-based deep learning including feature extraction using convolutional and pooling layers, classification layers, and different network architectures. The document concludes by discussing a homework assignment on building a multi-class image classification model using a dataset of dog, cat, and bird images.
This document provides an introduction and tutorial on using Google Colab. It discusses the speaker's background and experience, then demonstrates how to run sample Python codes in a Colab notebook. It shows how to open an existing Colab file, access computing resources on Colab including GPUs and TPUs, create a new Colab file, and interact with a Google Drive folder to access and save files. The document concludes by providing a homework assignment to have students run Python code in Colab and interact with their Google Drive.