!1
AI 專案經理理
的挑戰
彭其捷
foxfirejack@gmail.com
2019/8/10
台灣⼈人⼯工智慧學校 台北經理理⼈人班

為什什麼選擇
這個主題？

Question
AI 專案經理理⼈人 / 管理理者 ，要學
Deep Learning 嗎？要學
Python 嗎？要學演算法嗎？

博客來來 google『⼈人⼯工智慧』，⼤大多是趨勢 / 技術書籍

Youtube
也⼤多在講趨
勢 / 技術議題

媒體 / 電影：著重於對於未來來的想像與風險

許多AI的強⼤大
研究強⼤大，但
也要逐步改善
體質來來服⽤用

AI 市場主流資訊，主要分成四⼤大類
● 技術資訊：講 Python / Deep Learning / 統計學..etc
● 意⾒見見領袖：講 AI 的⼤大趨勢與機會
● 媒體與電影：講 AI 未來來可能帶來來的機會與風險
● 學術研究：講學術領域的技術突破
獲取資訊後，實際導入專案⼜又會有⼀一番體悟，⽽而我覺得市⾯面上
較少管理理者/經理理⼈人的實務經驗分享，因此決定了了今天的主題

ABOUT ME
關於我
9

關於我 About Me
10
【卡米爾】專案經理理
【台⼤大】地理理與環境博班
負責領域：資料科學、系統設計
研究領域：空間分析演算法
【資策會】研發替代役
數據系統設計、系統開發、前端⼯工
程師、資料庫管理理員
【交⼤大】資訊管理理研究所
研究領域：資料探勘與資料庫

相關教學 / 演講 / 經歷
11
● 清華⼤大學：AI 與體驗設計講師
● 台灣⼤大學：⼤大數據與視覺化講師
● 國泰集團：資料視覺化 UX 設計 - 企業內訓講師
● 科智公司：資料視覺化 - 企業內訓講師
● 2017 資料科學年年會：資料視覺化主題 Speaker
● KKDAY：Tableau 視覺化軟體 - 企業內訓講師
● 台灣鐵路路局：新興科技與 UX - 企業內訓講師
● 中原⼤大學：前端⼯工程與RWD設計 - 課程講師
● 東吳⼤大學：EMBA 科技與群眾募資課程講師
● ⽟玉⼭山科技論壇：團隊對談講師
● 交通部：跨多單位體驗設計講師
● 資策會：創新樂活服務設計⼯工作坊 - 主導講師
● 環保署：跨單位服務設計講師
● 天地⼈人：資料視覺化課程講師
● YOTTA：設計思考課程講師

12

相關著作
13

專案經歷：環保署透過 IoT + AI 糾舉惡惡意排放⼯工廠
14

16

AI 專案
機器學習
空氣污染預測
專案⾓角⾊色：經理理⼈人
⼀一⾏行行 Code 都沒寫

18

19
2018 年年空氣品質 AI 預測服務 上線記者會

透過 AI 類神經網路路技術：預測空氣品質

Question
有⼈人出⾨門之前，會先查看
空氣品質狀狀況嗎？

⽬目前情境：可滿⾜足明天、後天、⼤大後天的⾏行行程安排期待空污敏感族群，會想了了解空品預報
❖過敏族群
❖氣喘患者
❖⽪皮膚過敏
❖⽗父⺟母族群
❖運動族群
❖單⾞車車族群
管理理者⼯工作
定義清楚使⽤用者

全國測站建模數據（透過 2007 ~ 2016 超過 500 萬筆訓練資料）
環保署 國家級測站資料，單⼀一測站每天每⼩小時的資料
累積 10 年年，總共超過 600 萬 筆資料進⾏行行運算
使⽤用資料

機器學習空氣污染預測：團隊組成
我 / Me / 專案經理理⼈人
客⼾戶：還保署
公司老闆
AI ⼯工程師
領域專家
業務需求
專案⽅方針
AI 技術
專業知識

AI 專案執⾏行行過程中，經理理⼈人之：五⼤大能⼒力力重點

AI 專案經理理的五⼤大挑戰
技術
提升
領域
知識
紀錄
能⼒力力
視覺
⼯工具
團隊
⼠士氣

#1 技術提升
AI Knowledge / Algorithm

QuestionABOUT ME
關於我經理理⼈人 / 管理理者 / PM
需要了了解相關技術議題嗎？
28

[情境] AI ⼯工程師：我想使⽤用類神經⽅方法優化演算法

技術⼈，通常
會期待更了解
⾃⼰的經理⼈
請問類神經⽅方
法是什什麼？
你覺得合適的
話，我們就來來
試試看吧！
太棒了了！有特別
想到使⽤用哪⼀一些
演算特徵嗎？
⼼心動指數10%
我想使⽤用類神
經⽅方法⽅方法優
化看看，可以
嗎？
⼼心動指數30%
⼼心動指數60%
太棒了了！有特別想到使⽤用哪⼀一
些演算特徵嗎？有預計怎樣進
⾏行行漸進式的算法優化嗎？實驗
指標的想法是？
⼼心動指數100%

QuestionABOUT ME
關於我所以説，技術很重要，但對於經
理理⼈人來來說，到底要了了解到多深
呢？
31

經理理⼈人：可投資⼯工程師 10% 的時間，先掌握 AI 技術概念念
1% 3% 100%
理理解基
礎概念念
理理解運
算原理理
與參參數
了了解⽅方法
特性與適
⽤用性
能夠實作算法、修改
程式碼並進反覆實驗
10%
專案經理理⼈人 AI ⼯工程師
投資時
間比例例

對於經理理⼈人來來說，對於技術的廣泛了了解也很重要
AI
相關知識
Algorithm
Jupyter
Notebook
Crawler
Python
Data
Mining
Statistic
Machine
Learning

More is Better：經理理⼈人技術深化的⽅方法
● 先了了解特定的⼤大分類（不要想說什什麼都學）
● google ⼤大神就很多好⽤用知識
● 上線上課程（因為講的好很重要）
● 與⼯工程師更更多互動，打破砂鍋問到底
● 透過相關論⽂文學習（也可專注看 Abstract /
Summary 的說明）

範例例：信⽤用卡詐欺 AI 專案（Google Search）
為了了避免這些狀狀況，⼈人⼯工智慧利利⽤用使⽤用者過去消費紀錄，
進⾏行行刷卡⾦金金額、店舖特性等的分析，甚⾄至拿已確認的詐騙
紀錄作為樣本，如此更更能準確地辨識出盜刷的消費紀錄，
也提升整體作業的效率。
舉例例來來說：銀⾏行行統計客⼾戶⼩小美過去只會使⽤用信⽤用卡做⽇日常
⽤用品的消費，然⽽而某天這張信⽤用卡卻被使⽤用在⾼高級珠寶
店，銀⾏行行就可容易易地判定這筆交易易有盜刷的嫌疑，因⽽而向
⼩小美與店家進⾏行行多重確認。
https://scitechvista.nat.gov.tw/c/sTkv.htm

範例例：信⽤用卡詐欺 AI 專案（Google Scholar）

範例例：信⽤用卡詐欺 AI 專案（Online Learning）
https://www.udemy.com/topic/fraud-analytics/
許多 AI 技術都有
基礎線上課程可以
上，可以在短時間
⾼高效學習

#2 領域知識
Field Knowledge

QuestionABOUT ME
關於我只要擁有⾼高深的 AI 技術，就
能設計出良好的各類 AI 嗎？
39

黃世傑：業餘棋⼠士六段

Question
如果負責的專案，⾃自⼰己不
是領域專家怎麼辦？

進⾏行行空氣污染 AI 機器
學習專案前，我是完全
不懂空氣污染的

特徵⼯工程（1/3）
經理理⼈人的重要職責 即抓影響參參數、抓影響因⼦子、抓影響範
圍，因為 AI ⼯工程師通常不懂這些領域知識...etc
抓特徵

特徵⼯工程（2/3）
Feature Engineering 是把 raw data 轉換成
features 的整個過程的總稱。基本上特徵⼯工程就
是個⼿手藝活，講求的是創造⼒力力。
https://vinta.ws/code/feature-engineering.html

特徵⼯工程（2/3）
特徵⼯工程
領域知識
特徵⼯工程參參數，與
領域知識有很⼤大的
關聯聯關係
領域
專家

領域專家
擅長某⼀一特定⾏行行業或垂直⾏行行業，領域專家所
提供的訊息，可⽤用來來作為進⾏行行 AI 計算、機
器學習演算法設計、數據註釋資料標記等關
鍵任務。
☆ 領域專家通常不懂 AI
空污
專家
某製程
專家
半導體
專家
圍棋
專家 ...etc
育兒
專家

AI 專案，常需要引入領域專家知識幫助優化
AI V1：線性迴歸
前 30 ⼩小時
PM2.5 變化
前 13 ⼩小時 & 未
來來 12 ⼩小時之
天氣變化
交通⾞車車流之上下
班時間
Final ⽅方法
空氣品
質專家
氣象
專家
環境
專家

訪問領域專家：來來取得數據特徵
根據：空污歷史數據，納入前 30 ⼩小時狀狀態進⾏行行建模
前 30 ⼩小時、前 29 ⼩小時、前 28 ⼩小時 ….
… 前 3 ⼩小時、前 2 ⼩小時、前 1 ⼩小時
可將⽩白天晚上週期影響納入考量量
根據：天氣歷史數據，納入 13 ⼩小時單位進⾏行行建模
風速：前 13 ⼩小時、前 12 ⼩小時 …. 、前 1 ⼩小時
風向：前 13 ⼩小時、前 12 ⼩小時 …. 、前 1 ⼩小時
溫度：前 13 ⼩小時、前 12 ⼩小時 …. 、前 1 ⼩小時
降雨：前 13 ⼩小時、前 12 ⼩小時 …. 、前 1 ⼩小時
考慮連續的歷史氣象特徵變化
納入：未來來12⼩小時天氣
納入：未來來 12 ⼩小時的天氣狀狀況，比對過去的歷史數據，進
⾏行行污染的預設
AQI
70
AQI
33
AQI
12

跑了了超過 400 次的實驗，納入領域知識排列列組合，驗證有效特徵

#3 紀錄能⼒力力
Taking Note > Learning

AI 專案進⾏行行過程，不斷會有許多跨領域術語
AI ⼯工程師 / 領域專家 老闆 / 客⼾戶AI 經理理⼈人
吸收、消化、
解讀、產⽣生⾏行行
動⽅方案

QuestionABOUT ME
關於我然⽽而，資訊量量常常都龐⼤大⼜又精
深，有沒有有效紀錄的⽅方式呢？
52

Record Everything / Record Detail
紙筆紀錄有時會
太慢，特徵與技
術名詞稍縱即逝
務必錄⾳音 / 錄
影下來來，可反
覆播放
Skype 錄影功能

將討論內容可視化，有利利 跨領域 討論
https://miro.com/

氣象領
域專家
Me

閱讀⼯工程師研發⼿手稿＆程式碼，輔助閱讀 / 邏輯確認

#4 視覺⼯工具
Visual Tool Skill

QuestionABOUT ME
關於我
58
AI 不是通常都是運算結果，
會跟視覺有關係嗎？

視覺：可幫助更更清楚呈現 AI 效果
AI 計算結果，⼤大多為
資料、數值、數據
視覺化後，更更適合⼈人類⼤大
腦進⾏行行判讀
演算法設計
反饋意⾒見見

https://www.youtube.com/watch?v=B8R148hFxPw

將 AI 產出視覺：可幫助我們洞洞察數據狀狀態
發現有⼀一天預測
非常不準，影響
overall AI 預
測效能
Y軸
預計
誤差
X軸
時序

將 AI 產出視覺：可幫助我們洞洞察額外的數據狀狀態
燒稻草 火災

主要⽬目的在於建立視覺的反
饋系統，讓運算結果更更好理理
解並可持續優化

專案經理理，如果能⾃自⼰己產出
AI 結果的視覺化，能夠對 AI
解析更更有主導性，加速反饋並
更更快推進專案
視覺⼯工具

通常⼯工程師的產出：是序列列化的數值（1/2）

通常⼯工程師的產出：是序列列化的數值（2/2）
空氣品質：預測 17:00 之後的數值
{"station": "u53e4u4ead", "datetime": "2018-09-20 16:00:00", "pred_1": 39.72, "pred_2": 42.9, "pred_3": 40.14,
"pred_4": 39.45, "pred_5": 39.42, "pred_6": 35.49, "pred_7": 36.38, "pred_8": 34.85, "pred_9": 31.99, "pred_10":
30.96, "pred_11": 27.22, "pred_12": 28.12, "pred_13": 25.57, "aqi_12hr_4hr_avg_1": 112.0, "aqi_12hr_4hr_avg_2":
112.0, "aqi_12hr_4hr_avg_3": 103.0, "aqi_12hr_4hr_avg_4": 107.0, "aqi_12hr_4hr_avg_5": 110.0,
"aqi_12hr_4hr_avg_6": 110.0, "aqi_12hr_4hr_avg_7": 110.0, "aqi_12hr_4hr_avg_8": 109.0, "aqi_12hr_4hr_avg_9":
105.0, "aqi_12hr_4hr_avg_10": 102.0, "aqi_12hr_4hr_avg_11": 96.0, "aqi_12hr_4hr_avg_12": 93.0,
"aqi_12hr_4hr_avg_13": 90.0, "error_bound_t4": 8.54762, "error_bound_t7": 11.756, "error_bound_t8": 12.9405,
"error_bound_t12": 16.0833, "error_bound_t6": 10.7738, "error_bound_t9": 13.6905, "error_bound_t5": 9.625,
"error_bound_t13": 16.6964, "error_bound_t10": 14.5774, "error_bound_t1": 0.434524, "error_bound_t3": 6.36905,
"error_bound_t2": 1.125, "error_bound_t11": 15.3095, "pollute_6": "PM2.5", "pollute_10": "PM2.5", "pollute_12":
"PM2.5", "pollute_11": "PM2.5", "pollute_3": "PM2.5", "pollute_4": "PM2.5", "pollute_1": "O3", "pollute_7": "PM2.5",
"pollute_9": "PM2.5", "pollute_2": "O3", "pollute_5": "PM2.5", "pollute_8": "PM2.5", "pollute_13": "PM2.5"}
"

經常需透過：Excel / Tableau 將數據產出視覺化

反饋速度較慢且不準確
其實請⼯工程師幫忙視覺化也可以，但是...
他不⼀一定能做出你要的視覺
source: 8 Popular Types of Data Visualizations in Python
AI ⼯工程師專案經理理⼈人
每個視覺檢視產出速度較慢，且如
果每個測試結果、產出都依賴⼯工程
師，也會導致⼯工程師⾓角⾊色上會有球
員兼裁判的可能性

透過 Tableau 視覺化，觀察空氣污染預測誤差
空氣品質
預測誤差
數值-真實值
空品-AI預測值
空品預測

#5 團隊⼠士氣
Morale / Encouragement /
Team Building

AI 專案
的⾼失敗率

圖來來源：https://hbr.org/2018/07/collaborative-intelligence-humans-and-ai-are-joining-forces
AI ⼯工程師 領域專家 組織老闆 服務⽤用⼾戶

資料科學家/⼯工程師 最不喜歡 的事情
https://whatsthebigdata.com/2016/05/01/data-scientists-spend-most-of-their-time-cleaning-data/

資料科學家/⼯工程師 最花時間 的事情：清洗資料
https://whatsthebigdata.com/2016/05/01/data-scientists-spend-most-of-their-time-cleaning-data/

清洗資料
清洗資料
清洗資料
清洗資料
清洗資料
設計AI演算法
訓練AI演算法
觀察結果
清洗資料
清洗資料
清洗資料
清洗資料
專案經理理，需要持續透過
溝通推動團隊⾾鬥志

投入⼤大量量預算任⽤用了了
資料科學家、AI⼯工程
師，什什麼時候才會有
成效呢？
股東 / 部⾨門主管
股東 / 部⾨門主管

https://www.wired.co.uk/article/yuval-noah-harari-
extract-21-lessons-for-the-21st-century
溝通與⿎舞團隊的能
⼒，我認為是 AI 專案
經理⼈的關鍵能⼒，
這涉及到許多的溝通
能⼒，以及引領團隊
⼠氣持續⾼漲的關
鍵，可以持續從失敗
中吸取教訓，繼續前
進
部⾨門
主管
投資
⼈人 AI
⼯工程師
領域
專家
經理理⼈人

結論

開發操作(DevOps)
⼯工程師
數據⼯工程師
領域專家
數據分析師
AI 專案經理理
使⽤用者
部⾨門主管

AI 專案經理理的五⼤大挑戰
技術
提升
領域
知識
紀錄
能⼒力力
視覺
⼯工具
團隊
⼠士氣

最後的快問快答
團隊內沒有 AI 經驗的⼈人，該如何開始呢？Q1
必須要有找經驗的⼈人作統籌的經理理⼈人（AI 專案關鍵：⼈人）
有⼈人之後，會遇到的第⼀一個挑戰？Q3
必須找到值得團隊冒險的願景題⽬目，並且確認有資料可以做 AI
如何找到 Q1 的⼈人呢？Q2
組織品牌 / ⾼高薪 / 價值理理念念號召 / 出⾊色的學⽣生 / 社群網站
AI 專案的整體流程 / 時程為何呢？Q4
團隊形成 > 資料整理理 > 特徵⼯工程 > 實驗產出 > 不斷循環
細節則需要另⼀一場分享來來做完整說明

有問題也可與我聯聯絡 / 加入我的 FB / Email 給我
Ps. 如果有加入 FB 記得告訴我你是來來上課的⼈人
THE END
foxfirejack@gmail.com