生物辨識題材在行動端十分火熱！尤其是臉部辨識在手機上的應用近期更是遽增，雖然APPLE在Iphone8/8+/X的發表會上臉部辨識橋段出糗，但臉部辨識技術已成為市場熱烈討論的話題！此次EVENT報告將從技術層面切入，接著介紹相關廠商，最後探討可能的風險與疑慮，帶給大家滿滿的新鮮趨勢應用知識！

1. 人臉辨識之手機應用
台大會計碩二許士範、政大財政二朱鴻銘、輔大金企三程柏綸、台大工管三曾齡儀、台大財金三陳孝典
2017/10/07-2017/10/13
1

2. • 技術上
iPhoneX被認為是蘋果拿來測試人臉辨識市場。藉由結構光技術使iPhoneX比先前三星S8/+的臉部辨
識系統更為可靠；採用雙鏡頭與較進步的演算法，對於景深功能有所提升。
對於拍照，景深方面的應用就像搭載一位攝像師，透過人工智慧的後製打光、加深人臉的輪廓。這將
是人臉辨識技術未來的優勢。
• 焦點台廠
1. 奇景：與高通合作開發3D感測產品「SLiM」，因服務完善、技術較成熟，有望成為Android陣營的3D
感測供應商。
2. 穩懋：因其客戶Lumentum包下所有iPhone X前置3D感測所需VCSEL元件，所以受到關注。
3. 鈺創：第二代3D深度影像控制IC，利用演算法使得黑暗中也能測距，並支援VR、臉部辨識…等應用。
結論(一)
2

3. • 消費者疑慮
1. 生活上可能透過廣告看板、APP使個資被洩漏並濫用，更嚴重的是遭受差別待遇。
2. 技術發表會上的失誤造成安全性疑慮，儘管官方表示是人員操作不當，並非安全問題。
3. 手機商業應用如Apple Pay，其安全性更高，但似乎沒必要付更高代價去使用。
儘管有種種疑慮，市場上樂觀的看法是：
生產技術方面，iPhone X生產問題在第4季解決後，明年上半年的出貨動能料強勁。
蘋果產品方面，預估明年新款iPhone可能將全面採用Face ID，Touch ID則可能被捨棄或支援Face ID。
安卓陣營方面，高通宣布明年Android手機都將可以用到人臉辨識功能。
結論(二)
3

4. 關於iPhone X的人臉辨識疑問
4
•Q1：有沒有化妝，會影響人臉辨識嗎?

5. 關於iPhone X的人臉辨識疑問
Q2：iPhone X會像Samsung S8一樣，人臉辨識鎖被照片破解嗎?
S8被照片破解人臉辨識鎖：
https://youtu.be/S3rCOZNqYq
0?t=54
5

6. 關於iPhone X的人臉辨識疑問
6
•Q3：會不會睡覺時，被枕邊人拿手機對著臉，就自動解鎖，祕密全都露？

7. 關於iPhone X的人臉辨識疑問
A：
蘋果高階副總裁費德里吉（Craig Federighi）表示，用戶必須眼神注視手機，才能解鎖。
此為，追蹤目光的技術。
於Intel與廣告商合作的RCM(Retail Client Manager)軟體、Samsung S4手機搭載的眼部偵測
捲動瀏覽(Smart Scroll)、以及瑞典眼動儀公司拓比（Tobii）推出支援Windows 8電腦的眼動
儀REX，甚至是支援VR(Visual Reality)功能的遊戲中，都已經運用了同樣的技術。
7

8. 關於iPhone X的人臉辨識疑問
目光追蹤技術
1. 眼球追蹤器發出紅外光
2. 你的眼球反射燈光
3. 反射光被眼球追蹤器的相機捕捉
4. 通過過濾和計算，眼球追蹤器知道你在看哪裡
8

9. 關於iPhone X的人臉辨識疑問
Q4：如果有人可以根據你的自拍生成你的 3D 臉部模型，那又能不能騙過 iPhone X 呢？
A：有待iPhone X新機上市後的測試。
英國諾丁漢大學和金斯頓大學，利用了AI 技術：卷積神經網絡（CNN）來訓練對 2D 照片和
3D 面部模型的識別，並且能夠將 2D 的人臉照片快速產生對應的 3D 模型。(https://goo.gl/PgdQn4)
先前三維面部識別系統也不乏被破解的案例，兩年前德國柏林 SR 實驗室就用一個石膏模型騙
過了微軟的 Hello 面部識別系統。
9

10. 人臉辨識技術介紹
01
10

11. 蘋果iPhone X 的人臉辨識解鎖技術
為了達到三度空間臉部辨識，蘋果的Face ID整合多個元件：分別是紅外線鏡頭、泛光感應元件（Flood
illuminator）、距離感應器、環境光感測器(Ambient light sensor)、前端相機、點陣投影器。此整合的系
統又稱為True Depth Camera System。
11

12. 蘋果iPhone X 的人臉辨識解鎖技術
取消了home鍵，FaceID也就取代了過去的Touch ID，這意味著iPhone X將對你臉部每一個
細節都暸若指掌，背後的原理是結合了最新的TrueDepth系統以及搭載具備神經網路引擎的
A11 晶片。
蘋果全球產品行銷資深副總裁 Phil Schiller表示：「就算你帶著眼鏡或帽子，白天或夜晚，
FaceID都能運作。」
12

13. 舊觀念新技術-臉部辨識技術的發展史(上)
• 1872年 達爾文撰寫的《人與動物的情緒表達》，確認人臉6大情緒狀態的樣貌
• 1954年 首篇人臉辨識的工程研究論文，I. Bruner and R. Tagiuri. “The perception of people”
• 1964年 自動化臉部識別的先驅者，Bledsoe、Helen Chan、Charles Bisson使用電腦識別人臉
• 1970年 首篇機器自動辨識人臉的論文，”M. Kelly. Visual identification of people by computer”
• 1970`s Goldstein，Harmon和Lesk能夠增加人工面部識別系統的準確性。他們使用21個具體的主觀標
記，包括唇部厚度和頭髮顏色，以便自動識別臉部。
• 1988年 Sirovich和Kirby對面部識別問題應用了主成分分析，特徵面技術被開發用於人臉識別
• 1988年 洛杉磯縣警長部門的萊克伍德部門開始使用嫌疑犯的複合圖紙（或視頻圖像）進行數字化圖像
的數據庫搜索。
• 1991年 麻省理工學院（MIT）首次發表一套有效辨識人臉的辨識方法Eigenface技術
13

14. 舊觀念新技術-臉部辨識技術的發展史(下)
• 1991年 Turk和Pentland發現，在使用特徵面技術時，殘差可用於檢測圖像中的面。這一發現的結果意
味著可靠的實時自動化人臉識別是可能的。
• 1993年 美國國防部即開始進行了一項名為FERET的計劃，主要內容為贊助相關研究、收集人臉資料庫、
並進行技術評估。
• 1996年 臉部辨識首個學術實驗品問世
• 2000年 人臉辨識邁入應用商品之紀元。DARPA會同了其它機構，共同舉行了首次全球性的人臉辨識科
技產品供應商測試評比
• 2009年 Google的Picasa相簿 3.5版支援人臉辨識功能
• 2010年 Facebook開始實施面部識別功能，幫助識別Facebook用戶每天更新的照片中的人臉。
• 2012年 Samsung 發布S3手機，內建照片人臉辨識功能
• 2017年 Samsung發表支援臉部辨識解鎖的S8手機；Apple發表支援臉部辨識解鎖的iPhoneX手機
14

15. 人臉辨識之重要技術
人臉辨識分為2步驟
1. 人臉偵測( detecting the presence of a face)：人臉辨識器偵測到人臉的存在
2. 人臉感知( face identifications of individuals )：人臉辨識器需要能夠辨別不同個體間的人臉差異
因此，要達成人臉辨識需要三大重要技術，分別為：
1.演算法
2.景深
3.深度感知
15
達成人臉偵測
達成人臉感知

16. 演算法
演算法在人臉辨識中扮演的角色為人臉偵測，人臉偵測有2步驟：
1. 臉部特徵擷取(Feature Extraction) ：
將人臉拆解成幾何圖型的色塊，以提取臉部特徵
2. 瀑布偵測(Cascade Detection)：
透過一連串的運算檢查，通過第一關才能進入第二關，
通過第二關才能進入地三關……直到通過最後一關，才
會將此特徵辨識為人臉。
16

17. 演算法
隨著處理器運算功能的發展，人臉辨識開始使用人工智慧(AI)。人工智慧為演算法的一種，緣起於科學家圖
靈 如何判定機器人具有智慧的測試。最初的人工智慧想仿造動物的神經元，但卻沒有相匹配的運算能力；
因此科學家想出了機器學習的方法，藉由提供電腦大量資料：分別為訓練用以及驗證用，讓電腦自行在其
中找出資料的規律。
人工智慧發展的進程：機器學習 → 深度學習 → 人工神經網路
近年，受惠於CPU運算能力提升、圖型處理器的運用，以及科學家對於人類大腦的更多了解，因此能更多
運用類神經網路的演算法來執行臉部偵測。類神經網路為透過讓人工智慧比對大量臉部和非臉部的影像訓
練資料，找到不同資料間的分類方式，而學會辨別人臉以及非人臉。
17

18. 景深
關於景深影像的實現，不同家廠商的方法各自不同：
在蘋果在iPhone7 Plus開始利用雙鏡頭中的第二顆鏡頭計算前景和後景間的距離，也就是立體視覺(stereo
vision)，透過2個相機模組拍攝影像，進行三角測量法等運算取得物體距離。
Google則是單純利用人工智慧運算，分析照片中的前景以及後景，因此只有單一鏡頭也可以拍出景深的效
果。但對於景深的實現，演算法的重要度還是不可忽視。例如：iPhone7 Plus和iPhone8 Plus在搭載的鏡
頭規格相同，但因為演算法的改進，讓照片有更好的景深 。
值得注意的是，因為利用雙鏡頭立體視覺的景深技術只有運用兩個RGB鏡頭採集可見光，立體視覺並沒有
運用紅外線發射器還有接收器，因此在光線微弱時，立體視覺的技術較難實現景深的效果。
18

19. 深度感知
目前深度感知領域有2大主流技術方案：結構光、光學飛行時間（ToF；Time of Flight），以用來取得物體
的3D深度資訊。
結構光是3D掃瞄的一個光學方法，它投射出一組用數學方法構造的光圖形當把這些光投到不同深度的平面
上時，光的紋路會發生變化，因此我們可以通過採集這些紋理變化，計算出不同的深度。
ToF即利用光線飛行時間來做3D成像：是通過給目標連續發送光脈衝，然後用傳感器接收從物體返回的光，
通過探測光脈衝的飛行、往返時間來得到目標物距離。
19

20. 結構光與ToF比較
20
結構光 ToF
所需運算資源 中 低
感測距離 < 3m 1~5m
掃描速度 快 非常快
低光源表現 佳 佳
強光源表現 弱 - 普 普
解析度 取決於感測器 取決於感測器
模組功耗 中 與感測距離成正比
代表廠商 Apple(PrimeSense) STM、TI、Ifinein
適用情境 臉部、手勢辨認 AR擴增實境

21. 技術的實踐 ─ iPhone X的人臉辨識機制
iPhone X的人臉辨識解鎖流程：
1. 當有臉部或物體靠近時，會先啟動Proximity sensor
2. 由Proximity sensor發出訊號啟動Flood illuminator，發射出非結構的紅外光投射在物體表面
3. 由Infrared camera接收這些反射的影像資訊，傳送到手機內的A11 Bionic處理器做運算
4. 經由搭載A11處理器的人工智慧運算後判斷為臉部
5. 再啟動Dot projector產生大約3萬個光點投射到使用者的臉部，利用這些光點所形成的陣列反射回
Infrared camera，計算出臉部不同位置的距離(深度)
6. 將這些使用者臉部的深度資訊傳送到處理器，經由計算比對臉部特徵辨識是否為使用者本人
21

22. 臉部辨識手機供應鏈
02
22

23. 蘋果的3D感測供應鏈
23
蘋果3D感測供應鏈
模組廠 鴻海、夏普、LG Innotek、Cowell、歐菲光、意法、奧地利微電子
鏡頭 大立光、玉晶光
CMOS感測器 SONY
繞射光學元件 台積電、精材、采鈺
垂直共振腔面射雷射 穩懋
擴散器廠 奇景光電
過濾器 Viavi
基板廠 京瓷、NTK
其他 同欣電、IQE

24. 蘋果陣營 vs 非蘋陣營
24
項目 蘋果陣營 非蘋陣營
適用手機品牌 蘋果 三星、華為、OPPO、Vivo、小米
產品名稱
原深感鏡頭
(TrueDepth Camera System)
SLiM(Structured Light Module)
3D感測整體解決方案
晶片設計 意法半導體 高通、奇景和Omnivision
代工廠 台積電 台積電
影像感測組裝 同欣電 同欣電
鏡頭 大立光、玉晶光 大立光、玉晶光
模組 鴻海、夏普 鴻海、信利

25. 手機臉部辨識上下游關係圖
25
上游
中游 系統組裝
下游 iPhone X等其他智慧型手機
軟體開發
操作應用軟體
辨識管理介面
*軟體開發套件&演算法
光學式電容
*感測元件 影像處理IC
影像感測元件

26. 焦點台廠
26
廠商 股票代號 陣營 焦點
奇景光電 HIMX NASDAQ 非蘋/蘋果 ● 3D感測產品「SLiM」結合高通影像技術及奇景光學元件、感測器
、驅動IC及整合技術，提供人臉辨識、3D重建及場景感知電腦視
覺的功能
● 預定明年第1季才會量產，代表非蘋陣營最快明年上半年才導入臉
部辨識功能
鈺創 5351 TW 非蘋 ● 與子公司共同開發3D深度影像測距控制IC，並與Google結盟
● 第二代3D深度影像控制IC利用三角函數演算法，在沒有光源的情
況下也能進行測距，並可支援3D手勢控制、臉部辨識、虛擬實境
及擴充實境（VR/AR）、無人機等新應用
穩懋 3105 TW 蘋果 ● 全球最大砷化鎵(GaAs)晶圓代工廠
● 為Lumentum代工3D感測紅外雷射IC ( VCSEL )，此技術利用940
奈米光線，使得光譜不會被任何其他光源打擾

27. 商用上遇到的挑戰
• 特定零件供應不足，造成iPhone X連續展延發售日期
有一說法是True Depth Camera System裡的Romeo&Juliet，因為點陣投影機(Romeo)目前良率低，未能
足量供應，且改善有限；另外，紅外線相機鏡頭(Juliet)的零件生產出現問題，導致延長iPhone X整體出貨
時間。另一說法則是由於 iPhone X 在 OLED 貼合部分遇到麻煩，必須克服較高的良率瓶頸。
• 技術與生產仍有不少需突破，造成非蘋進入臉部辨識時程延宕
高通軟硬體方案尚未成熟，從設計與量產時間點來看，評估都還落後蘋果
約1.5～2年。再者，由於3D感測所需鏡頭與搭配平台等零組件需較高規
格，所以成本較高。
27

28. 消費者體驗的疑慮
03
28

29. 技術上的瑕疵影響消費者信心
作為最新的生物辨識技術，人臉辨識在過去以及現在所遇到技術上的瑕疵，都被媒體放大，進而影響消費
者信心，由其實當兩家手機龍頭Samsung、Apple都出包。
• iPhone在發表會當天臉部辨識系統出包
事件經過：蘋果軟體工程副總裁示範Face ID時，當著數百萬名直播觀眾面前解鎖失敗。
官方解釋：那部iPhone X向大眾展示前，已經有幾個人對它進行設定，而Face ID會掃描每一個處理過該手
機的人臉孔，如果多次驗證失敗，手機會自動鎖定、需要密碼解鎖，以致在台上展示時，那隻手機已經處
於密碼模式，而非是安全問題。
• 三星早先推出的Samsung Galaxy S8便有臉部辨識，但安全性很差、馬上被破解
事件經過：Samsung S8使用者用自己的照片解鎖人臉辨識成功的消息傳出。
解釋：人臉辨識技術目前僅用於解鎖手機，而非作為商業用途，支付方面則提供更高安全性的其他生物特
徵認證技術。
29

30. 商業應用上的消費者疑慮
以Apple pay為例：Face ID在安全性上有優勢，但消費者沒有迫切需求、沒必要。
30
Touch ID Face ID
方便性
• 用戶已經習慣
• 指紋綁訂已統一各種數位平台
速度
流程：約14秒
手 機 靠 近 讀 卡 機 → 按 Home 鍵
→Touch ID確認身分
流程：約16~17秒
電源鍵按2下→Face ID解鎖→靠近
NFC刷卡機
安全性
• 已存在數億指紋資料庫
• 誤判破解機率1/50,000
• 神經網路學習辨別以減少失誤
• 誤判破解機率1/1,000,000
耗電
Face ID利用最少的資源消耗，成功將機器及時學習/電腦視覺演算法帶入
裝置，因此，得以保持和Touch ID差不多的耗電量。

31. 其他應用隱私爭議影響Face ID接受度
市場疑慮：
 透過APP：臉部辨識APP系統蒐集和濫用用戶資訊(個資)，比如賣給廣告商。
 透過廣告路牌：走在路上可能被廣告牌探測性別和年齡(隱私)。
 透過實體商店：商店、銀行和賭場辨識 VIP 客戶提升業績，但同時也代表當你走入一家店，店員馬上
知道你的身分及收入，可能依據你的消費水準提供不同等級的服務(差別對待)。
由 Paysafe 公司進行調查的報告，合計訪問了英國、加拿大與美國消費者 3038 人，主要針對線上消費行
為的付款習慣指出：
40%的人不熟悉像Face ID的生物辨識，所以認為風險高；24%的人不喜歡該技術，但認為最終會被廠商強
迫使用；僅15%的受測者認為未來2~3年內，大家會完全接受生物辨識。
31

32. 在手機方面，市場上有人認為大家已經熟悉Touch ID，使用起來較Face ID更方便、快速，如果沒有比較強、
便宜，那消費者願意買單原因可能是？
• 3D感測技術在非安全性以外的的實用功能
儘管在商業應用上，Face ID不夠吸引人，但3D感測技術不只可以用在安全上，若是應用在娛樂方面，以
拍照為例，Potrait Light，它運用取得的臉部立體資訊，直接幫人臉打光，減少以往光線不足的困擾。
• 強迫被接受
市場目前預測蘋果在2018年可能全面採用Face ID，並放棄Touch ID，且其他廠商像小米、Sony也接連推
出類似產品。
• 或許3D感測技術只是配角，大家真正想要的其實是其他技術
這次iPhone 8 、X搭載A11 Bionic處理器超越高通Snapdragon 835處理器(目前Android旗艦機使用)，強
大到直逼筆電效能，A11除了能支援臉部辨識，甚至渲染出更真實的AR效果。
沒更方便但顧客為何願意買單？
32

33. • 技術上
iPhoneX被認為是蘋果拿來測試人臉辨識市場。藉由結構光技術使iPhoneX比先前三星S8/+的臉部辨
識系統更為可靠；採用雙鏡頭與較進步的演算法，對於景深功能有所提升。
對於拍照，景深方面的應用就像搭載一位攝像師，透過人工智慧的後製打光、加深人臉的輪廓。這將
是人臉辨識技術未來的優勢。
• 焦點台廠
1. 奇景：與高通合作開發3D感測產品「SLiM」，因服務完善、技術較成熟，有望成為Android陣營的3D
感測供應商。
2. 穩懋：因其客戶Lumentum包下所有iPhone X前置3D感測所需VCSEL元件，所以受到關注。
3. 鈺創：第二代3D深度影像控制IC，利用演算法使得黑暗中也能測距，並支援VR、臉部辨識…等應用。
結論(一)
33

34. • 消費者疑慮
1. 生活上可能透過廣告看板、APP使個資被洩漏並濫用，更嚴重的是遭受差別待遇。
2. 技術發表會上的失誤造成安全性疑慮，儘管官方表示是人員操作不當，並非安全問題。
3. 手機商業應用如Apple Pay，其安全性更高，但似乎沒必要付更高代價去使用。
儘管有種種疑慮，市場上樂觀的看法是：
生產技術方面，iPhone X生產問題在第4季解決後，明年上半年的出貨動能料強勁。
蘋果產品方面，預估明年新款iPhone可能將全面採用Face ID，Touch ID則可能被捨棄或支援Face ID。
安卓陣營方面，高通宣布明年Android手機都將可以用到人臉辨識功能。
結論(二)
34