台大科學教育中心在 2021 春天辦的系列演講，主題命名為「妙趣痕聲」，有一系列有關聲音的各種科學的多場演講，這是開幕首場。

1. 芝麻開門
— 語言的聲音
開啟人類文明的無限空間
李琳山
台灣大學 電機資訊學院

2. • 生理
– 腦容量
– 直立、雙手萬能
– 發聲系統
• 生活
– 手腦並用、農耕
• 語言
– 基本音
– 文字記載
人類與動物最明顯的差異
、字、詞、句，變化萬千

3. • 文字：過去到今日
– 古代：記載並傳播訊息，呈現並孕育文明
– 今日：文字資訊透過網路傳遍全球
– 今日：Google/Facebook等均藉助文字為操作工具，成為
科技文明中人類日常生活一部份
語言是孕育人類文明的重要元素之一 (1/2)

4. • 聲音：過去到今日
– 語言呈現的另一種形式
– 成功的機器能聽說操作人類語言的聲音
– 說出來就好，不用寫(打字)
– 可帶個人特色及情緒等
– 影音多媒體更完整呈現人類文明
– 機器聽說人類語言的聲音才剛開始
語言是孕育人類文明的重要元素之一 (2/2)

5. 人工智慧

6. 人工智慧
• 機器會作兩件事遠勝人類
– 記憶大量資料
– 快速執行大量計算
• 電腦程式
– 一堆指令教機器循序交替或反覆執行上述二事，以達成
某種任務
• 電腦能作的事
– 僅限於“死記” 及“照表操課”(一個口令一個動作)
• 人工智慧
– 由“死記” “照表操課”進步到看似能夠 “活學活用”

7. 建立
模型
活學活用
“猴”
“貓”
“狗”
大量由人類
標註好的資料
訓練
機器
貓
自動推衍到未曾見過的資料
(Generalizable to Unseen Data)
• “活學活用”(舉一反三)
– 不僅僅是 “死記” “照表操課”
– 但完全用“死記” “照表操課” 作到
(機器學習, Machine Learning)
─ (舉一反三)

8. • 向量空間中每張圖片各是一個點，
“活學活用”模型舉例
• 支撐向量機 (Support Vector Machine, SVM)
為兩群已知代表不同內容的相
片的點找出一分隔平面
• 對於新的未知的點，就根據此分隔平面判斷是屬於哪一群
最大間隔
• 模型 ─ 機器“照表操課”的“課表”，讓機器能“活學活用”
(模型:假的但看似真的)

9. 類神經網路(Neural Network) ─ 神經細胞 (Neurons)
• 每個神經細胞接收許多來源的資訊
• 經過複雜程序運作整合出新的資訊傳遞出去
• 許多神經細胞彼此相聯構成複雜的網路

10. 輸出層
隱藏層(Hidden Layers)
輸入層
深層類神經網路 (Deep Neural Network, DNN):
深層學習 (Deep Learning)
1
x
2
x
……
N
x
……
……
……
……
……
……
……
y1
y2
yM
深層：很多隱藏層
神經元
• 複雜的模型含巨量可調整參數，大幅提昇 “活學活用”的
精細度及彈性
– 超強軟硬體由巨量數據中學到所有參數的最佳值
– 超級精細的“課表”讓機器“照表操課”，作到看似“活學活用”
輸出
……
x1
x2
xN
輸入
(湊答案)

11. “活學活用”的機器能創作嗎 ?
機器畫出一張圖
給機器很多範例
會不會只是抄
襲(死記) ?
• 對抗式學習(Adversarial Learning)：讓兩台機器在互相對
抗中彼此學習
•以創作動畫人物為例

12. 生成器
(Generator)
G3
生成器
(Generator)
G2
生成對抗網路 (Generative Adversarial Network, GAN)
生成器
(Generator)
G1
鑑別器
(Discriminator)
D1
鑑別器
(Discriminator)
D2
沒有兩個大黑
點的一律扣分
沒有彩色的一
律扣分
從未看過範例，但不斷
努力爭取高分
看過很多範例，不斷找
出更好的評分方式，但
從不畫圖
不給
範例
找出差異並
據以評分
• 兩台機器反覆固定一台去訓練另一台，在互相對抗中彼
此學習

13. •這些都是機器畫出
來的 ……
– 類似的方法可訓練
機器寫詩、作曲、
合成語音、寫文
章…
– 只是一張超級精緻
的“照表操課”的課
表

14. 深層學習時代來臨
• 人工智慧早已有之，只是 “活學活用”的能力有限
• 深層學習概念早已有之，只是早年無法實現
– 軟硬體變成超強
– 儲存、使用巨量數據並在瞬間執行巨量運算變成可能
– 網路世界 (Internet, IoT)如鋪天蓋地
– 巨量數據 (Big Data)如排山倒海
– 雲端資訊 (Cloud Computing)無所不在，提供幾乎無限大
的記憶體及計算量
• “活學活用”作到過去無法想像的程度
– 人工智慧、深層學習如魚得水
– 一飛衝天、一日千里
直到
、如箏得風

15. 人類語言的聲音(語音)訊號
及其分析

16. x(t)
x[n]
t n
語音訊號
•聲音(聲波)

17. x(t)
x[n]
t n
x(t)
語音訊號
•聲音(聲波) 電訊號
(麥克風)

18. x(t)
x[n]
t n
•聲音(聲波) 電訊號 實數序列
(麥克風) (取樣)
(Sampling)
x(t) x[n]
語音訊號

19. 母音(Vowels)─濁音(Voiced)
t
第一聲(tone1)
第四聲(tone4)
第二聲(tone2)
基週(pitch)
：音高

20. 人類的發聲系統及聲源模型
 
t
u
•人類的發聲系統 •聲源模型
聲道
 
t
x
u(t)
x(t)

21. u(t) x(t)
pitch pitch
濁音
清音
濁音/清音及聲道

22. 清音（Unvoiced） 濁音（Voiced）
子音(Consonants)─清音(Unvoiced)或濁音(Voiced)

23. 一整句話

24. 訊號之頻域 (Frequency Domain)分析─富氏轉
換 (Fourier Transform)
頻率(frequency)
• 向量由互相
垂直的基底
展開

25. 訊號之頻域 (Frequency Domain)分析─富氏轉
換 (Fourier Transform)
頻率(frequency)
• 向量由互相
垂直的基底
展開
• 基底轉換時，
同一向量的座
標因而轉變

26. 訊號之頻域 (Frequency Domain)分析─富氏轉
換 (Fourier Transform)
• 向量由互相
垂直的基底
展開
• 基底轉換時，
同一向量的座
標因而轉變
時間(time)

27. 訊號之頻域 (Frequency Domain)分析─富氏轉
換 (Fourier Transform)
富氏轉換(Fourier Transform)
頻率(frequency)
時間(time)
• 向量由互相
垂直的基底
展開
• 基底轉換時，
同一向量的座
標因而轉變
• 時域
(Time
Domain)
• 頻域
(Frequency
Domain)

28. 一整句話

29. 時頻譜(Spectrogram) (1/2)
頻率(Frequency)
頻率(Frequency)
時間(Time)
f, ω
ω, f
共振頻率
(Formant
Frequency)

30. 一整句話

31. 時頻譜(Spectrogram) (2/2)

32. 時頻譜(Spectrogram) (1/2)
頻率(Frequency)
頻率(Frequency)
時間(Time)
f, ω
ω, f
共振頻率
(Formant
Frequency)

33. He will allow a rare lie.
共振頻率軌跡圖(FormantFrequencyContours)

34. 人耳聽覺
34
外耳 中耳 內耳

35. 現場展示
真實語音訊號

36. 教機器聽人類語言的聲音
(語音辨識)

37. 建立
模型
“猴”
“貓”
“狗”
大量由人類
標註好的資料
訓練
機器
貓
自動推衍到未曾見過的資料
(Generalizable to Unseen Data)
• “活學活用”(舉一反三)
– 不僅僅是 “死記” “照表操課”
– 但完全用“死記” “照表操課” 作到
─ (舉一反三)
活學活用 (機器學習, Machine Learning)

38. 大量由人類
標註好的資料
訓練
機器
建立
模型
“新年好”
“你好嗎”
“台灣大學”
“早安”
• “活學活用”(舉一反三)
– 不僅僅是 “死記” “照表操課”
– 但完全用“死記” “照表操課” 作到
自動推衍到未曾見過的資料
(Generalizable to Unseen Data)
─ (舉一反三)
活學活用 (機器學習, Machine Learning)

39. 特徵擷取
(Feature
Extraction)
未知語音
(Unknown Speech)
模型比對
(Pattern
Matching)
決定
(Decision
Making)
x(t)
W
X
輸出
特徵向量序列
(Feature Vector
Sequence)
參考模型
(Reference
Patterns)
特徵擷取
(Feature
Extraction)
y(t) Y
訓練語音
(Training Speech)
語音辨識(Speech Recognition)基本原理

40. 特徵擷取(Feature Extraction)
x1
x2
‧
‧
‧
‧
xD
= ō1
x1
x2
‧
‧
‧
‧
xD
x1
x2
‧
‧
‧
‧
xD
= ō2
•模擬人耳聽覺的頻段(Critical Bands)
•描述唇齒舌相對關係的
口型參數(Parameters)
•共約39維
x(t)
x[n]
t
t
= ō3 ‧‧‧

41. 特徵擷取
(Feature
Extraction)
未知語音
(Unknown Speech)
模型比對
(Pattern
Matching)
決定
(Decision
Making)
x(t)
W
X
輸出
特徵向量序列
(Feature Vector
Sequence)
參考模型
(Reference
Patterns)
特徵擷取
(Feature
Extraction)
y(t) Y
訓練語音
(Training Speech)
語音辨識(Speech Recognition)基本原理

42. 隱藏式馬可夫模型(HiddenMarkovModels,HMM)
• 狀態轉移機率
(State Transition Probabilities)
122‧‧‧ 1111111122‧‧‧
0.1 0.5 0.5
0.5
0.1
0.9
0.5
0.9
• 一維高斯混合(1-dim Gaussian
Mixtures)機率模型
狀態
(States)
a11 a22

43. • 簡化方塊圖
• 輸入語音句子舉例
this is speech
• 聲學模型(Acoustic Models)：三連音素(triphone)
(th-ih-s-ih-z-s-p-ih-ch)
• 詞典(Lexicon) (th-ih-s) → this
(ih-z) → is
(s-p-iy-ch) → speech
特徵擷取
(Front-end
Signal Processing)
特徵
向量
序列
語言解碼
(Linguistic Decoding
and
Search Algorithm)
輸出文句
輸入語音
詞典
(Lexicon)
聲學模型
(Acoustic
Models)
語音資料庫
(Speech
Corpora)
聲學模型
訓練
大字彙連續語音辨識 (Large Vocabulary
Continuous Speech Recognition)基本原理

44. 詞圖(WordGraph)
• 語言模型
P[豪雨不斷台東兩人失蹤] >> P[陶藝無端太重兩任失蹤]

45. • 簡化方塊圖
• 輸入語音句子舉例
this is speech
• 聲學模型(Acoustic Models)：三連音素(triphone)
(th-ih-s-ih-z-s-p-ih-ch)
• 詞典(Lexicon) (th-ih-s) → this
(ih-z) → is
(s-p-iy-ch) → speech
• 語言模型(Language Model) (this) – (is) – (speech)
P(this) P(is | this) P(speech | this is)
P(wi|wi-1) 双連文法語言模型 (bi-gram language model)
P(wi|wi-1,wi-2) 三連文法語言模型(tri-gram language model)
特徵擷取
(Front-end
Signal Processing)
特徵
向量
序列
語言解碼
(Linguistic Decoding
and
Search Algorithm)
輸出文句
輸入語音
詞典
(Lexicon)
聲學模型
(Acoustic
Models)
語音資料庫
(Speech
Corpora)
聲學模型
訓練
語言模型
訓練
文字資料庫
(Text
Corpora)
語言模型
(Language
Model)
大字彙連續語音辨識 (Large Vocabulary
Continuous Speech Recognition)基本原理

46. 植入深層學習(Deep Learning)的語音辨識
• 將深層類神經網路(DNN)植入原有架構中
s1
s2
sn
…
a11
a12
a22
ann
深層類神經網路
DNN
聲學模型
– 語言模型亦同

47. 端到端深層學習(End-to-end Deep Learning)語音
辨識
• 完全用深層學習完成所有原有架
構的任務
– 儘可能一口氣學到聲音、詞典、
句型等各種知識
– 只要機器夠厲害，數據夠多
– 人一生能聽到的聲音最多數十
萬小時，機器在這方面可以遠
勝人類

48. 機器可以聽說操作
人類語言的聲音以後
• 在未來科技文明的世界裡
– 知識就是力量
– 資訊就是一切
– 數據才是王道

49. 網路是全人類共同的唯一的知識寶藏(1/2)
•Google、Amazon、Facebook、YouTube等提供了非常多人類
生活所需的資訊
•過去實體的知識寶庫如圖書館、博物館逐漸虛擬化
•網路課程、遠距教學、電子書等成為最有效率的學習工具
網路
即時資訊
─ 氣象、路況
─ 新聞
─ 航班
─ 股市
─ 體育
特殊網路服務
─ Google
─ Amazon
─ Facebook
─ YouTube
知識典藏
─ 數位圖書館
─ 虛擬博物館
日常業務及
工作環境
─ 電子商務
─ 虛擬銀行
─ 線上交易
─ 電傳會議
─ 遠距教學
個人及私有服務
─ 私人記事本
─ 企業資料庫
─ 家電操作
─ 網路遊戲

50. • 最吸引人的數位內容型態是影音多媒體，可能不帶文
字，但可帶有語音旁白
• 今日網路資訊的搜尋功能超級強大，但仍以文字為基
礎，包括YouTube的視訊搜尋
• 多媒體資訊的語音旁白常明確說明數位內容的主題概
念，可用以搜尋數位內容
網路
即時資訊
─ 氣象、路況
─ 新聞
─ 航班
─ 股市
─ 體育
特殊網路服務
─ Google
─ Amazon
─ Facebook
─ YouTube
知識典藏
─ 數位圖書館
─ 虛擬博物館
日常業務及
工作環境
─ 電子商務
─ 虛擬銀行
─ 線上交易
─ 電傳會議
─ 遠距教學
個人及私有服務
─ 私人記事本
─ 企業資料庫
─ 家電操作
─ 網路遊戲
網路是全人類共同的唯一的知識寶藏(2/2)

51. 智慧型手機及其他可能的上網工具使語
音成為重要的使用者介面之一
• 智慧型手機、車上電子裝置、家電、各種隨身的配備及穿戴式
零件等都可能成為上網最方便的工具
• 隨時隨地與全球知識及資訊相連
• 輕薄短小，進入日常生活各個角落，隨時隨地使用
• 個人電腦不再是資訊使用者唯一的寵兒
• 語音是隨時隨地用任何一種工具上網最方便自然的介面之一，
並可一句到位
網路
文字
數位內容
多媒體
數位內容

52. 語言的聲音如何可以促進人類文明發展 ?
我想找有關Deep
Learning的演講
學習者
• 網路上多媒體影音如排山倒海而來：YouTube、MOOCs…
– 多數有聲音旁白但沒有文字字幕
– Google能看盡天下文章後幫人找到任何一篇文章
– 機器能聽聲音正如Google能看文字
– 機器也能聽盡天下聲音後幫人找到任何一句話及所附影片
• 語音版的Google

53. 語音資訊搜尋(Spoken Content Retrieval)
• 語音詞偵測(Spoken Term Detection)
– 偵測每一語句中是否說到某一目標詞
目標詞: COVID-19
分數

54. 公視新聞搜尋
• 2004

55. 語音版Google的進階 ─ 機器替人類將網路
資訊去蕪存菁融會貫通
• 機器有可能可以聽完全部數位內容，加以理解融會，並為每
一個人抽出他所需要部份
• 在這些多媒體數位內容中，語音常帶著關鍵資訊
每分鐘有300小時
多媒體資訊上傳
(2015.01)
Coursera有1874門課
(2016.04)
• 沒有人有能力看完這些數位內容
• 網路資訊大爆炸
– 人類文明盡萃於此
– 文明精華埋在大量不相干的資訊堆中

56. 初步目標應用舉例：個人化隨選(On-Demand)
教育環境
• 對每一使用者
 我想瞭解機器如何會聽人類語言
 我是初二學生，不會寫程式
 我可以花2小時學習
使用者
這是你的2小時個人化課程。我也
擔任你的個人助教，有問題問我。
– 每個人迅速獲得需要或想學的知識
• 根據語音資訊搜尋、分析、摘要、組合多媒體數位內容，
並針對問題尋找答案
– 核心關鍵是要瞭解語音資訊內容
– 諸多相關問題正逐步克服中

57. 新時代的教育：正規及尖端
• 正規
– 小學、中學、大學、碩博士班
• 尖端
– 根據每人需要，隨時隨選
• 高效率並具彈性的教育可有效加速科技研發、創新創作及產
業發展
– 其他諸多領域亦因而更繁盛，如基礎建設、商業、娛樂等
• 人類文明有機會大幅加速飛躍進步
• 教育以外其他領域亦同

58. .
.
.
.
.
.
.
d1
d2
.
.
.
di
.
.
.
.
.
.
.
di: 文件 Tk: 潛藏主題 tj: 詞彙
藉助主題瞭解語言中的語意─潛藏語意
分析(Latent Semantic Analysis, PLSA)
• 假設存在一系列的潛藏主題
− 一個主題是詞彙的一種機率分佈
• 利用詞彙在不同文件中出現的統計進行大數據分析
− 可知那些詞和那些主題因此可能是相關的(例如川普與美國總統大選)
• 今日用精緻的深層學習由前後文中學出詞彙的語意

59. • 抑揚頓挫
– 語者說到關鍵詞時通常語速較慢、音量較高、音高變化較大
• 主題分析
– 關鍵詞通常只集中出現在少數主題中
• 詞相關知識
– 詞頻、詞類、反文件頻
非關鍵詞
P(Tk|ti)
k
關鍵詞
P(Tk|ti)
k
主題 主題
由語音資訊中自動偵測出關鍵詞(Keywords)

60. X1
X2
X3
X4
X5
X6
語音資訊:
正確辨識
X1
X3
摘要:
• 選出重要句子將之串起來用聲
音播放
• 選句原則
− 包含較多重要的詞
− 所含概念與全文接近
− 已選出的句子其概念避免重覆
錯誤辨識
t2
t1
語音資訊之自動摘要(Summarization)
• 今日用深層學習學出來

61. • 標題有助於語音資訊之組合及使用者之點選聆聽
• 短、可讀、大致描述內容、文字形式
• 舉例：
訓練語料 詞序模型
選詞模型 標題長度模型
語音文件 辨識及自動摘要 建構標題 標題
摘要
為語音資訊自動下標題(Title)
• 今日用深層學習學出來

62. • 舉例１：根據主題將語音資訊分群並組成二維樹狀結構
• 相同主題之語音資訊為一群，由一組關鍵詞標示
• 每一群可在下一層展開成一張二維圖
語音知識之建構(Structuring) (1/2)

63. 電視新聞瀏覽器 (2006)
(Broadcast News Browser)
現場展示
NewsVideoPlayer
DemoSummary

64.  網路課程常需相當長的時間(例如45小時)才能完整學
習
– 很忙的人很難由網路課程學習知識
 有瀏覽器可以搜尋
– 課程知識是有順序的，沒學前面可能聽不懂後面
 解決方法
– 課程內容以投影片為單位切成小段(有聲投影片)
– 每一小段以其關鍵詞標示其內容
– 用關鍵詞建構前後關係
網路課程

65. • 舉例２：關鍵詞圖
• 每一段語音資訊(例如一張有聲投影片)由一組關鍵詞標示
• 關鍵詞間的關係用圖呈現
有聲投影片
關鍵詞
語音知識之建構(Structuring) (2/2)
Acoustic
Modeling
Viterbi
search
HMM
Language
Modeling
Perplexity
……
……
……
……
……
……
……
……
……
……
……
……
……
……
……
……
……
……

66. 台大虛擬教師 (2009)
（NTU Virtual Instructor）
現場展示

67. 學海無涯
752 matches
• 線上課程浩瀚無邊

68. 機器製作學習地圖
內容接近的段落
相關課程

69. 學習順序
機器製作學習地圖
相關課程

70. 機器製作學習地圖 (2014)
現場展示

71. • 機器究竟瞭解數位內容多少呢？
• 讓機器考TOEFL Listening Comprehension Test
• 例題:
問題: “ What is a possible origin of Venus’ clouds? ”
語音內容:
選擇:
(A) gases released as a result of volcanic activity
(B) chemical reactions caused by high surface temperatures
(C) bursts of radio energy from the plane's surface
(D) strong winds that blow dust into the atmosphere
(5分鐘長)
機器理解 (Machine Comprehension)語音數位內容

72. (1) (2) (3) (4) (5)
未聽先猜
2016技術: 50.0%
選最短的
正
確
率
(%)
841篇考古題訓練機器
122篇考古題測試機器
• 機器能力
• 目前方向：填空題，簡答題
機器理解 (Machine Comprehension)語音數位內容
– 機器個人助教

73. 自動問答
系統
知識來源
問題
答案
相關文獻
Google
自動問答系統(Question Answering) ─ 機器個人
助教
• 機器自動回答使用者提出的問題
語音資訊或
附帶影片
• 用深層學習發掘出問題的答案，並組合成可聽可讀的訊息提
供給使用者

74. 展望未來

75. • 過去到今日是孕育人類文明的重要元素
• 未來藉助機器的力量
– 可以進一步開創出人類文明的無限空間
人類語言的聲音

76. 可能的機會海闊天空

77. 而且無所不在

78. 內容可以包羅萬象
生活
食
衣
住
行
育
樂

79. 機器能做的事變化萬千

80. 機器的發展一日千里
8 layers
19 layers 22 layers
AlexNet (2012) VGG (2014)
GoogleNet
(2014)
152 layers
Residual Net
(2015)

81. 一日千里的機器有可能帶著語言的聲音逐
步開啟人類新文明
• 新文明
– 人類社會中所有一切都
會有全新面貌，並蓬勃
發展飛躍前進

82. 今天的科技文明中開始看到語言聲音的角色
• 初生嬰兒? • 腹中胎兒…

83. 曙光初現

84. 天將破曉

85. 天光漸亮─ 預告太陽即將升起

86. 陽光燦爛

87. 晴空萬里

88. • 機器聽說人類語言的聲音充其量與人相同，但機器能處
理巨量資訊並隨時隨地反覆服務則遠勝人類
• 芝麻開門：只要開口說話就可開啟寶藏的大門，為人類
自古以來的夢想
• 網路為未來全人類唯一共同的知識、資訊及數據的寶藏
• 藉助機器的力量，有機會可以用語言的聲音開啟此一寶
藏的大門
– 人人可在寶庫中遨遊，將自動開啟人類的新文明
• 語音版Google的進階(或個人化隨選教育環境)前路方長
– 沿途諸多難題正逐步克服中
– 新的科學技術正在使難題變得較容易
芝麻開門

89. • 15年前吾人完全無法預知今日科學技術的面貌
– 許多當時認為瘋狂的幻想，今日均已成真
– 今日吾人亦無法預知15年後的科學技術世界
– 任何想像得到的均可能成真
• 今日是科技研發的黃金時代
– 超強機器、超深層學習、超巨量數據
– 飛躍進步的科學技術
– 均是人類史上前所未有
• 大家一起來努力，迎向人類新科技文明的燦爛陽光
結語