SlideShare a Scribd company logo
LOGO
基于盲信号处理的
人声分离
目录
一.应用背景
二.盲信号分离方法
三.仿真结果
四.总结
一、应用背景
“鸡尾酒效应”:
在鸡尾酒会,即使
周围噪声很大,但
是两人依然可以顺
利交谈。
一、应用背景
在该情况下:
源信号S不可观测
信道状况A不可知
只有信号X和原信号S的
部分统计特性已知,若要
恢复S,则要采用盲信号
处理技术。
二、盲信号分离方法
盲源分离(Blind Source separation
BBS):
在原信号S和信道参数A都未知的情况下,利用输
入原信号的统计特性,仅根据观测信号X恢复出
原始信号各个独立成分的过程。
这过程又称为独立变量分析(Independent
Component Analysis ICA)
二、盲信号分离方法
前提
 信源之间相互独立
 信源个数可知,且观测信号的个数大于等于信源
个数
二、盲信号分离方法
ICA数学模型
 假设有N个相互独立信源,同时有N个观测信号。
S(t)是N×1的向量表示t时刻原信号,X(t)是N×1的向量表
示t时刻观测信号,A是N×N的矩阵表示信道状况。
𝑿 t = 𝑨 × 𝑺 t
 通过ICA处理计算分离矩阵W,
则恢复出来的信号y(t)
𝒚 𝒕 = 𝑾 × 𝑿 𝒕 = 𝑾 × 𝑨 × 𝑺 t
理想情况下𝑾 × 𝑨 = 𝑰
二、盲信号分离方法
ICA算法
算法原理:
依据等独立性度量原则建立函数,然后对该该函数求解,使
恢复出信号尽可能接近原始信号。
二、盲信号分离方法
分离算法
改进算法
ICA算法关键,不同算法
使用不同准则建立不同的
函数
二、盲信号分离方法
依据不同独立性准则提出的ICA算法
 基于自然梯度的语音盲分离算法
 基于改进的信息最大化的语音盲分离算法
 最大信噪比语音盲分离算法
 基于最小增益的语音盲分离算法
二、盲信号分离方法
基于自然梯度的ICA语音盲分离算法
系统框图
二、盲信号分离方法
首先要对观测信号做白化处理,目的是消除观测信号之间相
关性,使得需要信号满足独立性的要求
信号白化使用矩阵的奇异值分解,假设原始信号长度为τ:
𝑋 𝑁×𝜏 = S 𝑁×𝑁 ∙ 𝑉𝑁×𝜏 ∙ 𝐷𝜏×𝜏
白化信号X’表示为:
𝑋 𝑁×𝜏
′
= 𝑆 𝑁×𝑁
𝐻
∙ 𝑋 𝑁×𝜏 = 𝑉𝑁×𝜏 ∙ 𝐷𝜏×𝜏
信号X’各行满足相互正交的关系
白化信号X’
二、盲信号分离方法
分离算法
基本思想:
由于信源之间独立因此恢复信号Y=[y1,y2,y3,…]之间也应
相互独立,因此满足以下等式
Y
   
   
1
1 2 3 1 1[ , , ,..., , ,..., ]
N
i
i
i i
i y i i N
Y y f y
f y f y Y Y y y y y y y


 


 


中元素的联合概率密度 q
其中
当信号完全分离时,
q(y)与fy(y)理论
上应该相等,因此
采用q(y)与fy(y)
的KL距离,即q(y)
与fy(y)相差程度
来衡量输出信号之
间的独立性
二、盲信号分离方法
依据上述等式可以推导得到其分离矩阵W的迭代计算公式
W(k)表示第k次迭代得到的分离矩阵,Y(K)是第K次迭代的输出信号。
其中𝜑 Y 表示基于ICA的活动函数,例如𝜑 Y = tanh 𝑌 ,𝜂 𝑘 表示学习
率(可以取得0.05)。
             1 T
W k W k k I Y k Y k W k    
    '
Y k W k X 
对第K次迭代得到的输出Y(K)的独立
性进行量化,若输出Y(K)中元素相互
独立,则𝜑 𝑌 𝐾 𝑌 𝑇 𝐾 = 𝐼
二、盲信号分离方法
自然梯度ICA的优点
 算法不受具体信道状况影响(但A必须满秩)
 该算法中分离矩阵W不会变成奇异矩阵
缺点
 需要迭代计算,且收敛速度较慢,复杂度高
二、盲信号分离方法
基于改进的信息最大化的语音盲分离算法
系统框图
二、盲信号分离方法
信息最大化算法的基本思想:
使输入端与输出端的互信息达到最大,且输出各个分量
之间的相关性最小化,及互信息量最小化。
系统框图中
U=[u1,u2,u3,…]T是经过该算法之后输出的信号向量,可
以用来逼近输入信号,U=W×X
分离信号Y=G(U),G(U)是非线性函数,该函数直接影响分
离性能
二、盲信号分离方法
信息最大化ICA算法的分离矩阵W的迭代计算公
式
其中非线性函数采用𝐺 𝑈 =
1
1+𝑒−𝑈,μ是该算法的
学习参数(也可以取0.05)。
          1 1 2 T
W k W k I Y k U k W k       
对第K次迭代输出Y(K)的各个分量
之间的互信息进行度量,理想情况
该项应该为-I
二、盲信号分离方法
当采用不同的非线性方程时
当非线性函数
g(t)的陡峭性
较强时,算法
的收敛速度和
分离误差往往
越小
二、盲信号分离方法
改进的信息最大化ICA算法
非线性函数采用g(t)=sgn(t)
则此时的分离矩阵W迭代计算公式
在文献【1】中通过仿真说明该非线性函数明显提升了迭代方程的收敛速
度,降低了分离误差
          1 sgn T
W k W k I Y k U k W k      
[1]徐宏. 语音盲分离算法及应用的研究[D]. 太原理工大学, 2011.
二、盲信号分离方法
迭代次数
其中INFOMAX,
IM-INF OMAX1,
IM-INF OMAX2分别表示非线
性函数为g t =
1
1+𝑒−t ,
g(t)=tanh(t),g(t)=sgn(t)
的信息最大化的ICA算法
[1]徐宏. 语音盲分离算法及应用的研究[D]. 太原理工大学, 2011.
二、盲信号分离方法
基于改进的信息最大化的语音盲分离算法优点
 该方法拥有较快的收敛速度
 采用不同非线性函数可以有效降低分离误差
二、盲信号分离方法
最大化信噪比语音盲分离算法
这是一种全新的语音盲分离算法,根据盲分离的
一般模型建立活动函数,该算法中建立了信噪比函数:
 
   
10log 10log
T T
TT
S S S S
Q Y SNR
N N S Y S Y
 
  
   
二、盲信号分离方法
在实际应用中,原信号S是未知,因此S用估计的输
出信号Y的滑动平均 代替。
因此上述的信噪比函数可以改为
其中Y与 交换简化式子,而不影响分离结果
Y
  10log
T
T
Y Y
Q Y SNR
Y Y Y Y

 
   
     
   
  10log
T
T
Y Y
Q Y SNR
Y Y Y Y

 
   
     
   
Y
二、盲信号分离方法
对上述信噪比函数求偏导数,可以得到该函数的极
点,
从而可以推导得到分离矩阵W的迭代计算公式
,T T
V W C W U W C W      ,
T
T
C X X C X X X X
   
        
   
V
WC W C
U

二、盲信号分离方法
最大化信噪比语音盲分离算法
 该方法分离误差与滑动窗口大小有关
 可以有效抑制语音分离产生的噪声
二、盲信号分离方法
基于最小增益的语音盲分离算法
分离后信号与原信号的比值最小时,叫做增益最小。当增益
越小时,分离后噪声越小,分离信号越接近原信号,分离算
法的效果越好。这是一种新的低计算复杂度的瞬时线性混叠
信号的盲分离算法。
算法原理:
利用统计独立信号完全分离时,利用输出与原信号的增益为
代价函数,使得增益最小化。
二、盲信号分离方法
信号的增益函数
其中原信号S未知, 用估计信号的滑动平均 代替。
  10log
T
T
Y Y
Q Y
S S



Y
  10log
T
T
Y Y
Q Y
Y Y



二、盲信号分离方法
对增益函数求偏导数,求极点可以得到分离矩阵
的计算公式
对上式求解既可以得到分离矩阵W
V
WC W C
U

二、盲信号分离方法
基于最小增益的ICA算法
 该算法是对基于最大化信噪比算法的改进
 无需迭代计算,复杂度相对较低
 性能受滑动窗口大小影响
二、盲信号分离方法
算法总结:
 基于自然梯度和信息最大化的ICA算法,求解需迭代计算,
计算复杂度较高,但算法性能比较好,在实际应用中使用
的较多。
 基于最大化信噪比和最小增益的ICA算法,无需迭代计算,
算法复杂度很低,但算法性能较差,实际中应用少。
二、盲信号分离方法
算法改进:
 改变等独立性度量原则,即前面提出的不同的ICA算法
 采用不同的非线性函数
 采用不同的迭代方式——快速ICA算法,采用了批处理的
方式
接下来主要介绍快速ICA算法
二、盲信号分离方法
快速ICA算法:
又称固定点(Fixed-Point)算法,是由芬兰赫尔辛
基大学Hyvärinen等人提出来的,是一种快速寻
优迭代算法。
该算法本质还是基于信息最大化的ICA算法,利用最
大熵原理来近似负熵,选取一个合适的非线性函数
g(t)使得性能最优。
优点:并行、分布,计算简单,需求内存小
二、盲信号分离方法
计算步骤
1)对观测信号X做中心化处理,使其均值为0
2)对中心化的信号X’做白化处理得到X”
3)选择估计分量数n,𝑝 ∈ 1, 𝑛 ,选择一个初始权值矢量Wp
4)开始迭代计算分离矩阵W
系统框图
混合系统A 信号中心化
信号白化处
理
分离矩阵W
信息最大化
判断依据
观测信号X源信号S
G(y)
分离信号Y
二、盲信号分离方法
分离矩阵W的迭代计算过程

其中

 最后,将分离矢量Wp归一化,
 当分离矢量Wp收敛后,则开始计算下一个分离矢量
         '' '' '
( 1)P P PW k E X g Y k E X g Y k W k     
    ''T
P PY k W k X 
    
1,
1 ( 1) 1 ,
n
T
P P P j j j
j j p
W k W k W k W W W
 
      其中 是对应于
不同独立分量的分离向量
  ( 1)
1
( 1)
P
P
P
W k
W k
W k

 

二、盲信号分离方法
非线性函数g(t)的选取将会影响FASTICA算法性能
选取标准
 g(t)的陡峭性要高
 非线性函数满足稳定性条件
仿真中选用    2
exp / 2g t t t   
三、仿真结果
FASTICA算法拥有较优的分离性能和较低的计算
复杂度,因此主要使用该算法的语音分离性能。
首先是对不同
形状的波形的
分离仿真
0 500 1000
-1
0
1
输 入 声 音 1
0 500 1000
-1
0
1
输 入 声 音 2
0 500 1000
-1
0
1
输 入 声 音 3
0 500 1000
-2
0
2
混 合 声 音 1
0 500 1000
-2
0
2
混 合 声 音 2
0 500 1000
-5
0
5
混 合 声 音 3
0 500 1000
-2
0
2
ICA解 混 声 音 1
0 500 1000
-2
0
2
ICA解 混 声 音 2
0 500 1000
-2
0
2
ICA解 混 声 音 3
三、仿真结果
然后对三段不同的音频进行混合,然后利用
FASTICA算法对混合后的音频进行分离
三段音频分别为人声、龙叫声、音乐,音频的采用
频率为44.1KHZ,采样点数为441000个点。经过随机
矩阵
进行混合,对得到观测信号X进行FastICA算法进行
解混
0.08 0.486 0.306
0.9294 0.4359 0.5085
0.7757 0.4468 0.5108
A
 
   
  
0 1 2 3 4 5
x 10
5
-0.5
0
0.5
1
输 入 声 音 1
0 1 2 3 4 5
x 10
5
-1
-0.5
0
0.5
1
输 入 声 音 2
0 1 2 3 4 5
x 10
5
-0.5
0
0.5
输 入 声 音 3
0 1 2 3 4 5
x 10
5
-0.5
0
0.5
混 合 声 音 1
0 1 2 3 4 5
x 10
5
-1
-0.5
0
0.5
1
混 合 声 音 2
0 1 2 3 4 5
x 10
5
-1
-0.5
0
0.5
1
混 合 声 音 3
0 1 2 3 4 5
x 10
5
-20
-10
0
10
20
ICA解 混 声 音 1
0 1 2 3 4 5
x 10
5
-5
0
5
ICA解 混 声 音 2
0 1 2 3 4 5
x 10
5
-5
0
5
ICA解 混 声 音 3
三、仿真结果
从仿真图中可以看出,利用快速ICA算法有效的将三段音频分离开,波形的形状基
本保持不变
三、仿真结果
人声混合,做分离处理结果
四、总结
采用ICA算法可以当原信号不可测且信道参数
未知情况下的,利用信源之间的独立性,有效解决
语音信号的分离提取问题。
ICA算法不仅可以应用于语音信号的盲分离,
还可以应用于图像处理、卫星遥感以及其他满足信
源相互独立的信号提取的问题中。
ICA算法动画演示
Blind source separation

More Related Content

Featured

Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
Skeleton Technologies
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
Neil Kimberley
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
contently
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
Albert Qian
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
Kurio // The Social Media Age(ncy)
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
Search Engine Journal
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
SpeakerHub
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
Tessa Mero
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Lily Ray
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
Rajiv Jayarajah, MAppComm, ACC
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
Christy Abraham Joy
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
Vit Horky
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
MindGenius
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
RachelPearson36
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Applitools
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
GetSmarter
 
ChatGPT webinar slides
ChatGPT webinar slidesChatGPT webinar slides
ChatGPT webinar slides
Alireza Esmikhani
 
More than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike RoutesMore than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike Routes
Project for Public Spaces & National Center for Biking and Walking
 
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
DevGAMM Conference
 

Featured (20)

Skeleton Culture Code
Skeleton Culture CodeSkeleton Culture Code
Skeleton Culture Code
 
PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024PEPSICO Presentation to CAGNY Conference Feb 2024
PEPSICO Presentation to CAGNY Conference Feb 2024
 
Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)Content Methodology: A Best Practices Report (Webinar)
Content Methodology: A Best Practices Report (Webinar)
 
How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024How to Prepare For a Successful Job Search for 2024
How to Prepare For a Successful Job Search for 2024
 
Social Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie InsightsSocial Media Marketing Trends 2024 // The Global Indie Insights
Social Media Marketing Trends 2024 // The Global Indie Insights
 
Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024Trends In Paid Search: Navigating The Digital Landscape In 2024
Trends In Paid Search: Navigating The Digital Landscape In 2024
 
5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary5 Public speaking tips from TED - Visualized summary
5 Public speaking tips from TED - Visualized summary
 
ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd ChatGPT and the Future of Work - Clark Boyd
ChatGPT and the Future of Work - Clark Boyd
 
Getting into the tech field. what next
Getting into the tech field. what next Getting into the tech field. what next
Getting into the tech field. what next
 
Google's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search IntentGoogle's Just Not That Into You: Understanding Core Updates & Search Intent
Google's Just Not That Into You: Understanding Core Updates & Search Intent
 
How to have difficult conversations
How to have difficult conversations How to have difficult conversations
How to have difficult conversations
 
Introduction to Data Science
Introduction to Data ScienceIntroduction to Data Science
Introduction to Data Science
 
Time Management & Productivity - Best Practices
Time Management & Productivity -  Best PracticesTime Management & Productivity -  Best Practices
Time Management & Productivity - Best Practices
 
The six step guide to practical project management
The six step guide to practical project managementThe six step guide to practical project management
The six step guide to practical project management
 
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
Beginners Guide to TikTok for Search - Rachel Pearson - We are Tilt __ Bright...
 
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
Unlocking the Power of ChatGPT and AI in Testing - A Real-World Look, present...
 
12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work12 Ways to Increase Your Influence at Work
12 Ways to Increase Your Influence at Work
 
ChatGPT webinar slides
ChatGPT webinar slidesChatGPT webinar slides
ChatGPT webinar slides
 
More than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike RoutesMore than Just Lines on a Map: Best Practices for U.S Bike Routes
More than Just Lines on a Map: Best Practices for U.S Bike Routes
 
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
Ride the Storm: Navigating Through Unstable Periods / Katerina Rudko (Belka G...
 

Blind source separation