wireless communication channel capacity shannon limit

1. Channel
Jay Chang
1

2. 2
無線信道無線信道無線信道無線信道
有線有線有線有線信信信信道道道道
信道數學模型信道數學模型信道數學模型信道數學模型
信信信信道特性對傳輸的影響道特性對傳輸的影響道特性對傳輸的影響道特性對傳輸的影響
信信信信道噪聲道噪聲道噪聲道噪聲
信道容量信道容量信道容量信道容量

3. 3
無線信道無線信道無線信道無線信道
有線有線有線有線信信信信道道道道
信道數學模型信道數學模型信道數學模型信道數學模型
信信信信道特性對傳輸的影響道特性對傳輸的影響道特性對傳輸的影響道特性對傳輸的影響
信信信信道噪聲道噪聲道噪聲道噪聲
信道容量信道容量信道容量信道容量

4. 4
數數數數字字字字通信系統模型通信系統模型通信系統模型通信系統模型
調制信道
信道的數學模型信道的數學模型信道的數學模型信道的數學模型
編碼信道

5. 5
調製調製調製調製信信信信道的數學道的數學道的數學道的數學模型模型模型模型
模型: 疊加有噪聲的線性時變/時不變網絡
Common:
• 有一對(或多對)輸入端和輸出端
• 大多數信道都滿足線性疊加原理
• 對信號有固定或時變的延遲和損耗
• 無信號輸入時, 仍可能有輸出(噪聲)
Input/output relation:
( ) ( ) ( )
( ) [ ( )] ( ) ( ) ( ) ( ) ( )
o
o i i o i
r t s t n t
s t f s t c t s t S C Sω ω ω
= +
= = ∗ ⇔ =
input output
channel
( ) ( ) ( ) ( additive )
( ) [ ( )] ( )* ( ) ( ) ( ) ( )
[ ]: ,
( )*: multiplicative ( : )
( ) ( )
o
o i i o i
r t s t n t
s t f s t c t s t S C S
f
c t
C n t
ω ω ω
ω
= +
= = ⇔ =
⇒
加性 噪聲干擾始終存在
反映信道本身特性 時間的函數
乘性 干擾 乘性干擾特點 與信號共存共亡
調製信道對信號的影響程度取決於 和 的特性
( ) ( ) ( ) ( )o ie t k t e t n t= +
• 因k(t)隨t變, 故信道稱為時變信道.
• 因k(t)與ei(t)相乘, 故稱其為乘性干擾.
• 因k(t)作隨機變化, 故又稱信道為隨參信道.
• 若k(t)變化很慢或很小, 則稱信道為恒參信道.
• 不同的物理信道具有不同的特性C(ω), 常見的情況是C(ω) = const.(通常可取1).
AWGN為最常見的信道模型
input output

6. 6
編碼編碼編碼編碼信信信信道的數學道的數學道的數學道的數學模型模型模型模型
模型:可用轉移機率(transfer probability)來描述
發送端 接收端
• P(0/0)和P(1/1): 正確轉移機率
• P(1/0)和P(0/1): 錯誤轉移機率
• P(0/0) = 1 – P(1/0)
• P(1/1) = 1 – P(0/1)
上圖就是二進位編碼無記憶信道模型
四進制編碼無記憶信道模型:
(0 / 0) (1/ 0) 1 ( 1)
(1/1) (0 /1) 1 ( 1)
(0) (1/ 0) (1) (0 /1)e
P P
P P
P P P P P
+ = + =
+ = + =
= +
正確 錯誤
正確 錯誤
P.S. 無記憶(memoryless)信道
一個碼元的錯誤, 和其前後碼元是否發生錯誤無關

7. 7
無線信道無線信道無線信道無線信道
有線有線有線有線信信信信道道道道
信道數學模型信道數學模型信道數學模型信道數學模型
信信信信道特性對傳輸的影響道特性對傳輸的影響道特性對傳輸的影響道特性對傳輸的影響
信信信信道噪聲道噪聲道噪聲道噪聲
信道容量信道容量信道容量信道容量

8. 8
( )
( )
d
d
t
t
φ ω ω
τ ω
≠
≠
失真影響失真影響失真影響失真影響
( )H Kω ≠幅頻失真：
相頻失真：
: SNR
: ISI BER
 → ↓

→ ↑
對模擬信號 波形失真
影響
對數字信號 產生
: voice , vedio
: ISI BER


→ ↑
對模擬信號 影響不大 影響大
影響
對數字信號 產生

9. 9
( ) cos ctAs t ω=
[ ] [ ]
[ ]
[ ]
[ ]
1 1 2 2
1
1
( ) ( )cos ( ) ( )cos ( )
( ) ( )
( ) ( )
( )cos ( )
cos
cos
c c
n c n
n
c
i
n
c
i
i i
i i
r t a t t t a t t t
a t t t
t
t
a t t
a t t
ω τ ω τ
ω τ
ω τ
ϕω
=
=
= − + −
+ −
= −
= +
∑
∑
⋯
multipath多徑效應多徑效應多徑效應多徑效應
經過n條路徑條路徑條路徑條路徑傳播（各路徑有時變時變時變時變的衰落衰落衰落衰落和時延時延時延時延））））
— 多徑傳播的影響
)()( tt ici τωϕ −= )()( tt ici τωϕ −=
傳輸時延
則接收信號接收信號接收信號接收信號為
設發送發送發送發送信號為
幅度恒定
頻率單一
第i條路徑
接收信號振幅
(時變時變時變時變的衰落衰落衰落衰落)

10. 10
根據機率論中心極限定理：當 n
足夠大時，x(t)和y(t) 趨於正態分佈。
∑=
=
n
i
ii tatX
1
cos)()( ϕ
∑=
=
n
i
ii tatY
1
sin)()( ϕ
同相 ~ 正交形式
包絡 ~ 相位形式
瑞利瑞利瑞利瑞利
分佈分佈分佈分佈
均勻均勻均勻均勻
分佈分佈分佈分佈
[ ]cos( ) ( )cV t t tω ϕ= +
1 1
( ) ( )cos cos ( )sin sin
( )cos ( )sin
n n
i i c i i c
i i
c c
r t a t t a t t
X t t Y t t
ϕ ω ϕ ω
ω ω
= =
= −
= −
∑ ∑
包絡相位
隨機緩變的
窄帶信號

11. 11
f∆
fcf
f
cf0
波形
發送信號發送信號 接收信號接收信號
頻譜
[ ]( ) co (s( ) )cr t V t t tω ϕ= +( ) cos ctAs t ω=
緩慢變化的包絡
結論結論結論結論
Multipath傳播使信號產生Rayleigh fading
Multipath傳播引起frequency spread
Multipath傳播引起數字信號ISI

12. 12
發射信號 接收信號
設兩條路徑的信道為
f (t)
fo(t) = K f(t - τ1) + K f(t -τ2)
信道傳輸函數
fo(t)
ττττ =ττττ2 -ττττ1
相對時延差
1
(1)
(
)
( )
(
)
o jj
KH
F
e e
F ωωτ τω
ω
ω
−−
+= =
則接收信號為
1 1( )
o ( )= ( ) + ( )j j
F KF e KF eωτ ω τ τ
ω ω ω− − +
常數衰減因子 確定的傳輸時延因子 與信號頻率ωωωω有關的複因子
傳輸衰減均為 K
傳輸時延分別為ττττ1和ττττ2

13. 13
( ) 1 2 cos
2
j
H e ωτ ωτ
ω −
= + =
—頻率選擇性衰落頻率選擇性衰落頻率選擇性衰落頻率選擇性衰落
如何減小如何減小如何減小如何減小？？？？
信道幅頻特性
信道對信號不同的頻率成分，將有不同的衰減。

14. 數位信號的碼元寬度:
14
信道相關帶寬(correlation BW)：
定義為定義為定義為定義為相鄰傳輸零點的頻率間隔相鄰傳輸零點的頻率間隔相鄰傳輸零點的頻率間隔相鄰傳輸零點的頻率間隔
，工程經驗公式：
減小頻率選擇性衰落的措施減小頻率選擇性衰落的措施
△△△△f
△△△△f ＝＝＝＝1/ττττm△△△△f ＝＝＝＝1/ττττm
應使信號頻寬
Bs ＝(1/3 ~ 1/5)△△△△fBs ＝(1/3 ~ 1/5)△△△△f
Ts ＝(3 ~ 5)ττττmTs ＝(3 ~ 5)ττττm →RB↓
Bs < △△△△f
τm = 多徑中最大
時延差

15. 15
歸納歸納
信道特性信道特性 多徑效應多徑效應
減小衰落的措施減小衰落的措施
1
coherent
Doppler
T
f
∝
∆
時間選擇性衰落
頻率選擇性衰落
1
coherent
spread
BW
t
∝
∆
• 衰減隨時間變化
• 時延隨時間變化
• 多徑傳播
• Rayleigh fading
• frequency spread
• Frequency select fading
• Bs = (1/3 ~ 1/5)Δf
• 分集接收
• 擴頻技術
• OFDM
結論結論結論結論
Multipath傳播使信號產生Rayleigh fading
Multipath傳播引起frequency spread
Multipath傳播引起數字信號ISI

16. 16
無線信道無線信道無線信道無線信道
有線有線有線有線信信信信道道道道
信道數學模型信道數學模型信道數學模型信道數學模型
信信信信道特性對傳輸的影響道特性對傳輸的影響道特性對傳輸的影響道特性對傳輸的影響
信信信信道噪聲道噪聲道噪聲道噪聲
信道容量信道容量信道容量信道容量(Channel Capacity)
指信道能夠無差錯傳輸時的 最大平均信息速率

17. 信道容量信道容量信道容量信道容量(channel capacity): 指指指指信道能夠無差錯傳輸時信道能夠無差錯傳輸時信道能夠無差錯傳輸時信道能夠無差錯傳輸時的的的的 最大最大最大最大平均信息平均信息平均信息平均信息速率速率速率速率
離散信道離散信道離散信道離散信道容量容量容量容量
兩種不同的度量單位(兩者之間可以互換):
• C : 每個符號(symbol)能夠傳輸的平均信息量最大值. [bit/symbol]
• Ct : 單位時間(sec)內能夠傳輸的平均信息量最大值. [bit/sec]
計算離散信道容量的信道模型:
• 發送符號：x1，x2，x3，…，xn
• 接收符號： y1，y2，y3，…，ym
• P(xi) = 發送符號xi的出現機率，i ＝ 1，2，…，n
• P(yj) = 收到yj的機率，j ＝ 1，2，…，m
• P(yj/xi) = 轉移機率, 即發送xi的條件下收到yj的條件機率
計算收到一個符號時獲得的平均信息量:
• 從信息量的概念得知: 發送xi時收到yj所獲得的信息量 = 發送xi前接收端對xi的不確定程度
(即xi的信息量) − 收到yj後接收端對xi的不確定程度.
• 發送xi時收到yj所獲得的信息量 = −log2P(xi) − [−log2P(xi/yj)]
• 對所有的xi和yj取統計平均值, 得出收到一個符號時獲得的平均信息量:
• 平均信息量/symbol =
17
2 2
1 1 1
( )log ( ) [ ( ) ( / )log ( / )] ( ) ( / )
n m n
i i j i j i j
i j i
P x P x P y P x y P x y H x H x y
= = =
− − − = −∑ ∑ ∑

18. 18
離散信道離散信道離散信道離散信道容量容量容量容量
計算收到一個符號時獲得的平均信息量:
• 從信息量的概念得知: 發送xi時收到yj所獲得的信息量 = 發送xi前接收端對xi的不確定程度
(即xi的信息量) − 收到yj後接收端對xi的不確定程度.
• 發送xi時收到yj所獲得的信息量 = −log2P(xi) − [−log2P(xi/yj)]
• 對所有的xi和yj取統計平均值, 得出收到一個符號時獲得的平均信息量:
• 平均信息量/symbol =
• 由上式可知, 收到一個符號的平均信息量只有[H(x) – H(x/y)], 而發送符號的信息量原為H(x),
少了的部分H(x/y)就是傳輸錯誤率引起的損失.
2 2
1 1 1
( )log ( ) [ ( ) ( / )log ( / )] ( ) ( / )
n m n
i i j i j i j
i j i
P x P x P y P x y P x y H x H x y
= = =
− − − = −∑ ∑ ∑
2
1
2
1 1
, (entrop
whe
y)
,
re
( ) ( )log ( )
( / ) ( ) ( / )log ( / )
n
i i
i
m n
j i j i j
i
j
j i
i
H x P x P x
H x y P y P x y P x y
x
y x
=
= =
= −
= −
∑
∑ ∑
為每個發送符號 的平均信息量 稱為信源的熵
為接收 符號已知後 發送符號 的平均信息量

19. 19
二二二二進進進進制制制制信信信信源的熵源的熵源的熵源的熵
設發送”1”的機率P(1) = α, 發送”0”的機率P(0) = 1 − α
當α 從0變到1時, 信源的熵H(α)可以寫成:
按照上式畫出的曲線:
• 當α = 1/2時, 此信源的熵達到最大值.
• 這時兩個符號的出現機率相等, 其不確定性最大.
無雜訊信道無雜訊信道無雜訊信道無雜訊信道
信道模型: 發送符號和接收符號有一一對應關係(右圖).
此時收到信息量是: −log2P(xi), P(xi/yj) = 0, so H(x/y) = 0.
因為, 平均信息量/symbol = H(x) – H(x/y), 所以在無雜訊
條件下, 接收一個符號獲得的平均信息量為H(x).
而原來在有雜訊條件下, 從一個符號獲得的平均信息量
為[H(x) − H(x/y)].
說明H(x/y)即為因雜訊而損失的平均信息量.
2 2( ) log (1 )log (1 )H α α α α α= − − − −
二進二進二進二進制制制制信源的熵信源的熵信源的熵信源的熵
H(αααα)

20. 20
( )
( )
max[ ( ) ( / )] [bit/symbol]
( ) ( ).
max{ [ ( )
: symbo
( / )
l
/ 0,
:
: symbol [#symbo
]} [bit/sec
/
]
l sec]
P x
tt
P x
C
H x y
C H x H x
H x C
C
y
C r H x H x
r
y
= −
= =
= −
的定義 每個 能夠傳輸的平均信息量最大值
當信道中的雜訊極大時, 這時 即信道容量為零
的定義
單位時間內信道傳輸的 數
離散信道容量離散信道容量離散信道容量離散信道容量

21. 21
ix
/ )i iP y x（
/ )j iP y x（
iy
jy
⋮
式中, P(xi) ‒發送符號xi的機率（i = 1,2,3,⋯,n）
（1）信源發送的平均信息量（熵）
∑=
−=
n
i
ii xPxPxH
1
2 )(log)()(
（2）因信道雜訊而損失的平均信息量
∑ ∑= =
−=
m
j
n
i
jijij yxPyxPyPyxH
1 1
2 )/(log)/()()/(
式中, P(yj) ‒收到yj的機率（j = 1,2,3,⋯,m）
P(xi/yj) ‒收到yj後判斷發送的是xi的轉移機率
整理整理整理整理
離散信道容量離散信道容量離散信道容量離散信道容量

22. 22
（3）信息傳輸速率 R —— 信道每秒傳輸的平均信息量
[H(x) – H(x/y)] ‒是接收端得到的平均信息量
[ ( ) ( / )] ( / )R H xr H x y b s= −
r ‒信道每秒傳輸的符號數為（符號速率）
——最大信息傳輸速率: 對一切可能的信源機率分佈, 求R的最大值：
( ) ( )
max{ } max{ [ ( ) ( / )]}( / )t
P x P x
C R r H x H x y b s= = −
含義：每個符號能夠傳輸的最大平均信息量
( )
max[ ( ) ( / )] ( / symbol)
P x
C H x H x y b= −
（4）信道容量 Ct
等價式：

23. 23
Ex. 設設設設信源由兩種信源由兩種信源由兩種信源由兩種符號符號符號符號”0”和和和和”1”組成組成組成組成, 符號符號符號符號傳輸速率為傳輸速率為傳輸速率為傳輸速率為1000符號符號符號符號/秒秒秒秒, 且且且且這兩種符號的這兩種符號的這兩種符號的這兩種符號的出現機率相等出現機率相等出現機率相等出現機率相等，，，，
均等於均等於均等於均等於1/2. 信信信信道為對稱信道為對稱信道為對稱信道為對稱信道道道道, 其其其其傳輸的符號傳輸的符號傳輸的符號傳輸的符號錯誤機率為錯誤機率為錯誤機率為錯誤機率為1/128.
試試試試畫出此信道畫出此信道畫出此信道畫出此信道模型模型模型模型, 並並並並求此信道的容量求此信道的容量求此信道的容量求此信道的容量C和和和和Ct
[ ]
2 2 2
1
2
1 1
1 1 1 2 1 1 2 1 2 2 1 2 1 2 2 1 2 2
(entropy) :
1 1 1 1
( ) ( )log ( ) log log 1
2 2 2 2
( / ) ( ) ( / )log ( / )]
( ) ( / )log ( / ) ( / )log ( / ) ( ) ( / )lo
:
g ( / ) (
n
i i
i
m n
j i j i j
j i
H x P x P x
H x y P y P x y P x y
P y P x y P x y P x y P x y P y P x y P x y P x
=
= =
 
= − = − + =  
= −
= − + + +
∑
∑ ∑
條件信
此信源的平 信 量
息量
均 息
[ ]{ }
[ ]
2 2 2 2
1 1 2 2 2 1 1 2 1 2 1 2
1 1 2 1 1 2 1 2 2 1
2
/ )log ( / )
( / ) ( / ) 127 /128, ( / ) ( / ) 1/128, ( ) ( ) 1, ( ) ( ) 1/ 2
( / ) ( / )log ( / ) ( / )log ( / )
(127 /128)log (127 /128) (1/128)log
y P x y
P x y P x y P x y P x y P y P y P y P y
H x y P x y P x y P x y P x y
= = = = + = = =
∴ = − +
= − +
∵
[ ]
[ ] [ ]
2
( )
( )
(1/128)
(127 /128) 0.01 (1/128) ( 7) 0.01 0.055 0.045
max[ ( ) ( / )] 0.955 (bit/symbol)
max{ [ ( ) ( / )]} 1000 0.955 955 (b/s)
P x
t
P x
C H x H x y
C r H x H x y
= − × + × − ≈ − − =
∴ = − =
= − = × =

24. 24
連續信道容量連續信道容量連續信道容量連續信道容量
2
2
0 0
0
0
0
log 1 ( / )
:
log 1
(W), : (W), : (Hz).
S
( / )
0
SB PSD , ,
, , PSD
1. When (or )
Wh
.
. e ?n2
t
t
t
t
S
C B b s
N
S
S
C B b s
n B
C
n
N B
n N n B
B S
C
n
S
B
x
 
= + 
 
 
= + 
 
=
→ ∞ ⇒
→ ∞
→ ∞
=
→
信號平均功率 雜訊功率 頻寬
設雜訊 為 則 上式可以改寫成
連續信道的容量 和信道頻寬 信號功率 雜訊 三個因素有關
( )
0
1/0
2 2
0 0 0
1/
2 2
0
1/
2 2
0
0 0 0
0 0
log 1 log 1
limln(1 ) 1
, / , , , / 1.44 .
,
and log log ln
lim lim log (1 ) log 1.44
x
t
x
x
x
t
B x
n B
BnS S S
C x
n S n B n
x a e a
S S S
C x e
n
S
S B S
B
n n
n n
→
→∞ →
 
= + = + 
 
+ = = ⋅
∴ = + = ≈
∵
上式表明 當給定 時 若頻寬 趨於無窮大 信道容量不會趨於無限大 而只是 的 倍
這是因為當頻寬 增大時 雜訊 .功率也隨之增大

25. 25
連續信道容量連續信道容量連續信道容量連續信道容量
2
0
2 2 2
0 0 0
bit
log 1 ( / )
/
log 1 log 1 log 1
1/ bit
,
1.
2. ,
t
b b b
t
b
b
b b
b
bb
t
S
C B b s
n B
E T ES
C B B B
n B n B n
E
T
E T
B
C B E
S ST CE
 
= + 
 
     
= + = + = +     
    
=
=

上式還可以改寫成
每個 能量
每 持續時間
上式表明
為了得到給定的信道容量 可以增大頻寬 以換取 的減小.
在接收功率受限的情況下 由於 可以增大 以減小 來保持 和 t不變.

26. 26
Ex. 已已已已知黑白電視圖像信號知黑白電視圖像信號知黑白電視圖像信號知黑白電視圖像信號每幀每幀每幀每幀(frame)有有有有30萬萬萬萬個個個個像素像素像素像素(pixel), 每個每個每個每個pixel有有有有8個亮度個亮度個亮度個亮度電平電平電平電平, 各各各各電平獨立電平獨立電平獨立電平獨立
地以地以地以地以等機率出現等機率出現等機率出現等機率出現, 圖像圖像圖像圖像每秒發送每秒發送每秒發送每秒發送25幀幀幀幀. 若若若若要求接收圖像信噪比達到要求接收圖像信噪比達到要求接收圖像信噪比達到要求接收圖像信噪比達到30dB, 試試試試求所需傳輸頻求所需傳輸頻求所需傳輸頻求所需傳輸頻寬寬寬寬.
因為每個pixel獨立地以等機率取8個亮度電平, 故每個pixel的信息量為 Ip = −log2(1/8) = 3 (b/pix)
並且每幀圖像的信息量為 IF = 300,000 × 3 = 900,000 (b/F)
因為每秒傳輸25幀圖像, 所以要求傳輸速率為
Rb = 900,000 × 25 = 22,500,000 = 22.5 × 106 (b/s)
信道的容量Ct ≥ Rb值: 22.5 × 106 = B log2 (1 + 1000) ≈ 9.97B
得出所需頻寬 B = (22.5 × 106)/9.97 ≈ 2.26 (MHz).

27. 27
信道容量
指信道能夠無差錯傳輸時的最大平均信息速率
S － 信號平均功率（W）；B － 頻寬（Hz）
n0 －雜訊單邊(SSB)功率譜密度；N = n0B －雜訊功率（W）
連續信道連續信道連續信道連續信道容量容量容量容量
由Shannon信息理論信息理論信息理論信息理論可證，AWGN背景下的連續信道容量為:
——Shannon公式公式公式公式
等價等價等價等價：：：：
2016/04/30 Google Doodle Claude Shannon 100 歲冥誕
意義：若Rb ≤ C則總能找到一種信道編碼方式, 實現無差錯傳輸

28. 28
信道容量C依賴於B、S和n0
增大 S 可增加 C，若S → ∞，則C→ ∞；
減小 n0 可增加 C，若n0 → 0，則C→ ∞；
增大 B 可增加 C，但不能使 C無限制增大。
當 B→ ∞ 時，C 將趨向一個定值：
結論：
2
0 0
lim lim log (1 ) 1.44
B B
S S
C B
n B n→∞ →∞
= + ≈
信道容量和頻寬關係
S/n0
S/n0
B
C 1.44(S/n0)

29. 29
C一定時，信道頻寬B、信噪比S/N、傳輸時間t 三者之間可
以互相轉換。
增加B，可以換取S/N的降低；反之亦然。
若S/N不變，增加B，可以換取 t 的減少。
應用：
3
12 10 /C b s= ×
【例如例如例如例如】
1 1 1
2 2 2
: 3 / 15
: 4 / 7
if B KHz then S N
if B KHz then S N
= =
= =
互換前
互換後

30. 30
Thank you for your attention