1. Ìàòåìàòè÷åñêèå îñíîâû Computer Science
×àñòü 3: Êîäû, èñïðàâëÿþùèå îøèáêè.
Ëåêöèè 10 è 11.
Äìèòðèé Èöûêñîí
ÏÎÌÈ ÐÀÍ
13 äåêàáðÿ 2009
1 / 21

2. Ñîäåðæàíèå ëåêöèè
1 Òåîðåìà Ôîðíè
2 Îöåíêè Ïëîòêèíà
3 Êîä Àäàìàðà
4 Êîä Ðèäà-Ìàéëåðà
5 Êîä Á×Õ
Èñòî÷íèêè
1 Madhu Sudan. Essential Coding Theory, Lecture notes,
http://people.csail.mit.edu/madhu/FT02/
2 À. Ðóìÿíöåâ, À. Ðîìàùåíêî, À. Øåíü. Çàìåòêè ïî òåîðèè
êîäèðîâàíèÿ.
˜
http://www.mccme.ru/ anromash/courses/essential-coding-
theory.pdf
2 / 21

3. Â ïðîøëûé ðàç
• Êîä: F : Σk → Σn , n > k .
• Êîä ñ ðàññòîÿíèåì d ïîçâîëÿåò èñïðàâèòü e îøèáîê, åñëè
d ≥ 2e + 1.
• Ãðàíèöà Õýììèíãà: q k Vq (e, n) ≤ q n .
• Ãðàíèöà Ãèëáåðòà: (q k − 1)Vq (2e, n) < q n .
• Êîä Ðèäà-Ñîëîìîíà:
• k n
RS : F → F . F = {f1 , f2 , . . . , fn , . . . }.
• RS(a0 , a1 , . . . , ak−1 ) = (z1 , z2 , . . . , zn ) , ãäå
• zi = a0 + a1 fi + a2 fi 2 + · · · + ak−1 fi k−1
• Êàñêàäíûå êîäû:
, , |Σ1 | = |Σ2 |k
• F1 : Σk1 → Σn1 F2 : Σk2 → Σn2 2
Ñèìâîë áëîê èç ñèìâîëîâ Σ2
1 1 2 1
• Σ1 k2
• F1 ◦ F2 : Σk1 k2 → Σn1 n2
Âû÷èñëÿåì , ãäå bi ∈ Σ1 = Σk .
2 2
• F1 (a) = b1 b2 . . . bn1 2
• F1 ◦ F2 (a) = F2 (b1 )F2 (b2 ) . . . F (bn1 )
3 / 21

4. Òåîðåìà Ôîðíè
• F : {0, 1}k → {0, 1}n . k e
Òðåáóåòñÿ, ÷òîáû
n è n áûëè
îòäåëåíû îò íóëÿ.
• Êàñêàäíûé êîä, âíåøíèé êîä Ðèäà-Ñîëîìîíà, à
âíóòðåííèé èùåòñÿ ïåðåáîðîì êîä, íà êîòîðîì äîñòèãàåòñÿ
ãðàíèöà Âàðøàìîâà-Ãèëáåðòà.
• Äëèíà êîäîâîãî ñëîâà âíóòðåííåãî êîäà O(log n)
• Ïóñòü F k
ïîëå èç 2 ýëåìåíòîâ.
k−1 k
• RS : F2 → F2
• Âíóòðåííèé êîä C : {0, 1}k → {0, 1}2k .
• RS ◦ C : {0, 1} k2k−1 → {0, 1}2k2
k
.
• Ðàññòîÿíèå âíóòðåííåãî êîäà 10%, ðàññòîÿíèå RS 50%.
Èòîãî: ðàññòîÿíèå 5%.
• Ìîæíî èñïðàâèòü 2.5% îøèáîê.
4 / 21

5. Êîä Ôîðíè-Âîçåíêðàôòà-Þñòåñåíà
• F ïîëå ðàçìåðà 2k
• α ∈ F, Cα : F → F2 , Cα : x → (x, αx)
• Cα íå âñå ÿâëÿþòñÿ êîäàìè, íàïðèìåð ïðè α=0
• Ëåììà. (Ëåììà Âîçåíêðàôòà) Äëÿ α ∈ F, ïðè êîòîðûõ êîä
Cα èìååò êîäîâîå ðàññòîÿíèå íå áîëåå s , íå ïðåâîñõîäèò
V2 (s,k)2
2k
• V2 (s, k) ≈ 2kH(s/k) , ïðè ìàëûõ s/k ÷èñëî 2(2H(s/k)−1)k
áëèçêî ê íóëþ.
Äîêàçàòåëüñòâî.
• Ïóñòü êîäîâîå ðàññòîÿíèå Cα íå áîëüøå s
â
• ∃x : (x, αx) íå áîëüøå s åäèíè÷åê.
• x, αx ëåæàò â øàðå ðàäèóñà s â öåíòðå â íóëå.
• α = αx
Êîëè÷åñòâî òàêèõ α íå ïðåâîñõîäèò V2 (s, k)2
x
•
5 / 21

6. Êîä Ôîðíè-Âîçåíêðàôòà-Þñòåñåíà
• Ïðèìåíèì êîä Cα êàê âíóòðåííèé ïðè êàñêàäíîì
êîäèðîâàíèè.
• Ê P(x) ïðèìåíÿåì êîä Cx : (P(x), xP(x))
k−1 k
• RS : F2 → F2
2k−1 2k+1
• FWU : {0, 1}2 → {0, 1}2
• ∃ε 0, ÷òî äîëÿ x ∈F äëÿ êîòîðûõ ðàññòîÿíèå ìåíüøå ε
íå áîëåå 1%
6 / 21

7. Êîäû ñ áîëüøèìè ðàññòîÿíèÿìè
• Ñóùåñòâóåò ëè êîä {0, 1}k → {0, 1}n ñ ðàññòîÿíèåì 0.99n?
• Â òàêîì êîäå íå áîëüøå 2-õ êîäîâûõ ñëîâ.
1
• Ëåììà. Ïóñòü 1≥β 2 . Êîëè÷åñòâî òî÷åê â {0, 1}n ,
ðàññòîÿíèÿ ìåæäó êîòîðûìè íå ìåíüøå βn, íå ïðåâîñõîäèò
1
2β−1 + 1.
Äîêàçàòåëüñòâî.
• Ïåðåéäåì îò 0/1 ê 1/-1.
• Ñêàëÿðíîå ïðîèçâåäåíèå â Rn :
(x1 , . . . , xn , y1 , . . . , yn ) = n i yi
x
• |x| = (x, x) = 1.
• Åñëè , òî
d(x, y ) βn (x, y ) 1 − 2β 0
• ìíîæåñòâî êîäîâûõ ñëîâ
e1 , e2 , . . . , eN
• 0 ≤ (e1 +e2 +· · ·+eN , e1 +e2 +· · ·+eN ) ≤ N +N(N −1)(1−2β)
1
• N − 1 ≤ 2β−1
• Íåò øàíñîâ èñïðàâèòü 25% îøèáîê.
7 / 21

8. Êîäû ñ áîëüøèìè ðàññòîÿíèÿìè
• ×òî ïðîèñõîäèò, åñëè ðàññòîÿíèå ÷óòü-÷óòü áîëüøå 50%?
• Óãëû ìåæäó êîäîâûìè ñëîâàìè òóïûå.
• Òîãäà ÷èñëî êîäîâûõ ñëîâ íå áîëüøå n + 1.
• Ïóñòü x0 , x1 , . . . , xk îáðàçóþò ïîïàðíî òóïûå óãëû.
Ïîêàæåì, ÷òî x1 , x2 , . . . , xk ëèíåéíî íåçàâèñèìû.
• Âûáåðåì ìèíèìàëüíî ëèíåéíî çàâèñèìîå ìíîæåñòâî.
• λ 1 x1 + λ 2 x 2 + · · · + λ m x m = 0
• Åñëè âñå λi 0, òî 0 = (x0 , λ1 x1 + λ2 x2 + · · · + λm xm ) 0.
• λ i x i + · · · = λ j xj + . . .
• Êâàäðàò âåêòîðà ïîëîæèòåëåí è îòðèöàòåëåí
îäíîâðåìåííî!
8 / 21

9. Îöåíêà Ïëîòêèíà
• Ïóñòü ðàññòîÿíèå ≥ 50%. Ò.å. óãëû ïðÿìûå èëè òóïûå.
Ïîêàæåì, ÷òî ÷èñëî âåêòîðîâ ≤ 2n.
• Ìîæíî ñ÷èòàòü, ÷òî ëèíåéíàÿ îáîëî÷êà âåêòîðîâ
ñîâïàäàåò ñî âñåì ïðîñòðàíñòâîì.
• x1 , x2 , . . . , xn áàçèñ, îñòàëüíûå âûðàæàþòñÿ.
• Ê-òû ðàçëîæåíèÿ îñòàëüíûõ âåêòîðîâ ïî áàçèñó
îòðèöàòåëüíû.
• Ïåðåíåñåì îòðèöàòåëüíûå ê-òû â ëåâóþ ÷àñòü
• xk + (−λs )xs + · · · = λt xt + . . .
• Êâàäðàò îäíîâðåìåííî è 0 ≤0
• Åñëè îáùåå ÷èñëî âåêòîðîâ 2n
• xn+1 , . . . ëèíåéíî çàâèñèìû
• Ê-òû èõ ëèíåéíîé êîìáèíàöèè íå ìîãóò áûòü îäíîãî çíàêà
(òàê êàê ê-òû ðàçëîæåíèÿ ïî áàçèñó êàæäîãî
îòðèöàòåëüíû)
• µs xs + · · · = µt xt + . . . , êâàäðàò íåïîëîæèòåëüíûé
• Îöåíêà Ïëîòêèíà: ÷èñëî êîäîâûõ ñëîâ íà ðàññòîÿíèè n/2
íå áîëåå 2n.
9 / 21

10. Óëó÷øåíèå îöåíêè Ñèíãëåòîíà
• F : {0, 1}k → {0, 1}n êîä ñ ðàññòîÿíèåì d
• k
Îöåíêà Ñèíãëåòîíà: ñðåäè 2 êîäîâûõ ñëîâ íàéäóòñÿ äâà
ñëîâà ñ ñîâïàäàþùèìè ïåðâûìè k −1 ñèìâîëàìè
=⇒ d ≤ n − k + 1.
• t = n − 2d
• Ñðåäè 2k êîäîâûõ ñëîâ íàéäóòñÿ 2k−t êîäîâûõ ñëîâ,
êîòîðûå ñîâïàäàþò â ïåðâûõ t áèòàõ.
• 2k−t ≤ 4d
• k − n + 2d ≤ log(4d)
k log(4d)
• n + 2d ≤ 1 +
n n
10 / 21

11. Êîä Àäàìàðà
• x, y ∈ {0, 1}m , îïðåäåëèì x y = ⊕m xi yi .
i=1
• H : {0, 1}s+1 → {0, 1} 2s
• H(x) = (x 1y )y ∈{0,1}s
• Ýòî ëèíåéíûé êîä: H(x ⊕ z) = H(x) ⊕ H(z)
• x, z ∈ {0, 1}s , x = z =⇒ x ⊕ z = 0n =⇒ ∃i(x ⊕ z)i = 1.
• Åñëè x è z îòëè÷àþòñÿ òîëüêî ïåðâûì áèòîì, òî H(x)
îòëè÷àåòñÿ îò H(y ) âî âñåõ áèòàõ. Äàëåå i 1.
• y ∈ {0, 1}s , y (i) ñòðîêà ñ çàìåíåíûì i -ì áèòîì.
(x ⊕ z) 1y = (x ⊕ z) 1y (i) .
• H(x) è H(z) îòëè÷àþòñÿ êàê ìèíèìóì â ïîëîâèíå áèòîâ.
• 1
Êîä Àäàìàðà èìååò ðàññòîÿíèå
2.
• n = 2s , 2n êîäîâûõ ñëîâ. Äîñòèãàåòñÿ îöåíêà Ïëîòêèíà.
11 / 21

12. Êîíêàòåíàöèÿ Ðèäà-Ñîëîìîíà è
Óîëøà-Àäàìàðà
• Êîä Àäàìàðà: 2m+1 êîäîâûõ ñëîâ ðàçìåðà 2m
• Ìàêðîñèìâîëû: áèòîâûå ñòðî÷êè ðàçìåðà 2m . Íóæíî 2m
ìàêðîñèìâîëîâ.
• Êîä Ðèäà-Ñîëîìîíà: ε2m ìàêðîñèìâîëîâ ïåðåâîäèò â 2m .
• {0, 1} εm2m → 22m .
1
• Êîäîâîå ðàññòîÿíèå
2 (1 − ε)
12 / 21

13. Ëîêàëüíûé äåêîäåð
Îïðåäåëåíèå. E : {0, 1}n → {0, 1}m êîä. Ëîêàëüíûì
äåêîäåðîì äëÿ E , èñïðàâëÿþùèì ρ îøèáîê, íàçûâàåòñÿ
âåðîÿòíîñòíûé àëãîðèòì D :
1 Êîòîðûé ïîëó÷àåò îðàêóëüíûé äîñòóï ê áèòàì y, ãäå
d(y , E (x)) ρ
2 D ðàáîòàåò poly (log m) øàãîâ
2
3 Pr[D y = xj ] ≥ 3
13 / 21

14. Ëîêàëüíûé äåêîäåð äëÿ êîäà Àäàìàðà
• Äàíà òàêàÿ ôóíêöèÿ g : {0, 1}s+1 → {0, 1}, ÷òî
1
Pry [g (y ) = x 1y ] ≤ ρ 4 äëÿ íåêîòîðîãî x .
• Òðåáóåòñÿ óçíàòü xj ïðè j 1.
• j
Ïóñòü e : âåêòîð ñ ejj j
= 1, ek = 0, k = j .
• Âûáåðåì ñëó÷àéíóþ ñòðîêó y ∈ {0, 1}n .
• Ñ âåðîÿòíîñòüþ 1 − 2ρ 1 âûïîëíÿåòñÿ
2
g (y ) = x 1y , g (y + e j ) = x 1(y + e j ).
• g (y ) + g (y + e j ) = x 1y + x 1(y + e j ) =
2(x 1y ) + x ej = x e j = xj .
• Ïîâòîðåíèåì ìîæíî ïîíèçèòü âåðîÿòíîñòü îøèáêè.
• Êàê îïðåäåëèòü x1 ?
• Îïðåäåëèì x 2 x3 . . . x n , à çàòåì íàéäåì x0 ãîëîñîâàíèåì.
14 / 21

15. Êîä Ðèäà-Ìàëëåðà
• F êîíå÷íîå ïîëå. ,d ÷èñëà. d F.
• Âõîäíàÿ ñòðîêà: ìíîãî÷ëåí îò ïåðåìåííûõ ñòåïåíè d:
P(x1 , x2 , . . . , x ) = ci1 ...i x11 x22 . . . x i
i i
i1 +···+i ≤d
• Êîä: çíà÷åíèå P íà âñåõ âîçìîæíûõ çíà÷åíèÿõ
ïåðåìåííûõ.
d l
• RM : FC +d → F|F|
• Ïðè =1 ïîëó÷àåòñÿ êîä Ðèäà-Ñîëîìîíà.
• Ïðè d = 1, F = Z2 ïîëó÷àåòñÿ ïî÷òè êîä Óîëøà-Àäàìàðà:
n
x ∈ {0, 1}n → z ∈ {0, 1}2·2 , ãäå zy ,a = x y ⊕ a,
y ∈ {0, 1}n , a ∈ {0, 1}
d
• Ðàññòîÿíèå êîäà 1− |F| .
15 / 21

16. Ëåììà Øâàðöà-Çèïïåëÿ
Ëåììà. Åñëè ìíîãî÷ëåí p(x1 , x2 , . . . , x ) íàä êîíå÷íûì ïîëåì F
íåíóëåâîé ñòåïåíè ≤ d, òîãäà
d
Pr [p(a1 , a2 , . . . , a ) = 0] ≥ 1 −
a1 ,...,al ←F |F|
Äîêàçàòåëüñòâî.
• l = 1: èçâåñòíîå óòâåðæäåíèå
d i
• p(x1 , . . . , x ) = i=0 x1 pi (x2 , . . . , x )
• Ïóñòü k íàèáîëüøåå ÷èñëî, ÷òî pk = 0, deg pk ≤ d − k .
d−k
• Pra1 ,...,a ←F [pk (a2 , . . . , a ) = 0] ≥ 1 − |F|
• Êîãäà pk (a2 , . . . , a ) = 0, òî p(x1 , a2 , . . . , ak ) èìååò ≤k
êîðíåé.
• Pr[p(a1 . . . am ) = 0] ≥ (1 − k d−k d
|F| )(1 − |F| ) ≥1− |F|
16 / 21

17. Ëîêàëüíûé äåêîäåð äëÿ êîäà
Ðèäà-Ìþëëåðà
• Áóäåì ñ÷èòàòü, ÷òî ìíîãî÷ëåí çàäàí íå ñïèñêîì
êîýôôèöåíòîâ, à çíà÷åíèÿìè íà íåêîòîðûõ C +d òî÷êàõ.
• Pry ∈F [P(y ) = g (y )] ρ ≤ (1 − d
|F| )/6, P ìíîãî÷ëåí
ñòåïåíè d îò ïåðåìåííûõ.
• Öåëü: âû÷èñëèòü P(x) (åñòü îðàêóëüíûé äîñòóï ê g !).
• Âûáåðåì ñëó÷àéíóþ ïðÿìóþ, ïðîõîäÿùóþ ÷åðåç òî÷êó x.
Lx = {x + ty | t ∈ F}, y ← U(F )
• Çàïðîñèì g íà âñåõ |F| òî÷êàõ Lx , ïîëó÷èì òî÷êè
{(t, g (x + ty ))} äëÿ t ∈ F.
• 2
Ñ âåðîÿòíîñòüþ õîòÿ áû
3 íà âûáðàííîé ïðÿìîé áóäåò íå
3ρ|F| (1 − d/|F|)|F|/2 íåïðàâèëüíûõ îòâåòîâ.
áîëåå
• Q(t) = P(x + ty ) ìíîãî÷ëåí ñòåïåíè d . Âîñïîëüçóåìñÿ
äåêîäåðîì äëÿ êîäà Ðèäà-Ñîëîìîíà.
• Âûäàäèì Q(0).
17 / 21

18. Êîäû Á×Õ
• Àâòîðû êîäà: Áîóç (R.C. Bose), ×îóäõóðè (D.K.
Ray-Chaudhury) è Õîêâèíãåì (A. Hocquenghem)
• Êîä ïîçâîëÿåò èñïðàâëÿòü ëþáîå êîíñòàíòíîå ÷èñëî
îøèáîê.
• Îáîáùåíèå êîäà Õýììèíãà.
• F ïîëå èç n = 2k ýëåìåíòîâ.
• Ìíîãî÷ëåíû ñòåïåíè n:
• A(x) = a0 + a1 x + · · · + an−1 x n
• Îïðåäåëÿåòñÿ çíà÷åíèÿìè â òî÷êàõ ïîëÿ
n
• êîýôôèöèåíòû ←→ çíà÷åíèÿ
• Äâà îãðàíè÷åíèÿ:
• ñòåïåíü
n−s
• Çíà÷åíèÿ òîëüêî èëè
0 1
18 / 21

19. Êîäû Á×Õ
• Äâà îãðàíè÷åíèÿ:
• ñòåïåíü n − s
• Çíà÷åíèÿ òîëüêî 0 èëè 1
• Çíà÷åíèÿ òàêèõ ìíîãî÷ëåíîâ âî âñåõ òî÷êàõ ïîëÿ êîä
Ðèäà-Ñîëîìîíà ñ ðàññòîÿíèåì s +1
• F2 ïîäïîëå F.
• Ìíîæåñòâî êîäîâ ëèíåéíîå ïðîñòðàíñòâî íàä F2 .
• Áåç îãðàíè÷åíèé íà ê-òû ìíîãî÷ëåíà ðàçìåðíîñòü
ïðîñòðàíñòâà êîäîâ n
• Îáðàùåíèå â íîëü êàæäîãî ê-òà: k óðàâíåíèé
• F2 -ðàçìåðíîñòü ≥ n − sk = n − s log n
• Ïðè s = 2, d = 3, 2 log n ïðîâåðî÷íûõ ñèìâîëîâ
•  êîäå Õýììèíãà áûëî log n ïðîâåðî÷íûõ ñèìâîëîâ
•  Á×Õ ìîæíî ñýêîíîìèòü íà ïðîâåðî÷íûõ ñèìâîëàõ
19 / 21

20. Êîäû Á×Õ
• A(x) ïðèíèìàåò çíà÷åíèÿ òîëüêî 0 èëè 1:
• A(x)2 = A(x) , ìíîãî÷ëåí A(x)
2
− A(x) îáðàùàåòñÿ â íóëü
äëÿ âñåõ x ∈ F.
..
• A(x) . a∈F (x − a)
n
• a∈F (x − a) = x − x
• A(x) = an−1 x n−1 + an−2 x n−2 + · · · + a1 x + a0
• A2 (x) = an−1 x 2n−2 + an−2 x 2n−4 + · · · + a1 x 2 + a0
2 2 2 2
2
• an−1 = an−1
2
• an−2 = an−3
2
• an−3 = an−5
2
• an/2 = a1
• Ýòî ëèíåéíûå ñîîòíîøåíèÿ, òàê êàê
(a + b)2 = a2 + b 2 + 2ab = a2 + b 2
• Èç óñëîâèé an−1 = 0, an−2 = 0, . . . , an−s = 0 ìîæíî
îñòàâèòü òîëüêî an−1 = 0, an−2 = 0, an−4 = 0, . . . .
• F2 -ðàçìåðíîñòü ≥ n − 2 k = n − s log n
s
2
20 / 21

21. Á×Õ è ãðàíèöà Õýììèíãà
• Ãðàíèöà Õýììèíãà: 2k V2 (e, n) ≤ 2n .
e ne
• Øàð ðàäèóñà e = s/2 ñîäåðæèò ïðèìåðíî Cn ≈ e!
ýëåìåíòîâ
• k ïðèìåðíî îöåíèâàåòñÿ n − e log n + log e!
• Á×Õ: k = n − e log n
21 / 21