Графовая модель канала. Шенноновское произведение графов, шенноновская ёмкость. Теорема о верхней оценке шенноновской ёмкости.

1. Теория кодирования
МФТИ, осень 2013
Александр Дайняк
www.dainiak.com

2. Граф канала
Можно задать модель канала графом, вершины которого — символы
алфавита канала.
Дуга идёт из 𝑥 в 𝑦, если в канале возможна ошибка замещения 𝑥 на 𝑦.
Если в канале для каждой пары символов 𝑥, 𝑦 возможны либо оба
замещения 𝑥 → 𝑦, 𝑦 → 𝑥, либо ни одно из них, то граф канала можно
считать неориентированным.

3. Граф канала
Пример: если алфавит канала 0,1,2 , и возможны только
замещения 0 → 1 и 1 → 2, то граф такой:
Если возможны замещения 0 → 1, 1 → 0, 1 → 2 и 2 → 1,
то граф такой:
0 1 2
0 1 2

4. Граф канала
Пусть 𝐺 — граф канала.
Если считать каждый символ канала отдельным сообщением, то во
избежание ошибок придётся использовать множество символов
𝐶1, являющееся независимым множеством в 𝐺:
При этом в лучшем случае пропускная способность канала
получается такой же, как у канала без ошибок, алфавит которого
имеет мощность 𝛼 𝐺 .
𝟎 1 𝟐

5. Граф канала
Пусть 𝐺 = 𝑉, 𝐸 — граф канала.
Если по каналу мы посылаем пары символов, то следует выбирать
для использования такое множество пар 𝐶2, чтобы
∄ 𝑥′, 𝑦′ , 𝑥′′, 𝑦′′ ∈ 𝐶2:
𝑥′
= 𝑥′′
∨ 𝑥′
𝑥′′
∈ 𝐸 ∧ 𝑦′
= 𝑦′′
∨ 𝑦′
𝑦′′
∈ 𝐸
Если мы рассмотрим такое 𝐶2, имеющее максимально возможную
мощность, то данный код позволяет достичь пропускной
способности 𝐶2 .

6. Граф канала
Замечание. В чём смысл извлечения квадратного корня из 𝐶2 :
Это скорость передачи данных в канале в расчёте на один
передаваемый символ.
Если бы у нас был безошибочный канал, в алфавите которого ровно
𝐶2 символов, то мы могли бы передавать по нему как раз 𝐶2
сообщений длины 2.

7. Граф канала
Если 𝐺 — граф канала, и мы посылаем тройки символов, то следует
выбирать такое множество троек 𝐶3, чтобы в нём не было двух
троек, соответствующие компоненты которых совпадают или
образуют ребро в 𝐺.
Если мы рассмотрим такое 𝐶3, имеющее максимально возможную
мощность, то данный код позволит достичь пропускной
способности
3
𝐶3 .
И так далее…

8. Шенноновское произведение
Шенноновское произведение графов 𝐺 и 𝐻 — это граф 𝐺 × 𝐻 со
множеством вершин
𝑉 𝐺 × 𝐻 = 𝑥, 𝑦 ∣ 𝑥 ∈ 𝑉 𝐺 , 𝑦 ∈ 𝑉 𝐻
Рёбра в 𝐺 × 𝐻 между парами 𝑥′, 𝑦′ и 𝑥′′, 𝑦′′ , для которых
𝑥′
= 𝑥′′
∨ 𝑥′
𝑥′′
∈ 𝐸 𝐺 ∧ 𝑦′
= 𝑦′′
∨ 𝑦′
𝑦′′
∈ 𝐸 𝐻
Очевидно, 𝐺1 × 𝐺2 × 𝐺3 ≃ 𝐺1 × 𝐺2 × 𝐺3 и 𝐺1 × 𝐺2 ≃ 𝐺2 × 𝐺1
для любых 𝐺1, 𝐺2, 𝐺3.

9. Шенноновское произведение
Пример:
× =
𝑎
𝑏
𝑐
1 2
𝑎1
𝑏1
𝑐1
𝑎2
𝑏2
𝑐2

10. Шенноновская ёмкость
Шенноновская ёмкость графа 𝐺:
cap 𝐺 = sup
𝑛∈ℕ
𝑛
𝛼 𝐺 × 𝐺 × ⋯ × 𝐺
Это наибольшая возможная (в пределе) «скорость», с которой
можно передавать без ошибок данные по каналу, моделью
которого является граф 𝐺.
𝑛 раз

11. Верхняя оценка
шенноновской ёмкости графа
Пусть 𝐺 — произвольный граф.
Будем рассматривать наборы весов 𝒘 на вершинах графа 𝐺, такие,
что
• ∀𝑥 𝑤 𝑥 ≥ 0
• 𝑥∈𝑉 𝐺 𝑤 𝑥 = 1
Для любого множества 𝐴 ⊆ 𝐺 обозначим
𝑤 𝐴 ≔
𝑥∈𝐴
𝑤 𝑥

12. Верхняя оценка
шенноновской ёмкости графа
Для произвольного графа 𝐺 рассмотрим величину
𝜈 𝐺 ≔ min
𝒘
max
𝐾−клика
в 𝐺
𝑤 𝐾
(ясно, что max достаточно брать только по максимальным по
включению кликам)
Теорема Шеннона о верхней оценке ёмкости:
Для любого 𝐺 справедливо неравенство
cap 𝐺 ≤ 𝜈 𝐺
−1

13. Доказательство верхней оценки
шенноновской ёмкости графа
Докажем, что
𝑛
𝛼 𝐺 𝑛 ≤ 𝜈 𝐺
−1
для каждого 𝑛.
Пусть 𝐴 ⊆ 𝑉 𝐺 — независимое множество размера 𝛼 𝐺 .
Рассмотрим набор весов 𝒘0, в котором
• 𝑤0 𝑥 ≔ 0, если 𝑥 ∉ 𝐴,
• 𝑤0 𝑥 ≔ 𝛼 𝐺
−1
, если 𝑥 ∈ 𝐴.
Для таких весов получим
𝜈 𝐺 ≤ max
𝐾−клика
в 𝐺
𝑤0 𝐾 = 𝛼 𝐺
−1
откуда 𝛼 𝐺 ≤ 𝜈 𝐺
−1
.

14. Доказательство верхней оценки
шенноновской ёмкости графа
Итак, 𝜈 𝐺 ≤ 𝛼 𝐺
−1
для любого 𝐺.
Лемма. Для любых графов 𝐺, 𝐻 выполнено
𝜈 𝐺 × 𝐻 = 𝜈 𝐺 ⋅ 𝜈 𝐻
Если докажем лемму, то докажем и теорему:
𝜈 𝐺 𝑛 = 𝜈 𝐺
𝑛
⇒
𝑛
𝛼 𝐺 𝑛 ≤
𝑛
𝜈 𝐺 𝑛 −1
= 𝜈 𝐺
−1

15. Доказательство верхней оценки
шенноновской ёмкости графа
Лемма. Для любых графов 𝐺, 𝐻 выполнено
𝜈 𝐺 × 𝐻 = 𝜈 𝐺 ⋅ 𝜈 𝐻
Доказательство леммы:
Пусть 𝒘 𝐺
∗
и 𝒘 𝐻
∗
— наборы весов на вершинах графов 𝐺 и 𝐻, на
которых достигаются минимумы в 𝜈 𝐺 и 𝜈 𝐻 .
Рассмотрим набор весов 𝒘 𝐺×𝐻 на вершинах графа 𝐺 × 𝐻, такой,
что
𝑤 𝐺×𝐻 𝑥, 𝑦 ≔ 𝑤 𝐺
∗
𝑥 ⋅ 𝑤 𝐻
∗
𝑦

16. Доказательство верхней оценки
шенноновской ёмкости графа
Берём набор весов 𝑤 𝐺×𝐻 𝑥, 𝑦 ≔ 𝑤 𝐺
∗
𝑥 ⋅ 𝑤 𝐻
∗
𝑦 .
Любая максимальная по включению клика 𝐾 в графе 𝐺 × 𝐻
является множеством пар вида
𝑥, 𝑦 ∣ 𝑥 ∈ 𝐾 𝐺, 𝑦 ∈ 𝐾 𝐻
где 𝐾 𝐺 и 𝐾 𝐻 — клики в 𝐺 и 𝐻 соответственно. Для таких клик 𝐾
имеем
𝑤 𝐺×𝐻 𝐾 =
𝑥,𝑦 ∈𝐾
𝑤 𝐺
∗
𝑥 ⋅ 𝑤 𝐻
∗
𝑦 =
𝑥∈𝐾 𝐺
𝑤 𝐺
∗
𝑥
𝑦∈𝐾 𝐻
𝑤 𝐻
∗
𝑦 =
= 𝑤 𝐺
∗
𝐾 𝐺 ⋅ 𝑤 𝐻
∗
𝐾 𝐻

17. Доказательство верхней оценки
шенноновской ёмкости графа
Имеем
𝜈 𝐺 × 𝐻 = min
𝒘
max
𝐾−клика
в 𝐺×𝐻
𝑤 𝐾 ≤
≤ max
𝐾−клика
в 𝐺×𝐻
𝑤 𝐺×𝐻 𝐾 = max
𝐾−клика
в 𝐺×𝐻
𝑤 𝐺
∗
𝐾 𝐺 ⋅ 𝑤 𝐻
∗
𝐾 𝐻 ≤
≤ max
𝐾−клика
в 𝐺
𝑤 𝐺
∗
𝐾 ⋅ max
𝐾−клика
в 𝐻
𝑤 𝐻
∗
𝐾 = 𝜈 𝐺 ⋅ 𝜈 𝐻
В итоге, 𝜈 𝐺 × 𝐻 ≤ 𝜈 𝐺 ⋅ 𝜈 𝐻 .

18. Доказательство верхней оценки
шенноновской ёмкости графа
Обозначим через 𝒘 набор весов на кликах графа (неотрицательны,
сумма равна единице).
По теореме о свойствах двойственных задач линейного
программирования, для любого графа имеет место равенство
min
𝒘
max
𝐾
𝑥∈𝐾
𝑤 𝑥 = max
𝒘
min
𝑥
𝐾∋𝑥
𝑤 𝐾

19. Доказательство верхней оценки
шенноновской ёмкости графа
max
𝒘
min
𝑥
𝐾∋𝑥
𝑤 𝐾
Пусть 𝒘 𝐺
∗
и 𝒘 𝐻
∗
— наборы весов, на которых достигается max для
графов 𝐺 и 𝐻.
Построим набор весов 𝑤 𝐺×𝐻 на кликах графа 𝐺 × 𝐻:
• Пусть клика 𝐾 может быть представлена в виде 𝐾 𝐺 × 𝐾 𝐻, где 𝐾 𝐺 и
𝐾 𝐻 — клики в 𝐺 и 𝐻. Тогда полагаем 𝑤 𝐺×𝐻 𝐾 ≔ 𝑤 𝐺
∗
𝐾 𝐺 ⋅ 𝑤 𝐻
∗
𝐾 𝐻 .
• Для остальных клик 𝐾 полагаем 𝑤 𝐺×𝐻 𝐾 ≔ 0.

20. Доказательство верхней оценки
шенноновской ёмкости графа
Для такого набора весов и для любой фиксированной вершины 𝑥, 𝑦 ∈
𝑉 𝐺 × 𝐻 имеем
𝐾∋ 𝑥,𝑦
𝑤 𝐺×𝐻 𝐾 ≥
𝐾∋ 𝑥,𝑦
∃𝐾 𝐺,𝐾 𝐻: 𝐾=𝐾 𝐺×𝐾 𝐻
𝑤 𝐺×𝐻 𝐾 =
𝐾 𝐺∋𝑥,
𝐾 𝐻∋𝑦
𝑤 𝐺
∗
𝐾 𝐺 ⋅ 𝑤 𝐻
∗
𝐾 𝐻 =
=
𝐾 𝐺∋𝑥
𝑤 𝐺
∗
𝐾 𝐺
𝐾 𝐻∋𝑦
𝑤 𝐻
∗
𝐾 𝐻 ≥ 𝜈 𝐺 ⋅ 𝜈 𝐻
Отсюда следует неравенство 𝜈 𝐺 × 𝐻 ≥ 𝜈 𝐺 ⋅ 𝜈 𝐻 , а значит верно
равенство 𝜈 𝐺 × 𝐻 = 𝜈 𝐺 ⋅ 𝜈 𝐻 .

21. Пример применения теоремы
Оценим шенноновскую ёмкость цепи на трёх вершинах. Рассмотрим набор
весов на вершинах графа 𝑃3, на котором достигается минимум.
Пусть веса на крайних вершинах цепи равны 𝑥 и 𝑧, а у средней вершины вес
равен 𝑦. Получаем задачу линейного программирования:
𝑥, 𝑦, 𝑧 ≥ 0
𝑥 + 𝑦 + 𝑧 = 1
𝑥 + 𝑦 ≤ 𝜈
𝑦 + 𝑧 ≤ 𝜈
𝜈 → min
Решение этой задачи: 𝑥 = 𝑧 = 1 2 , 𝑦 = 0 и 𝜈 = 1 2. Отсюда cap 𝑃3 ≤ 2.
При этом очевидны соотношения cap 𝑃3 ≥ 𝛼 𝑃3 = 2, а значит cap 𝑃3 = 2.