Algorithms For Np Hard Problems

Алгоритмы для NP-трудных задач

А. Куликов

Санкт-Петербургское отделение Математического института им. В.А. Стеклова РАН
(ПОМИ РАН)

Computer Science E-Days
20 марта 2010

А. Куликов Алгоритмы для NP-трудных задач
(Санкт-Петербургское отделение Математического института им. В.
1 / 39

План лекции

1 P и NP неформально

2 / 39



2 Точные алгоритмы
1.732n алгоритм для задачи о максимальном разрезе

2 / 39




3 FPT алгоритмы
FPT-алгоритм для задачи о пути длины k

2 / 39





4 Приближённые алгоритмы
3/2-приближённый алгоритм для задачи о коммивояжёре в
метрическом пространстве

2 / 39






3 / 39

Классы P и NP

4 / 39


Задача поиска задаётся алгоритмом C, который получает на вход
условие I и кандидата на решение S и имеет время работы,
ограниченное некоторым полиномом от |I |. S называется
решением, если и только если C(S, I ) = true.

4 / 39


NP класс всех задач поиска. Другими словами, NP класс
всех задач, решение для которых может быть быстро проверено.

4 / 39


P класс задач поиска, решение для которых может быть быстро
найдено.

4 / 39


P класс задач поиска, решение для которых может быть быстро
найдено.
P=NP? Другими словами, существуют ли задачи, решение для
которых может быть быстро проверено, но не может быть быстро
найдено? Это один из самых важных и самых сложных открытых
вопросов Theoretical Computer Science.

4 / 39

Сведения

5 / 39

Сведения

Говорим, что задача A сводится к задаче B, и пишем A → B, если
по эффективному алгоритму для задачи B можно построить
эффективный алгоритм для задачи A.

5 / 39

Сведения

По-другому: если A решить сложно и A → B, то и B решить
сложно. То есть B не может быть сильно проще A.

5 / 39

Сведения

Задача поиска называется NP-полной, если к ней сводятся все
задачи поиска. То есть это универсальный притягивающий объект
в классе NP.

5 / 39

Сведения

Задача поиска называется NP-полной, если к ней сводятся все
задачи поиска. То есть это универсальный притягивающий объект
в классе NP.
Удивительно (на первый взгляд), что такие задачи вообще
существуют.

5 / 39

P vs NP

6 / 39

P vs NP

Большинство исследователей считают, что P=NP.

6 / 39

P vs NP

Есть, впрочем, и другие мнения:
http://www.win.tue.nl/∼gwoegi/P-versus-NP.htm

6 / 39

P vs NP

Есть, впрочем, и другие мнения:
http://www.win.tue.nl/∼gwoegi/P-versus-NP.htm
В предположении P=NP не существует полиномиальных
алгоритмов для NP-трудных задач.

6 / 39

Мотивация

7 / 39

Мотивация

Многим приложениям требуется решать NP-трудные задачи, даже
несмотря на то, что решения могут быть найдены только для
весьма маленьких размеров входов.

7 / 39

Мотивация

Лучшее понимание NP-трудных задач.

7 / 39

Мотивация

Новые интересные комбинаторные и алгоритмические задачи.

7 / 39

Мотивация

Новые интересные комбинаторные и алгоритмические задачи.
Общая теория.

7 / 39






8 / 39

Точные алгоритмы для NP-трудных задач

Алгоритмы, находящие точное решение для данной
задачи за время c n для достаточно малой константы c.

9 / 39

Мотивация

Представим, что у нас есть алгоритм сложности 1.7n для некоторой
задачи, который за “разумное” время позволяет решать примеры этой
задачи размера не более n0 .

10 / 39

Мотивация

The “hardware” approach: возьмем в 10 раз более быстрый
компьютер. Теперь мы можем решать примеры размера n0 + 4.

10 / 39

Мотивация

The “brainware” approach: придумаем алгоритм сложности 1.3n .
Это позволит нам решать примеры размера 2 · n0 .

10 / 39

Мотивация

The “brainware” approach: придумаем алгоритм сложности 1.3n .
Это позволит нам решать примеры размера 2 · n0 .
Другими словами, уменьшение основания экспоненты времени работы
алгоритма увеличивает размер решаемых за данное время примеров в
константное число раз, в то время как использование более быстрого
компьютера способно увеличить размер лишь на константу.

10 / 39






11 / 39

3-клика

Определение
Задача о 3-клике (3-clique problem) заключается в проверке наличия
3-клики (то есть полного подграфа на трех вершинах) во входном
графе.

12 / 39

3-клика

графе.

Алгоритм
Matrix-Clique(G )

12 / 39

3-клика

графе.

Алгоритм
Matrix-Clique(G )
построить матрицу смежности A графа G

12 / 39

3-клика

графе.

Алгоритм
Matrix-Clique(G )
посчитать A3

12 / 39

3-клика

графе.

Алгоритм
Matrix-Clique(G )
вернуть “да”, если на диагонали построенной матрицы есть хотя
бы один не ноль

12 / 39

3-клика

графе.

Алгоритм
Matrix-Clique(G )
вернуть “да”, если на диагонали построенной матрицы есть хотя
бы один не ноль
вернуть “нет”

12 / 39

Анализ алгоритма

Лемма
Алгоритм выдает правильный ответ за время O(nω ), где ω ≈ 2.376
экспонента перемножения матриц (matrix multiplication exponent).

13 / 39


Лемма

Доказательство

13 / 39


Лемма

важное свойство матрицы смежности: Ak [i, j] есть количество
путей длины k из вершины i в вершину j в графе G (легко
доказать по индукции)

13 / 39


Лемма

3-клика это путь длины 3 из вершины в саму себя

13 / 39


Лемма

3-клика это путь длины 3 из вершины в саму себя
для вычисления A3 требуется два умножения матриц

13 / 39

Задача о максимальном разрезе

Задача о максимальном разрезе (maximum cut problem, MAX-CUT)
заключается в нахождении такого разбиения вершин графа на две
части, при котором количество ребер, концы которых принадлежат
разным частям, максимально.

14 / 39



Основные идеи сведения максимального разреза к 3-клике
Дан граф G на n вершинах.

14 / 39



Построим трехдольный граф H на 3 · 2n/3 вершинах со
следующим свойством: исходный граф G имеет разрез веса w
тогда и только тогда, когда H содержит 3-клику веса w .

14 / 39



Используем быстрое умножение матриц для поиска 3-клики.

14 / 39



Используем быстрое умножение матриц для поиска 3-клики.
Сложность: 2ωn/3 ≈ 1.732n .

14 / 39

Вспомогательный граф

H G

15 / 39


это три части вершин исходного графа G

H G

15 / 39


это три доли вершин вспомогательного огромного графа H

H G

15 / 39


для каждого Xi ⊆ Vi создаём вершину в соответствующей доле H

V1 X1

X1

X1
H G
V2 X2 V3 X3

X2 X3 X2 X3

15 / 39


чему равен вес разреза X1 ∪ X2 ∪ X3 в G ?

V1 X1

X1

X1
H G
V2 X2 V3 X3

X2 X3 X2 X3

15 / 39


V1 X1

X1

X1
H G
V2 X2 V3 X3

X2 X3 X2 X3

15 / 39


V1 X1

X1
итак, вес треугольника (H1 , H2 , H3 ) в H равен
весу разреза X1 ∪ X2 ∪ X3 в G
X1
H G
V2 X2 V3 X3

X2 X3 X2 X3

15 / 39

Алгоритм

Алгоритм
Matrix-MAX-CUT(G )

16 / 39

Алгоритм

Алгоритм
Matrix-MAX-CUT(G )
разбить множество вершин V на три равные части V1 , V2 , V3

16 / 39

Алгоритм

Алгоритм
Matrix-MAX-CUT(G )
построить вспомогательный трехдольный граф H: i-я доля Ti
содержит все возможные подмножества Vi ; вес ребра между X1 и
X2 равен

w (V2 X2 , X1 ) + w (V1 X1 , X1 ) + w (V1 X1 , X2 )

(для остальных пар долей аналогично)

16 / 39

Алгоритм

Алгоритм
Matrix-MAX-CUT(G )
X2 равен

w (V2 X2 , X1 ) + w (V1 X1 , X1 ) + w (V1 X1 , X2 )

для всех 1 ≤ w12 , w13 , w23 ≤ |EG |

16 / 39

Алгоритм

Алгоритм
Matrix-MAX-CUT(G )
X2 равен

w (V2 X2 , X1 ) + w (V1 X1 , X1 ) + w (V1 X1 , X2 )

для всех 1 ≤ w12 , w13 , w23 ≤ |EG |
оставить только ребра веса wij между долями Ti и Tj

16 / 39

Алгоритм

Алгоритм
Matrix-MAX-CUT(G )
X2 равен

w (V2 X2 , X1 ) + w (V1 X1 , X1 ) + w (V1 X1 , X2 )

для всех 1 ≤ w12 , w13 , w23 ≤ |EG |
проверить, есть ли в модифицированном графе H 3-клика

16 / 39

Алгоритм

Алгоритм
Matrix-MAX-CUT(G )
X2 равен

w (V2 X2 , X1 ) + w (V1 X1 , X1 ) + w (V1 X1 , X2 )

для всех 1 ≤ w12 , w13 , w23 ≤ |EG |
если да, то в G есть разрез веса w12 + w13 + w23

16 / 39

Алгоритм

Алгоритм
Matrix-MAX-CUT(G )
X2 равен

w (V2 X2 , X1 ) + w (V1 X1 , X1 ) + w (V1 X1 , X2 )

для всех 1 ≤ w12 , w13 , w23 ≤ |EG |
если да, то в G есть разрез веса w12 + w13 + w23
вернуть максимальную найденную стоимость разреза

16 / 39

Известные оценки

Факт

17 / 39


Факт
Алгоритм, как видно, использует экспоненциальную память и
поэтому совсем не практичен.

17 / 39


Факт
Алгоритм со временем работы 1.99999n и полиномиальной
памятью пока не придуман.

17 / 39


Факт
Алгоритм со временем работы 1.99999n и полиномиальной
памятью пока не придуман.
Наилучшая известная оценка относительно количества рёбер
2m/6.2 .

17 / 39






18 / 39

FPT алгоритмы для NP-трудных задач

Алгоритмы, находящие точное решение для данной
задачи за время
f (k)nc ,
где
n размер входа,
c константа,
k некоторый параметр,
f произвольная функция.

19 / 39

Вершинное покрытие и доминирующее множество


20 / 39


(Параметризованная) задача о вершинном покрытии
(parameterized vertex cover problem) заключается в нахождении по
данному графу G = (V , E ) и числу k такого множества вершин
V ⊆ V , что |V | ≤ k и для любого ребра (u, v ) ∈ E , хотя бы одна
из вершин u и v содержится в V .

20 / 39


(Параметризованная) задача о вершинном покрытии
(parameterized vertex cover problem) заключается в нахождении по
данному графу G = (V , E ) и числу k такого множества вершин
V ⊆ V , что |V | ≤ k и для любого ребра (u, v ) ∈ E , хотя бы одна
из вершин u и v содержится в V .
(Параметризованная) задача о доминирующем множестве
(parameterzied dominating set problem) заключается в нахождении
по данному графу G = (V , E ) и числу k такого множества вершин
V ⊆ V , что для любой вершины u ∈ V найдётся такая вершина
v ∈ V , что (u, v ) ∈ E .

20 / 39

Сравнение алгоритмов

21 / 39


Наивный алгоритм для задачи о вершинном покрытии имеет
время работы 2k n, для задачи о доминирующем множестве
nk+1 .

21 / 39


Наивный алгоритм для задачи о вершинном покрытии имеет
время работы 2k n, для задачи о доминирующем множестве
nk+1 .
Отношение nk+1 /2k n для различных значений k и n.
n = 50 n = 100 n = 150
k =2 625 2 500 5 625
k =3 15 625 125 000 421 875
k =5 390 625 6 255 000 31 640 625
k = 10 1.9 × 1012 9.8 × 1014 3.7 × 1016
k = 20 1.8 × 1026 9.5 × 1031 2.1 × 1035

21 / 39

Fixed parameter tractability


22 / 39


Параметризованной задачей (parameterized problem) L называется
подмножество Σ∗ × N для некоторого конечного алфавита Σ.
Входом задачи является пара (x, k), k называется параметром
(parameter).

22 / 39


Параметризованной задачей (parameterized problem) L называется
подмножество Σ∗ × N для некоторого конечного алфавита Σ.
Входом задачи является пара (x, k), k называется параметром
(parameter).
Параметризованная задача L называется ﬁxed parameter tractable
(FPT), если принадлежность пары (x, k) языку L может быть
проверена за время f (k)|x|c , где c константа (не зависящая ни
от k, ни от n), а f произвольная функция.

22 / 39






23 / 39

Задача о пути длины k

Задачи о пути длины k (k-path problem) заключается в нахождении по
данному графу G с двумя выделенными вершинами s и t и числу k
простого пути между s и t, содержащего ровно k промежуточных
вершин.

24 / 39

Color coding

Color coding

25 / 39

Color coding

Color coding
Присвоим равновероятно и независимо всем вершинам, кроме s и
t, цвета от 1 до k.

25 / 39

Color coding

Color coding
Присвоим равновероятно и независимо всем вершинам, кроме s и
t, цвета от 1 до k.
Проверим, есть ли полноцветный s–t путь, то есть путь, в
котором промежуточные вершины покрашены во все k цветов.

25 / 39

Оценка вероятности ошибки


26 / 39


Если путь длины k есть, то вероятность того, что он полноцветен,
равна
k k
k!
> e k = e −k .
kk k

26 / 39


Если путь длины k есть, то вероятность того, что он полноцветен,
равна
k k
k!
> e k = e −k .
kk k

Вероятность того, что путь не найдётся (если он есть) после e k
повторений, не превосходит

k −k ek
(1 − e −k )e < e −e = e −1 .

26 / 39

Как же проверять наличие полноцветного пути?


27 / 39


Мы знаем, что в полноцветном пути должны встречаться
вершины всех k цветов, но не знаем, в каком порядке.

27 / 39


Можно перебрать все k! порядков. Когда порядок зафиксирован,
нужно просто проверить наличие s–t пути в графе.

27 / 39


Можно перебрать все k! порядков. Когда порядок зафиксирован,
нужно просто проверить наличие s–t пути в графе.

Итого
Алгоритм за время O(e k k!|E (G )|) решает задачу о пути длины k с
вероятностью ошибки не более e −1 .

27 / 39






28 / 39

Приближённые алгоритмы для NP-трудных задач

Алгоритмы, находящие за полиномиальное время для
данной оптимизационной задачи решение, которое
гарантированно не сильно хуже оптимального.

29 / 39






30 / 39

Задача о коммивояжере


31 / 39


Дан полный неориентированный граф G = (V , E ), каждому ребру
(u, v ) которого приписана некоторая стоимость c(u, v ).

31 / 39


Задача о коммивояжере (travelling salesman problem, TSP)
заключается в нахождении в графе гамильтонова цикла
минимальной стоимости.

31 / 39


Задача о коммивояжере (travelling salesman problem, TSP)
заключается в нахождении в графе гамильтонова цикла
минимальной стоимости.
Задача о коммивояжере в метрическом пространстве (metric TSP)
есть частный случай задачи о коммивояжере, где расстояния
входного графа удовлетворяют неравенству треугольника:

c(u, w ) ≤ c(u, v ) + c(v , w ) ∀u, v , w ∈ V .

31 / 39

2-оптимальный алгоритм

Алгоритм
Approx-TSP(G )

32 / 39


Алгоритм
Approx-TSP(G )
построим минимальное остовное дерево T графа G

32 / 39


Алгоритм
Approx-TSP(G )
продублируем каждое ребро дерева T и в полученном графе
найдем эйлеров цикл

32 / 39


Алгоритм
Approx-TSP(G )
продублируем каждое ребро дерева T и в полученном графе
выкинем из полученного цикла все повторения вершин и вернем
полученный цикл

32 / 39

Пример работы алгоритма

Алгоритм
Approx-TSP(G ) a d
e

b f g

c

h

33 / 39


Алгоритм
Approx-TSP(G ) a d
строим минимальное
остовное дерево T e
графа G g
b f
c

h

33 / 39


Алгоритм
Approx-TSP(G ) a d
графа G g
b f
продублируем каждое
ребро дерева T и в c
полученном графе
h

33 / 39


Алгоритм
Approx-TSP(G ) a d
графа G g
b f
продублируем каждое
ребро дерева T и в c
полученном графе
h
выкинем из полученного
цикла все повторения
вершин и вернем

33 / 39


Лемма
Алгоритм Approx-TSP является 2-приближенным.

34 / 39


Лемма


34 / 39


Лемма

пусть WT вес минимального остовного дерева, а Wopt вес
оптимального гамильтонова цикла

34 / 39


Лемма

WT ≤ Wopt , поскольку при выкидывании ребра из гамильтонва
цикла получается остовное дерево

34 / 39


Лемма

каждое ребро построенного гамильтонова цикла заменяет
какой-то путь эйлерова цикла, длина которого по неравенству
треугольника не менее длины этого ребра

34 / 39


Лемма

каждое ребро построенного гамильтонова цикла заменяет
какой-то путь эйлерова цикла, длина которого по неравенству
треугольника не менее длины этого ребра
значит, длина найденного пути не превосходит 2WT , а
следовательно, и 2Wopt

34 / 39

3/2-оптимальный алгоритм

Алгоритм
Approx-TSP-Improved(G )

35 / 39


Алгоритм
строим минимальное остовное дерево T графа G

35 / 39


Алгоритм
найдем минимальное полное паросочетание всех вершин дерева T
нечетной степени

35 / 39


Алгоритм
добавим найденные ребра в дерево T и найдем в полученном
графе эйлеров цикл

35 / 39


Алгоритм
добавим найденные ребра в дерево T и найдем в полученном
графе эйлеров цикл
выкинем из полученного цикла все повторения вершин и вернем

35 / 39


Лемма
Алгоритм Approx-TSP-Improved является 3/2-приближенным.

36 / 39


Лемма


36 / 39


Лемма

как и в предыдущем доказательстве, вес построенного цикла не
провосходит WT + WP , где WP вес минимального
паросочетания вершин нечетной степени дерева T

36 / 39


Лемма

нужно показать, что WP ≤ Wopt /2

36 / 39


Лемма

обозначим через A множество всех вершин нечетной степени
дерева T

36 / 39


Лемма

обозначим через A множество всех вершин нечетной степени
дерева T
рассмотрим такой гамильтонов цикл на вершинах множества A:
вершины множества A в нем будут встречаться в такой
последовательности, в какой они идут в оптимальном
гамильтоновом цикле графа G

36 / 39

Доказательство (продолжение)


37 / 39

Доказательство (продолжение)

важно отметить, что нам не нужно строить такой цикл; нам
важен лишь факт его существования

37 / 39

Algorithms For Np Hard Problems

Algorithms For Np Hard Problems

Recommended

Recommended

More Related Content

Viewers also liked

Viewers also liked (20)

More from LiloSEA

More from LiloSEA (20)

Algorithms For Np Hard Problems