Аннотация
Тема реферата «Исследование производной»
Руководитель: Гиниятуллина Рауфа Нурловна.
Автор: Миннегареев Роман
Предмет: математика
Класс, образовательное учреждение: 11 «а» класс МКОУ СОШ №18 п. Октябрьский
Реферат выполнен в рамках предметной области «Математика». Работа содержит все основные составные элементы реферата: введение, основная часть, заключение, приложение. Общий объем страниц, включая приложения, составляет 33 страницы. Во введении сформулированы актуальность, цель и задачи выполненной работы.
4.1 Материалы модуля
4.2 k-перестановки из n элементов
4.3 Урновые схемы и схемы раскладки по ящикам.
4.4 Подсчет отображений конечных множеств
4.5 Рекуррентные соотношения
Аннотация
Тема реферата «Исследование производной»
Руководитель: Гиниятуллина Рауфа Нурловна.
Автор: Миннегареев Роман
Предмет: математика
Класс, образовательное учреждение: 11 «а» класс МКОУ СОШ №18 п. Октябрьский
Реферат выполнен в рамках предметной области «Математика». Работа содержит все основные составные элементы реферата: введение, основная часть, заключение, приложение. Общий объем страниц, включая приложения, составляет 33 страницы. Во введении сформулированы актуальность, цель и задачи выполненной работы.
4.1 Материалы модуля
4.2 k-перестановки из n элементов
4.3 Урновые схемы и схемы раскладки по ящикам.
4.4 Подсчет отображений конечных множеств
4.5 Рекуррентные соотношения
Лекция №6 "Линейные модели для классификации и регрессии" Technosphere1
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова. Курс "Алгоритмы интеллектуальной обработки больших объемов данных", Лекция №6 "Линейные модели для классификации и регрессии"
Лектор - Николай Анохин
Обобщенные линейные модели. Постановка задачи оптимизации. Примеры критериев. Градиентный спуск. Регуляризация. Метод Maximum Likelihood. Логистическая регрессия.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9pyyrqknouMZbIPf4l3CwUP
1. Структурная теория сложности
Эдуард Алексеевич Гирш
http://logic.pdmi.ras.ru/~hirsch
ПОМИ РАН
23 ноября 2008 г.
1/7
2. Доказательство леммы с прошлой лекции
For δ < 1/3, f is not δ-close to a linear function ⇒
Pr {f (y + z) = f (y ) + f (z)} > δ/2.
y ,z
2/7
3. Доказательство леммы с прошлой лекции
Для δ < 1/3, если
Pr {f (y + z) = f (y ) + f (z)} ≥ 1 − δ/2,
y ,z
то f является δ-близкой к линейной.
Вот она эта линейная:
˜
f (x) = maj (f (x + r ) + f (r )).
r
˜
Пусть px = Prr {f (x) = f (x + r ) + f (r )}.
По построению px ≥ 1/2. Покажем, что px ≥ 1 − δ.
Pr{f (x + r ) + f (s) = f (x + r + s)} ≤ δ/2,
r ,s
Pr{f (r ) + f (x + s) = f (x + r + s)} ≤ δ/2, т.е.
r ,s
1
1−δ ≤ Pr{f (x +r )+f (s) = f (x +s)+f (r )} = (Pr{f (x +r )+f (s) = b})2 =
r ,s r
b=0
px + (1 − px )2 ≤ px + px (1 − px ) = px .
2 2
2/7
4. Доказательство леммы с прошлой лекции
Для δ < 1/3, если
Pr {f (y + z) = f (y ) + f (z)} ≥ 1 − δ/2,
y ,z
то f является δ-близкой к линейной.
Вот она эта линейная:
˜
f (x) = maj (f (x + r ) + f (r )).
r
˜
Итак, Prr {f (x) = f (x + r ) + f (r )} < δ.
линейность:
˜ ˜ ˜
Pr{f (x) + f (y ) + f (r ) = f (x + r ) + f (y )} < δ,
r ˜(y ) = f (x + y + r )} < δ,
Pr{f (x + r ) + f
r ˜
Pr{f (x + y + r ) = f (x + y ) + f (r )} < δ,
r
˜ ˜ ˜
т.е. Prr {f (x + y ) = f (x) + f (y )} > 0, т.е. = 1.
2/7
5. Доказательство леммы с прошлой лекции
Для δ < 1/3, если
Pr {f (y + z) = f (y ) + f (z)} ≥ 1 − δ/2,
y ,z
то f является δ-близкой к линейной.
Вот она эта линейная:
˜
f (x) = maj (f (x + r ) + f (r )).
r
˜
Итак, Prr {f (x) = f (x + r ) + f (r )} < δ.
линейность:
˜ ˜ ˜
Pr{f (x) + f (y ) + f (r ) = f (x + r ) + f (y )} < δ,
r ˜(y ) = f (x + y + r )} < δ,
Pr{f (x + r ) + f
r ˜
Pr{f (x + y + r ) = f (x + y ) + f (r )} < δ,
r
˜ ˜ ˜
т.е. Prr {f (x + y ) = f (x) + f (y )} > 0, т.е. = 1.
˜
δ-близость: если Prx {f (x) = f (x)} > δ, а (по построению)
˜(x) = f (x + r ) + f (r )} ≥ 1/2, то
Prr {f
Prx,r {f (x) = f (x + r ) + f (r )} > δ/2, противоречие. 2/7
6. Constraint Satisfaction Problems
Теорема (PCP Theorem)
NP = PCP(O(log n), O(1)).
Теорема (Переформулировка PCP Theorem)
∃ρ < 1 т.ч. ∀L ∈ NP имеется полин. f : {0, 1}∗ → {3–КНФ} т.ч.
x ∈ L ⇒ f (x) выполнима,
x ∈ L ⇒ нельзя выполнить даже долю ρ клозов f (x).
/
3/7
7. Constraint Satisfaction Problems
Обобщение SAT задача q–CSPW : даны клозы вида
Ci = (X ∈ [1..n]q , ci : [1..W ]q → {0, 1});
переменные таблица истинности
найти присваивание A : [1..n] → [1..W ],
выполняющее все клозы: ∀i ci (A(X1 ) . . . , A(Xq )) = 1.
Теорема (Ещё переформулировка PCP Theorem)
∃ρ < 1 т.ч. ∀L ∈ NP имеется полин. f : {0, 1}∗ → инд. задачи q–CSPW т.ч.
x ∈ L ⇒ f (x) выполнима,
x ∈ L ⇒ нельзя выполнить даже долю ρ клозов f (x).
/
3/7
8. Стратегия доказательства PCP Theorem
Теорема
∃δ > 0 т.ч. ∀L ∈ NP имеется полин. f : {0, 1}∗ → инд. задачи q–CSPW т.ч.
x ∈ L ⇒ f (x) выполнима,
x ∈L
/ ⇒ нельзя выполнить даже долю 1 − δ клозов f (x).
δ-невыполнимые формулы: не выполнить даже долю 1 − δ клозов;
δ-свед´ние изменяет задачу q–CSPW так, что
е
размер увеличивается линейно;
невыполнимые получаются δ-невыполнимые;
новые q и W зависят только от q и W .
4/7
9. Стратегия доказательства PCP Theorem
Теорема
∃δ > 0 т.ч. ∀L ∈ NP имеется полин. f : {0, 1}∗ → инд. задачи q–CSPW т.ч.
x ∈ L ⇒ f (x) выполнима,
x ∈L
/ ⇒ нельзя выполнить даже долю 1 − δ клозов f (x).
δ-невыполнимые формулы: не выполнить даже долю 1 − δ клозов;
δ-свед´ние изменяет задачу q–CSPW так, что
е
размер увеличивается линейно;
невыполнимые получаются δ-невыполнимые;
новые q и W зависят только от q и W .
Для доказательства достаточно построить свед´ние, которое по
е
формулам, у которых уже нельзя выполнить даже долю δ, строит
те, у которых нельзя 2δ.
4/7
10. Стратегия доказательства PCP Theorem
Теорема
∃δ > 0 т.ч. ∀L ∈ NP имеется полин. f : {0, 1}∗ → инд. задачи q–CSPW т.ч.
x ∈ L ⇒ f (x) выполнима,
x ∈L
/ ⇒ нельзя выполнить даже долю 1 − δ клозов f (x).
δ-невыполнимые формулы: не выполнить даже долю 1 − δ клозов;
δ-свед´ние изменяет задачу q–CSPW так, что
е
размер увеличивается линейно;
невыполнимые получаются δ-невыполнимые;
новые q и W зависят только от q и W .
Для доказательства достаточно построить свед´ние, которое по
е
формулам, у которых уже нельзя выполнить даже долю δ, строит
те, у которых нельзя 2δ.
Два сведения:
1. δ → δ, q = 2, W = O(1), любая константа.
2. δ → δ/3, q = O(1), W = 2.
4/7
11. Стратегия доказательства PCP Theorem
Теорема
∃δ > 0 т.ч. ∀L ∈ NP имеется полин. f : {0, 1}∗ → инд. задачи q–CSPW т.ч.
x ∈ L ⇒ f (x) выполнима,
x ∈L
/ ⇒ нельзя выполнить даже долю 1 − δ клозов f (x).
δ-невыполнимые формулы: не выполнить даже долю 1 − δ клозов;
δ-свед´ние изменяет задачу q–CSPW так, что
е
размер увеличивается линейно;
невыполнимые получаются δ-невыполнимые;
новые q и W зависят только от q и W .
Для доказательства достаточно построить свед´ние, которое по
е
формулам, у которых уже нельзя выполнить даже долю δ, строит
те, у которых нельзя 2δ.
Два сведения:
1. δ → δ, q = 2, W = O(1), любая константа.
2. δ → δ/3, q = O(1), W = 2.
3. . . . и нулевое сведение, чтобы подготовить формулу к первому.
4/7
12. Нулевое сведение: q = 2 и кое-что ещё
q = 2, W = 2q :
доп. переменные yi ∼
присваивание переменным клоза Ci , удовлетворяющее его.
клозы Dij (yi , Xj ) ∼
yi действительно удовлетворяет Ci и согласовано со значением Xj .
5/7
13. Нулевое сведение: q = 2 и кое-что ещё
q = 2, W = 2q :
доп. переменные yi ∼
присваивание переменным клоза Ci , удовлетворяющее его.
клозы Dij (yi , Xj ) ∼
yi действительно удовлетворяет Ci и согласовано со значением Xj .
Граф зависимостей CSP-формулы (с кратными рёбрами и
петлями):
вершины ∼ переменные;
Ci = (X , ci ), Xi , Xj ∈ X ⇒ добавляем ребро {Xi , Xj },
также добавим некоторые петли.
5/7
14. Нулевое сведение: q = 2 и кое-что ещё
q = 2, W = 2q :
доп. переменные yi ∼
присваивание переменным клоза Ci , удовлетворяющее его.
клозы Dij (yi , Xj ) ∼
yi действительно удовлетворяет Ci и согласовано со значением Xj .
Граф зависимостей CSP-формулы (с кратными рёбрами и
петлями):
вершины ∼ переменные;
Ci = (X , ci ), Xi , Xj ∈ X ⇒ добавляем ребро {Xi , Xj },
также добавим некоторые петли.
Сделаем граф d -регулярным (∀v deg v = d ):
(1) (k)
уменьшим степень: Xi → Xi , . . . , Xi ;
увеличим степень: добавим петли (причём будем считать, что
в каждой вершине не менее половины рёбер петли).
5/7
15. Нулевое сведение: q = 2 и кое-что ещё
q = 2, W = 2q :
доп. переменные yi ∼
присваивание переменным клоза Ci , удовлетворяющее его.
клозы Dij (yi , Xj ) ∼
yi действительно удовлетворяет Ci и согласовано со значением Xj .
Граф зависимостей CSP-формулы (с кратными рёбрами и
петлями):
вершины ∼ переменные;
Ci = (X , ci ), Xi , Xj ∈ X ⇒ добавляем ребро {Xi , Xj },
также добавим некоторые петли.
Сделаем граф d -регулярным (∀v deg v = d ):
(1) (k)
уменьшим степень: Xi → Xi , . . . , Xi ;
увеличим степень: добавим петли (причём будем считать, что
в каждой вершине не менее половины рёбер петли).
Сделаем из графа расширитель:
пусть G расширитель с тем же числом вершин (что такое
расширитель, используется в док-ве, которое мы приводить
не будем; но это граф ограниченной степени).
новые клозы фиктивные: рёбра из G . 5/7
16. Первое сведение: δ → δ, q → 2
“Возводим 2–CSPW формулу с d -регулярным графом в степень t”:
5t
W = Wd ;
новые переменные y1 , . . . , yn ∈ W ;
значение yi кодирует значения всех Xj , достижимых из Xi за
√
≤ t + t шагов;
клозы ∼ ∀y , y , связанных путём длины 2t + 1, для какого-то
ребра √ i , Xj ) на этом пути с вершинами внутри шаров радиуса
(X
≤ t + t вокруг y , y , опровергается старый клоз c(Xi , Xj ), где
значение Xi задано y , а значение Xj y;
√
t
δ увеличивается в 105 dW 4
раз (см. на доску).
6/7
17. Второе сведение: δ → δ/3, W → 2
Переменные из W разделим на отдельные биты.
Каждому старому клозу (от 2 log W переменных) дадим
PCP(poly(n), 1)-доказательство, соответствующее вып. набору u.
7/7
18. Второе сведение: δ → δ/3, W → 2
Переменные из W разделим на отдельные биты.
Каждому старому клозу (от 2 log W переменных) дадим
PCP(poly(n), 1)-доказательство, соответствующее вып. набору u.
Правда, этот u состоит из двух половинок и ещё доп. переменных
для сведения старого клоза к квадратичным равенствам, т.к.
набор для всех клозов дан наборами от W переменных: в
частности, для одного клоза даны π1 = WH(u1 ), π2 = WH(u2 ).
Поэтому нужен concatenation test (f весь набор для клоза):
f (r ◦ s ◦ 0 . . . 0) = π1 (r ) + π2 (s).
7/7
19. Второе сведение: δ → δ/3, W → 2
Переменные из W разделим на отдельные биты.
Каждому старому клозу (от 2 log W переменных) дадим
PCP(poly(n), 1)-доказательство, соответствующее вып. набору u.
Правда, этот u состоит из двух половинок и ещё доп. переменных
для сведения старого клоза к квадратичным равенствам, т.к.
набор для всех клозов дан наборами от W переменных: в
частности, для одного клоза даны π1 = WH(u1 ), π2 = WH(u2 ).
Поэтому нужен concatenation test (f весь набор для клоза):
f (r ◦ s ◦ 0 . . . 0) = π1 (r ) + π2 (s).
Вероятность ошибки 1/2 ⇒
если лишь δ/3 новых не выполнены, 2δ/3 старых не выполнены.
7/7