1. Регулярные итерационно-
проекционные алгоритмы в
задачах обработки сигналов
Дипломник: Иванов А.А.
Научный руководитель: Жданов А.И.

2. ЦЕЛИ И ЗАДАЧИ ДИПЛОМНОЙ РАБОТЫ
Цель работы – разработка и исследование эффективных
методов решения некорректных и плохо обусловленных задач с
использованием итерационных алгоритмов.
Основные задачи работы:
1) Рассмотреть методы выбора параметра регуляризации: метод
перекрестной значимости, метод невязки, метод L-кривой.
2) Предложить и исследовать итерационные аналоги методов
выбора параметра регуляризации.
3) Разработать итерационные алгоритмы поиска
регуляризованных решений СЛАУ.
Объектом исследований являются итерационные
алгоритмы обладающие свойством регуляризации
Иванов А.А., Регулярные итерационно-проекционные алгоритмы в задачах обработки сигналов 2/10

3. СТРУКТУРА ПРОДЕЛАННОЙ НАУЧНО-ИССЛЕДОВАТЕЛЬСКОЙ РАБОТЫ
A  u  f , A  Rmn , u  Rn , f  Rm . (1)
Задача: решение
СЛАУ общего вида Большое количество прикладных задач могут быть сведены к
задаче решения СЛАУ. Однако, так как в основном исходные
Решение задачи непрерывны, а цифровые компьютеры дискретны,
некорректных и плохо точное решение исходной задачи в общем случае найти
обусловленных задач невозможно.
 u   A  u  f    D  u  min
2 2
(2)
Принципы выбора u
параметра
регуляризации
СНУ:  
AT  A    D  u  AT  f , D  R nn , D  0 (3)
Пример некорректной задачи
Метод невязки,
метод L-кривой, 1 2  1 1 2 
Au  f , A   , f    u   ,
3 3 

на основании функции ПЗ 2 2 2   2
   
Параметр регуляризации
как номер останова Решение задачи на компьютере
итераций  1 1.41 
u  1 0 
T
Au  f , A   , f  f
 2 2.83 
Иванов А.А., Регулярные итерационно-проекционные алгоритмы в задачах обработки сигналов 3/10

4. РЕГУЛЯРИЗАЦИЯ НА ОСНОВЕ РАСШИРЕННОЙ СИСТЕМЫ НОРМАЛЬНЫХ УРАВНЕНИЙ
   Em A   y  f  СЛАУ (4) всегда
 T
 A        ,  A  z  f (4)
  En   u   0 
совместна и полного
  ранга
   
1
z  y , u
T T
u  A A   En
T
AT f (5)   0
y   1  r r  f  Au Сохраняется
разреженность
Итерационный алгоритм Качмажа для РСНУ:
Расширенная система  I m A  z  f , (6) Обусловленность РС
A   I n  z  0, (7)
нормальных уравнений в T
не возрастает
блочном виде
Алгоритм Качмажа для двух блоков: 
 2  A    2 AT A   En 
zi ,1  zi ,0   I m A  I m A zi ,0  f  ,

(8)
 
Увеличивается
 at 1  размерность СЛАУ
zi ,t  zi ,t 1  i ,t 1   , t  2,3, , n  1, (9)
 et 1  z  z , i  1,2, , A  a , a , a .
i 1,0 i ,n1  1 2 n
Иванов А.А., Регулярные итерационно-проекционные алгоритмы в задачах обработки сигналов 4/10

5. РЕГУЛЯРИЗИРУЮЩИЙ АЛГОРИТМ КАЧМАЖА НА ОСНОВЕ РАСШИРННОЙ СИСТЕМЫ
После специальных преобразований
 a j k  
 k   k 1   k 1 

 ,  k 1 
j 
aT k  ,   eT k   k 1
j
, k  1,2, ,
(10)
 e j  k   2
a j k   
 
k   r , u
k
T T T
k 
В работе доказывается теорема [1]:
Пусть в рекуррентном уравнении вектор 0   r , u
0
T
0 
T T
удовлетворяет условию согласования r0  f  Au0 . (11)
Тогда для произвольного начального вектора u0 при k   k  * ,
где *  r , u *
T
*
T T
.
Оказывается эффективным Формально идентичен
Алгоритм имеет
для решения специальному
столбцовую природу
переопределенных СЛАУ алгоритму Зейделя
[1] Жданов А.И., Иванов А.А. Проекционный регуляризирующий алгоритм для
решения некорректных линейных алгебраических систем большой размерности //
Вестн. Сам. гос. техн. ун-та. Сер. Физ-мат. науки. – 2010. - №5(21). – С.309-312.
Иванов А.А., Регулярные итерационно-проекционные алгоритмы в задачах обработки сигналов 5/10

6. ИССЛЕДОВАНИЕ РАБОТЫ АЛГОРИТМА ДЛЯ РЕШЕНИЯ ЗАДАЧИ ВЕЕРНОЙ ТОМОГРАФИИ
Задача веерной томографии.
Разработана система моделирующая получение проекций – синограмм.
Рисунок 2 - Схематичное изображение
прохождения сканирующего луча через объект
(слева) и фантом Шеппа-Логана (справа)
Среднее
Метод Относительная ошибка
время, с.
Рисунок 1 - Принципиальная схема SVD 0.4544216733984 22.1
кругового сканирования стационарного
 = 10-7 0.4544216734069
объекта
РРНС
 = 10-8 0.4544216733957 4.2
Таблица справа – к решению задачи
томографии неполного ранга  = 10-9 0.4544216734046
Иванов А.А., Регулярные итерационно-проекционные алгоритмы в задачах обработки сигналов 6/10

7. НОМЕР ОСТАНОВА ИТЕРАЦИОННОГО АЛГОРИТМА КАК ПАРАМЕТР РЕГУЛЯРИЗАЦИИ
В работе исследуется алгоритм наискорейшего
координатного спуска. Для определения номера останова
используется специальная модификация функции
перекрестной значимости.
1 i  2
 E y
U i   N 2
, n  0,1,2,...., Данный выбор
1 i 
  Sp  E    
  (12) номера
N останова не
E n1   I  n  B  BT   E n
применим на
практике
E 0  I , если u 0  0
Разработан метод учета стабилизирующего функционала -
переход от исходной СЛАУ к модифицированной.
Разработан прикладной алгоритм выбора номера
Рисунок 3 – вверху – относительная останова на основании принципа статистической
ошибка от номера итераций; невязки. (13)
k 
 y  c 2  min , c  1 c 2  m   m  n 
2 1
внизу – значения последовательности КВ
B u 2
Иванов А.А., Регулярные итерационно-проекционные алгоритмы в задачах обработки сигналов 7/10

8. НОМЕР ОСТАНОВА В ЗАДАЧЕ ИДЕНТИФИКАЦИИ ИСКАЖАЮЩЕЙ СИСТЕМЫ
Рисунок 4 – Bсследованные в работе виды импульсных характеристик
X T
 X    D   h  X T  y (14) B T
 B    I   u  BT  y (15)
L  h  u (16)
Истинная ИХ изображена
на каждом графике
пунктиром.
Восстановленные ИХ (в, г)
для 1% и 7% отношения
сигнал/шум;
Нормальные
псевдорешения (а, б) для
тех же параметров шума
соответственно.
[2] А. И. Жданов, А. А. Иванов, Оценка оптимального номера останова итераций при восстановлении импульсной 8/10
характеристики искажающей системы, Компьютерная оптика, Т. 34, N3, С. 367-373

9. НОМЕР ОСТАНОВА КАК ПАРАМЕТР БИФУРКАЦИИ И МЕТОД L-КРИВОЙ
Итерационный аналог метода L-кривой
x   ~ xk , y   ~ yk , (19)

K k   1  k  
2 3 2
  xk  xk 1 
1
kstop  arg max K  k  (20)
k
z  xk , xk 1   xk  xk 1 (21)
Рисунок 5 – Демонстрация точки бифуркации итерационного процесса
Данный факт обнаружен для алгоритма
Наблюдая за последовательностью z, можно
наискорейшего спуска и не имеет
выделить устойчивый и неустойчивый этапы
места в других алгоритма
сходимости.
рассмотренных в работе
x    u , y    A  u  f ,
2 2
(16)
3 2
 dy d x d y dx    dy   dx  
2 2 1
 dx 
  1   
2 2
2 3 2
K                (17)
 d d 2 d 2 d    d   d  
   d 
 L  arg max K   (18)
 9/10

10. ЗАКЛЮЧЕНИЕ
В ходе выполнения выпускной квалификационной работы предложны два
алгоритма обладающие свойствами регуляризации.
1. Алгоритм наискорейшего спуска в котором номер останова
является бифуркационным параметром алгоритма.
2. Регуляризованная версия алгоритма Качмажа, в котором
регуляризация осуществляется с использованием введения
параметра регуляризации.
В работе так же предлагается оптимальная модификация алгоритма
Качмажа для которой удается оценить геометрическую скорость
сходимости.
Предлагается итерационный аналог метода выбора параметра
регуляризации на основе принципа статистической невязки.
Предлагается итерационный аналог метода выбора параметра
регуляризации на основе L-кривой.
Предлагается рассматривать номер останова итераций, как
бифуркационный параметр алгоритма.
Материалы работы отражены в трех статьях в научных журналах списка ВАК, а так же в 13
тезисах научных конференций.
Иванов А.А., Регулярные итерационно-проекционные алгоритмы в задачах обработки сигналов 10/10