1. Лекция №15
Факторный анализ
1

2. План лекции
● Основные понятия факторного анализа
● Метод главных компонент
● Вращение факторов
Цель лекции — получить представление о
факторном анализе, его основных методах
2

3. Факторный анализ
● Много атрибутов(признаков)
● Но все ли нужны?
● Рассмотрим наблюдаемые переменные как
результат воздействия неких
ненаблюдаемых факторов
● Требуется эти факторы выявить
3

4. Варианты
● 1 переменная — один фактор
● 1 переменная — комбинация нескольких
факторов
● n переменных — один фактор
4

5. Задача факторного
анализа
● Выявление исходной факторной структуры
из наблюдаемой структуры ковариации
переменных, несмотря на случайные ошибки
ковариации
● Облегчение интерпретации исходной
факторной структуры
5

6. Словарик
● Факторная нагрузка
● Факторный вес
6

7. Процесс факторного
анализа
● Подготовка ковариационной
(корреляционной) матрицы
● Выделение факторов (первоначальных
ортогональных векторов)
● Их вращение с целью облегчения
интерпретации
7

8. Подготовка
● Математическое ожидание
● Ковариация
● Дисперсия
● Корреляция
8

9. Ковариационная матрица
● От матрицы объектов
● К матрице ковариации атрибутов (гораздо
меньшего размера)
9

10. Поиск главных компонент
● Стремимся найти оси, вдоль которых
количество информации максимально
10

11. Как найти главные
компоненты?
● Собственные числа и собственные вектора
ковариационной матрицы
● Представляют собой дисперсию оси, вдоль
которых количество информации
максимально
● Первое — первой оси, второе — второй
(вдоль нее количество оставшейся от первой
информации максимально) и т.п.
11

12. Как найти собственные
числа и вектора?
● Традиционный метод (через матрицу
ковариации, по определению)
● Быстрый итерационный метод (NIPALS)
12

13. Есть также другие методы
● Метод сингулярных компонент
● Метод максимального правдоподобия
● Метод альфа-факторного анализа
● Но мы их рассматривать не будем ;-)
13

14. Вращение
● Способ превращения факторов в более
легко интерпретируемые
● Переход от ортогональной первичной
факторной структуре к (не обязательно
ортогональной) вторичной так, чтобы как
можно больше объектов лежало на осях
● Тогда легче объяснить и интерпретировать
эту структуру
14

15. Простота структуры
● Факторная сложность переменной — число
факторов, на нее влияющих
● Наипростейшая — 1
● Эмпирически — для каждого фактора по
крайней мере 3 переменных имеют
значительную нагрузку
15

16. Виды вращения
● Графическое
● Аналитическое
● Матрично-приближенное
16

17. Графическое вращение
17

18. Аналитическое вращение
● Без априорного знания о структуре
факторной матрицы
● Исходя их маткритериев простоты
● Бывает ортогональное и косоугольное
– Ортогональное четкое
– Косоугольное — проще структура, более
характерные факторы, но может быть
корреляция между ними
18

19. Математическое понятие
простой структуры
● R — число первичных факторов
● V — матрица нагрузок вторичных факторов
– В каждой строке V — 1 ноль
– В каждом столбце — R нулей
– В любой паре столбцов — в одном нули в
тех позициях, где у другого не нули
– (факторов>4) В любой паре есть нули в
строке
– В любой паре как можно меньше больших
нагрузок в одних и тех же строках 19

20. Алгоритм вращения
● Берем пару факторов(столбцов)
● Максимизируем критерии для них(ищем
такое их вращение, что критерии
максимален)
● Заменяем пару факторов на повернутые
● Переходим к другой паре
● И так пока критерий для всей матрицы не
перестанет расти
20

21. Что такое вращение
аналитически
● Берем два фактора
● Это вектора
● Чтобы их повернуть, надо их домножить на
матрицу 2х2
21

22. Критерии вращения
● Квартимакс
● Варимакс
● Квартимин
● Коваримин
● Облимин
● И т.д.
22