анализ данных тема 1

Т Е М А 1 . П Р Е Д В А Р И Т Е Л Ь Н Ы Й А Н А Л И З Д А Н Н Ы Х
КОЛИЧЕСТВЕННЫЕ МЕТОДЫ
АНАЛИЗА ДАННЫХ

ПРЕПОДАВАТЕЛЬ
Колчинская Елизавета Эдуардовна
Департамент государственного администрирования
НИУ ВШЭ
ekolchinskaya@hse.ru
ekolch.ucoz.ru
22

ЛИТЕРАТУРА
• Базовый учебник
• Анализ данных: учебник для академического
бакалавриата / под ред. В. С. Мхитаряна. — М.:
Издательство Юрайт, 2016. — 490 с. — Серия :
Бакалавр. Академический курс. Глава 1.
© Е. Колчинская, 2017, ekolch.ucoz.ru

1.1. КЛАССИФИКАЦИЯ ДАННЫХ

ПОД ДАННЫМИ В СТАТИСТИКЕ
ПОНИМАЮТ
• Совокупность сведений, зафиксированных на
определенном носителе в форме, пригодной
для их постоянного хранения, передачи и
обработки

КЛАССИФИКАЦИЯ СТАТИСТИЧЕСКИХ
ДАННЫХ ПО РАЗЛИЧНЫМ КРИТЕРИЯМ
Источник: Анализ данных: учебник для академического бакалавриата / под ред. В. С. Мхитаряна. — М.:
Издательство Юрайт, 2016. — 490 с. — Серия : Бакалавр. Академический курс. Глава 1.

1.1.1 КЛАССИФИКАЦИЯ ДАННЫХ ПО
ЧИСЛУ ПЕРЕМЕННЫХ

ПО ЧИСЛУ ПЕРЕМЕННЫХ
МОГУТ БЫТЬ
Одномерные данные
Двух- и многомерные
данные

КЛАССИФИКАЦИЯ ДАННЫХ ПО ЧИСЛУ
ПЕРЕМЕННЫХ – ПРИМЕР ОДНОМЕРНЫХ
ДАННЫХ
• ОБРАЗОВАТЕЛЬНЫЕ
ОРГАНИЗАЦИИ ВЫСШЕГО
ОБРАЗОВАНИЯ – всего
• Источник: Росстат
http://www.gks.ru/free_doc/new
_site/population/obraz/vpo.doc

ПЕРЕМЕННЫХ – ПРИМЕР ОДНОМЕРНЫХ ДАННЫХ
Источник: Росстат, URL: http://www.gks.ru/free_doc/new_site/population/demo/map3.jpg

ПЕРЕМЕННЫХ – ПРИМЕР ОДНОМЕРНЫХ ДАННЫХ

КЛАССИФИКАЦИЯ ДАННЫХ ПО
ЧИСЛУ ПЕРЕМЕННЫХ – ПРИМЕР
ДВУХМЕРНЫХ ДАННЫХ

ТРЁХМЕРНЫХ ДАННЫХ

ПЕРЕМЕННЫХ – ПРИМЕР ТРЁХМЕРНЫХ ДАННЫХ
РАСПРЕДЕЛЕНИЕ РЕГИОНОВ С РАЗЛИЧНОЙ ДИНАМИКОЙ ЗНАЧЕНИЙ
ОБОБЩАЮЩЕГО ПОКАЗАТЕЛЯ РАБОТЫ ПРОМЫШЛЕННОСТИ ПО ШКАЛЕ
ИНВЕСТИЦИОННОЙ ПРИВЛЕКАТЕЛЬНОСТИ ЗА 2013 Г.
Источник: Колчинская Е.Э. Инвестиционная привлекательность региона и динамика развития промышленности в нем //
Экономический анализ – теория и практика. 2016. № 3 (450). С. 121-132.

1.1.2. КЛАССИФИКАЦИЯ ДАННЫХ ПО НАЛИЧИЮ
ИЛИ ОТСУТСТВИЮ УПОРЯДОЧЕНИЯ ВО ВРЕМЕНИ

ПО НАЛИЧИЮ ИЛИ ОТСУТСТВИЮ
УПОРЯДОЧЕНИЯ ВО ВРЕМЕНИ
ДАННЫЕ ДЕЛЯТСЯ НА
Данные
Пространственные Временные
моментные
интервальные
Пространственно-
временные (панельные)
моментные
интервальные

ПРОСТРАНСТВЕННЫЕ ДАННЫЕ
значения переменных, относящихся к
однотипным объектам в один и тот же
фиксированный момент времени

ПРИМЕР ПРОСТРАНСТВЕННЫХ
ДАННЫХ

ПРИМЕР ПРОСТРАНСТВЕННЫХ ДАННЫХ
Вид экономической деятельности %
СЕЛЬСКОЕ ХОЗЯЙСТВО, ОХОТА И ПРЕДОСТАВЛЕНИЕ
УСЛУГ В ЭТИХ ОБЛАСТЯХ 15,8
ЛЕСНОЕ ХОЗЯЙСТВО,ЛЕСОЗАГОТОВКИ И
ПРЕДОСТАВЛЕНИЕ УСЛУГ В ЭТОЙ ОБЛАСТИ 0,6
РЫБОЛОВСТВО, РЫБОВОДСТВО И ПРЕДОСТАВЛЕНИЕ
УСЛУГ В ЭТИХ ОБЛАСТЯХ 21,9
ДОБЫЧА КАМЕННОГО УГЛЯ, БУРОГО УГЛЯ И ТОРФА 39,1
ДОБЫЧА СЫРОЙ НЕФТИ И ПРИРОДНОГО ГАЗА;
ПРЕДОСТАВЛЕНИЕ УСЛУГ В ЭТИХ ОБЛАСТЯХ 7,0
ДОБЫЧА УРАНОВОЙ И ТОРИЕВОЙ РУД 4,6
ДОБЫЧА МЕТАЛЛИЧЕСКИХ РУД 15,6
ДОБЫЧА ПРОЧИХ ПОЛЕЗНЫХ ИСКОПАЕМЫХ 10,7
ПРОИЗВОДСТВО ПИЩЕВЫХ ПРОДУКТОВ, ВКЛЮЧАЯ
НАПИТКИ 22,2
Доля инвестиций, направленных на реконструкцию и
модернизацию, в общем объеме инвестиций в основной капитал
по видам экономической деятельности в РФ
Источник: Росстат, URL:http://www.gks.ru/wps/wcm/connect/rosstat_main/rosstat/ru/statistics/economydevelopment/#

КАКОЙ ЭТО ТИП ДАННЫХ ПО
РАССМАТРИВАЕМОМУ ПРИЗНАКУ?
РАСПРЕДЕЛЕНИЕ РЕГИОНОВ С РАЗЛИЧНОЙ ДИНАМИКОЙ ЗНАЧЕНИЙ
ОБОБЩАЮЩЕГО ПОКАЗАТЕЛЯ РАБОТЫ ПРОМЫШЛЕННОСТИ ПО ШКАЛЕ
ИНВЕСТИЦИОННОЙ ПРИВЛЕКАТЕЛЬНОСТИ ЗА 2013 Г.
Колчинская Е.Э. Инвестиционная привлекательность региона и динамика развития промышленности в нем // Экономический
анализ – теория и практика. 2016. № 3 (450). С. 121-132.

ВРЕМЕННЫЕ ДАННЫЕ
• представляют собой
измерения(наблюдения) признака,
сделанные в определенные
моменты времени.
Моментные
• характеризуют объект наблюдения
за некоторый интервал времени.Интервальные

ПРИМЕР ВРЕМЕННЫХ МОМЕНТНЫХ
ДАННЫХ
Источник: Росстат, URL: http://www.gks.ru/free_doc/new_site/finans/graf_zadol.htm

ПРИМЕР ВРЕМЕННЫХ
ИНТЕРВАЛЬНЫХ ДАННЫХ
Источник: Росстат, URL: http://www.gks.ru/free_doc/new_site/finans/graf_saldo.htm

ПРИМЕР ПРОСТРАНСТВЕННО-
ВРЕМЕННЫХ ДАННЫХ
Источник: Регионы России. Социально-экономические показатели. Стат. сб. / Росстат. М., 2016.

1.1.3. КЛАССИФИКАЦИЯ ДАННЫХ ПО ТИПУ
ШКАЛЫ ИЗМЕРЕНИЯ ПРИЗНАКА

Данные
Числовые
(количественные)
Непрерывные
Дискретные
Категориальные
(качественные)
Номинальные
Порядковые
ПО ТИПУ ШКАЛЫ ИЗМЕРЕНИЯ
ПРИЗНАКА

ИНТЕРВАЛЬНАЯ
(КОЛИЧЕСТВЕННАЯ) ШКАЛА
Начало
отсчёта
Масштаб Пример
Шкала
отношений
нулевое календарное
время,
температура
Шкала
разностей
произвольное единичный длинна чего-либо
Абсолютная
шкала
нулевое единичный подсчитывается
число дефектов в
изделии, количество
единиц
произведенной
продукции

КОЛИЧЕСТВЕННЫЕ ДИСКРЕТНЫЕ
ДАННЫЕ
Всегда дискретные данные о
неделимых объектах – людях,
животных, машинах и т.п.
Статистические данные могут быть
дискретными в силу невозможности
получения бесконечного множества
значений

КАТЕГОРИАЛЬНЫЕ
(КАЧЕСТВЕННЫЕ) ДАННЫЕ
Шкала наименований (или номинальная,
классификационная шкала) – то, что
нельзя упорядочить, например
•Географические объекты: города, регионы, реки,
горы и т.п.
•Профессии людей
Порядковые – можно упорядочить
•рейтинги

1.1.4. КЛАССИФИКАЦИЯ ДАННЫХ ПО СПОСОБУ
ИХ ПОЛУЧЕНИЯ

ПО СПОСОБУ ПОЛУЧЕНИЯ ДАННЫЕ
МОГУТ БЫТЬ
Первичные – информация
собиралась для данного
исследования
Вторичные – используется
информация, собранная
ранее для других целей

1.2. А НА ЛИЗ ОДНОМ ЕРНЫХ КА ТЕГОРИА ЛЬНЫХ ДА ННЫХ.
НОМИНАЛЬНЫЕ ДАННЫЕ

По другому называется
«одновходовая таблица»
Количество объектов в
классах

ОДИН ИЗ ВАРИАНТОВ ГРАФИЧЕСКОЙ
ИЛЛЮСТРАЦИИ НОМИНАЛЬНЫХ ДАННЫХ

ДРУГОЙ ВАРИАНТ ГРАФИЧЕСКОЙ
ИЛЛЮСТРАЦИИ НОМИНАЛЬНЫХ ДАННЫХ –
КРУГОВАЯ ДИАГРАММА

ХАРАКТЕРИСТИКА
КАТЕГОРИАЛЬНЫХ ПЕРЕМЕННЫХ
Мода — наиболее часто
встречающееся значение переменной
Унимодальное
(одномодальное)
распределение
Бимодальное
Полимодальное

ЧТО ЯВЛЯЕТСЯ МОДОЙ В ДАННОМ
ПРИМЕРЕ?

ЧТО ЯВЛЯЕТСЯ МОДОЙ В ДАННОМ ПРИМЕРЕ (ПО
КОЛИЧЕСТВУ ШТАТНЫХ ЕДИНИЦ)?

ДИАГРАММА ПАРЕТО
изображает частоты встречаемости признака в
убывающем порядке, на которую накладывается
точечно-линейный график из накопленных частот
(или процентов, долей),

ПРАВИЛО 80-20

1.2. А НА ЛИЗ ОДНОМ ЕРНЫХ КА ТЕГОРИА ЛЬНЫХ ДА ННЫХ.
ПОРЯДКОВЫ Е ДАННЫЕ

ДЛЯ ПОРЯДКОВЫХ ДАННЫХ МОЖНО
ВЫЧИСЛИТЬ
Частоту
Моду
Ранг объекта

ТРАНСФОРМАЦИЯ ДАННЫХ
неудовлетворительно
хорошо
удовлетворительно
0
6
5
4
3
2
1
7
5-балльная шкала
отлично
10-балльная шкала
10
9
8
количественные переменные можно превратить в категориальные, т.е. их
категоризовать (категорировать). Такие переменные часто называют
категоризованными

ДИХОТОМИЧЕСКИЕ ИЛИ БИНАРНЫЕ
ПЕРЕМЕННЫЕ
•Нет
свойства0
•Есть
свойство1

1 . 3 . А Н А Л И З О Д Н О М Е Р Н Ы Х К О Л И Ч Е С Т В Е Н Н Ы Х Д А Н Н Ы Х .
Г Р У П П И Р О В К А Д И С К Р Е Т Н Ы Х К О Л И Ч Е С Т В Е Н Н Ы Х Д А Н Н Ы Х

ПРЕДВАРИТЕЛЬНАЯ ГРУППИРОВКА
ДАННЫХ
Вариационный ряд — значения n независимых наблюдений х1, х2, хn,
расположенные в порядке возрастания (неубывания) значений:
Если число наблюдений (n) достаточно велико (по крайней мере n
> 50), то их предварительно ранжируют и подвергают группировке.
Имеются данные n наблюдений х1, х2,…, хn, каждое из которых
характеризует один количественный признак X.

НЕКОТОРЫЕ ОПРЕДЕЛЕНИЯ
• i-й порядковой статистикой
элемент x(i)
называется
• наименьшее значение x(1) = min {x(i)}
• наибольшее значение x(n) = max {x(i)}.
главные
порядковые
статистики
Размах
вариационного
ряда
Обозначение индекса в круглых скобках (i)
является общепринятым символом обозначения
ранжированности (упорядоченности в порядке
неубывания) наблюдений.© Е. Колчинская, 2017, ekolch.ucoz.ru

СГРУППИРОВАННЫЙ ДИСКРЕТНЫЙ
ВАРИАЦИОННЫЙ РЯД
Если
наблюдений
много, данные
можно
сгруппировать
сгруппированный
вариационный
ряд
может быть
дальнейшая
группировка и
превращение в
интервальный ряд

СГРУППИРОВАННЫЙ ДИСКРЕТНЫЙ
ВАРИАЦИОННЫЙ РЯД – СПОСОБЫ
ПРЕДСТАВЛЕНИЯ
Полигон Гистограмма

П О С Т Р О Е Н И Е И Н Т Е Р В А Л Ь Н О Г О В А Р И А Ц И О Н Н О Г О Р Я Д А Д Л Я
Н Е П Р Е Р Ы В Н Ы Х К О Л И Ч Е С Т В Е Н Н Ы Х Д А Н Н Ы Х

СГРУППИРОВАННЫЙ
ИНТЕРВАЛЬНЫЙ ВАРИАЦИОННЫЙ
РЯД

ПОЧЕМУ АВТОРЫ НАЗЫВАЮТ ЭТИ
ГИСТОГРАММЫ НЕВЕРНО
ПОСТРОЕННЫМИ?

ПОЧЕМУ АВТОРЫ НАЗЫВАЮТ ЭТИ ГИСТОГРАММЫ
НЕВЕРНО ПОСТРОЕННЫМИ?

ОПРЕДЕЛЕНИЕ ПРЕДПОЧТИТЕЛЬНОЙ
ШИРИНЫ ИНТЕРВАЛОВ – ФОРМУЛА
СТЕРДЖЕСА
Где R – размах значений признака;
h – ширина интервала
Число интервалов k для небольших объемов данных
обычно берут следующим:
• 5—6 при n ≤ 50;
• 6-8 при 50 < n ≤ 100;
• 8-10 при n > 100.
≤
Считается, что формула Стерджеса позволяет строить
удовлетворительные гистограммы при числе измерений менее 200

ЭТАПЫ ПОСТРОЕНИЯ ИНТЕРВАЛЬНОГО
ВАРИАЦИОННОГО РЯДА РАСПРЕДЕЛЕНИЯ ДЛЯ
НЕПРЕРЫВНЫХ КОЛИЧЕСТВЕННЫХ ДАННЫХ
Этап 1. Определение среди имеющихся наблюдений
минимального (хmin) и максимального (хmax) значений
признака
Этап 2. Определение размаха варьирования признака R
Этап 3. Определение ширины интервала, например, с
помощью формулы Стерджеса (см. предыдущий
слайд)
Этап 4. Определение граничных значений интервалов (аi;
вi). При этом принят такой подход: а1= хmin – h/2
Этап 5. Значения признака разносятся по
соответствующим интервалам . При этом принят такой
подход: аi ≤ хi < вi

О С Н О В Н Ы Е Ч И С Л О В Ы Е Х А Р А К Т Е Р И С Т И К И О Д Н О М Е Р Н Ы Х К О Л И Ч Е С Т В Е Н Н Ы Х
Д А Н Н Ы Х

СРЕДНИЕ ВЕЛИЧИНЫ
средняя арифметическая
средняя взвешенная
средняя геометрическая

ФОРМУЛЫ СРЕДНЕЙ
АРИФМЕТИЧЕСКОЙ

ФОРМУЛЫ СРЕДНЕЙ
ГАРМОНИЧЕСКОЙ

СРЕДНЯЯ ВЕЛИЧИНА
• обозначает центр группирования данных

СВОЙСТВА СРЕДНЕЙ
АРИФМЕТИЧЕСКОЙ

МЕДИАНА (MEDIAN)
Значение признака, приходящего на середину
вариационного (ранжированного) ряда
наблюдений.
Для несгруппированных данных:
Есть хn ранжированных наблюдений.
Если n=5, чему равна медиана? А если n=6?

ДЛЯ ИНТЕРВАЛЬНОГО ВАРИАЦИОННОГО
РЯДА МЕДИАННЫМ НАЗЫВАЮТ
• первый интервал, для которого накопленная частота
впервые превышает половину объема наблюдений (или
равна ей). Медиана для интервального вариационного
ряда вычисляется по формуле
• Свойство медианы: сумма абсолютных отклонений
признака от Me меньше, чем от любой другой величины:

ДАН ИНТЕРВАЛЬНЫЙ ВАРИАЦИОННЫЙ ОБЪЕМ
ПРОИЗВОДСТВА ПРЕДПРИЯТИЙ ЛЕГКОЙ
ПРОМЫШЛЕННОСТИ. ВЫЧИСЛИТЕ МЕДИАНУ

МОДА (MODE) (НАИБОЛЕЕ ЧАСТО
ВСТРЕЧАЕМОЕ ЗНАЧЕНИЕ ПРИЗНАКА)
для интервального сгруппированного вариационного
одномодального ряда равна

ДАН ИНТЕРВАЛЬНЫЙ ВАРИАЦИОННЫЙ ОБЪЕМ
ПРОИЗВОДСТВА ПРЕДПРИЯТИЙ ЛЕГКОЙ
ПРОМЫШЛЕННОСТИ. ВЫЧИСЛИТЕ МОДУ

ПОКАЗАТЕЛИ ВАРИАЦИИ И
МОМЕНТЫ РАСПРЕДЕЛЕНИЯ
• Показатели вариации характеризуют величину
разброса наблюдаемых значений х1, х2, …,хn
относительно среднего значения.

ДИСПЕРСИЯ (VARIATION)
•

СВОЙСТВА ДИСПЕРСИИ
1. Дисперсия постоянной величины
равна нулю
2. Если ко всем хi прибавить с, где с
= const, то дисперсия не изменится.
3. Если все хi умножить на с, где с =
const, то дисперсия увеличится в с2 раз.

СРЕДНЕЕ КВАДРАТИЧЕСКОЕ
ОТКЛОНЕНИЕ И РАЗМАХ ВАРИАЦИИ
• Среднее квадратическое (стандартное)
отклонение (standarddemotion) S
• Размах вариации

КВАРТИЛИ И
ИНТЕРКВАРТИЛЬНЫЙ РАЗМАХ
Нижний
квартильВерхний
квартиль
Второй
квартиль
(медиана)
Интерквартильный
размах

КОЭФФИЦИЕНТ ВАРИАЦИИ
(COEFFICIENT OF VARIATION)
•

МОМЕНТЫ РАСПРЕДЕЛЕНИЯ
центральный момент к-го порядка
центральный момент 2-го порядка
Центральные моменты третьего и четвертого порядков
обычно используются не сами по себе, а для расчета
коэффициентов асимметрии и эксцесса.

КОЭФФИЦИЕНТ АСИММЕТРИИ
(SKEWNESS)
• характеризует степень асимметричности,
скошенности распределения данных
Какой знак м.б. у этого
числа?
А у этого числа? Что из
них меньше по модулю?
при Ас < О -
левосторонняя
асимметрия
при Ас > О -
правосторонняя
асимметрия
при Ас=0 — идеально
симметричное

КОЭФФИЦИЕНТ ЭКСЦЕССА
(KURTOSIS)
• показатель, служащий мерой крутости
(плосковершинности или островершинности)
графика вариационного ряда в сравнении с
кривой нормального распределения

КАРТИНКИ СТЬЮДЕНТА (У. ГОССЕТА), ИЛЛЮСТРИРУЮЩИЕ
РАЗНИЦУ ПЛОСКОВСРШИННЫХ (СЛЕВА)
И ОСТРОВЕРШИННЫХ (СПРАВА) РАСПРЕДЕЛЕНИЙ

ДИАГРАММЫ «ЯЩИК С УСАМИ»
центральная точка
показывает центр
группирования данных,
центральную
тенденцию
«усы» (whiskers)
характеризуют размах
наблюдении
«ящик» (box) отражает
разброс вокруг центра

ДИАГРАММА «ЯЩИК С УСАМИ»
ВИДА «МЕДИАНА — ИНТЕРКВАРТИЛЬНЫЙ РАЗМАХ — РАЗМАХ»
ДЛЯ ДАННЫХ ПО КОЛИЧЕСТВУ АВТОМОБИЛЕЙ В РЕГИОНЕ
ПО РЕГИОНАМ РОССИИ

Н О Р М И Р О В А Н И Е ( С Т А Н Д А Р Т И З А Ц И Я ) И У Н И Ф И К А Ц И Я Д А Н Н Ы Х

НОРМИРОВАННЫЕ
(СТАНДАРТИЗОВАННЫЕ) ДАННЫЕ

ДРУГОЙ ВАРИАНТ
СТАНДАРТИЗАЦИИ
=

УНИФИКАЦИЯ ДАННЫХ
для критериев, подлежащих
максимизации
для критериев, подлежащих
минимизации
для критериев,
подлежащих
оптимизации

1.4. ПРЕДВА РИТЕЛЬНЫЙ А НА ЛИЗ ВРЕМЕННЫХ ДА ННЫХ

ВРЕМЕННЫМ РЯДОМ (РЯДОМ
ДИНАМИКИ) (TIME SERIES) НАЗЫВАЮТ
последовательность значений , упорядоченную в
порядке возрастания временного признака
Отдельные наблюдения временного ряда
называются уровнями этого ряда

ОДНО ПРАКТИЧЕСКОЕ ОТЛИЧИЕ
МОМЕНТНОГО ВРЕМЕННОГО РЯДА ОТ
ИНТЕРВАЛЬНОГО
Интервальный временной ряд Моментный временной ряд
Имеет смысл суммирование его
уровней
Не имеет смысл суммирование его
уровней определенный смысл
имеет расчет разностей уровней
или вычисление средних

ОСНОВНЫЕ ПОКАЗАТЕЛИ
ДИНАМИКИ ВРЕМЕННЫХ ДАННЫХ

ВРЕМЕННОЙ РЯД, ПОДХОДЯЩИЙ ДЛЯ
ПРОГНОЗИРОВАНИЯ С ПОМОЩЬЮ
СРЕДНЕГО АБСОЛЮТНОГО ПРИРОСТА
Прогноз на один шаг
(период) вперёд
Прогноз на τ шагов
вперёд

ВРЕМЕННОЙ РЯД, ПОДХОДЯЩИЙ ДЛЯ
ПРОГНОЗИРОВАНИЯ С ПОМОЩЬЮ
СРЕДНЕГО ТЕМНА РОСТА

анализ данных тема 1

Recommended

Recommended

More Related Content

Similar to анализ данных тема 1

Similar to анализ данных тема 1 (10)

More from kolch

More from kolch (20)

анализ данных тема 1