Лекція Євгена Артамонова на літній школі з Інтернету речей

1. Артамонов Євген
eart@ukr.net, fb.com/ebartamonov
21.06.2017

2. fb.com/ebartamonov
21.06.2017 2
*Хмарні технології (Сloud Technology) — це
парадигма, що передбачає віддалену
обробку та зберігання даних.

3. fb.com/ebartamonov
Характеристика Традиційна БД База Big Data
Обсяг інформації 1 ГБ (109) – 100 ТБ (1014) > 1ПБ (1015)
Метод збереження Централізований Децентралізований
Структурованість даних Структурована
Напівструктурована/
неструктурована
Модель збереження Вертикальна Горизонтальна
Взаємозв’язок Сильний Слабкий
21.06.2017 3

4. fb.com/ebartamonov
21.06.2017 4

5. fb.com/ebartamonov
21.06.2017 5

6. fb.com/ebartamonov
21.06.2017 6
*Зміст бази
*Структурування та нормалізація
*Запити для обробки

7. fb.com/ebartamonov
21.06.2017 7
*Перша нормальна форма (1НФ, 1NF):
*Кожна таблиця повинна мати основний ключ:
мінімальний набір колонок, які ідентифікують
запис.
*Уникнення повторень груп (категорії даних, що
можуть зустрічатись різну кількість разів в
різних записах) правильно визначаючи
неключові атрибути.
*Атомарність: кожен атрибут повинен мати лише
одне значення, а не множину значень.

8. fb.com/ebartamonov
21.06.2017 8
Таблица "Товары"
ID Наименование Стоимость Склад
1 Холодильник "Морозка" 5000 Основной
2 Микроволновка "ЭМИ" 4000 Основной
3 Фен "Вихрь" 1000 Основной
4 Фен "Вихрь" 1000 Производственный
5 Телевизор "Радуга" 4500 Основной
Таблица "Товары"
ID Наименование Стоимость Склад
1
Холодильник "Морозка"
Микроволновка "ЭМИ" 9000 Основной
2 Фен "Вихрь" 1000
Основной
Производственный
3 Телевизор "Радуга" 4 500 Основной

9. fb.com/ebartamonov
21.06.2017 9
*Друга нормальна форма (2НФ, 2NF):
*Схема бази даних повинна відповідати вимогам
першої нормальної форми.
*Дані, що повторно з'являються в декількох
рядках виносяться в окремі таблиці.

10. fb.com/ebartamonov
21.06.2017 10
Таблица "Товары"
ID Наименование Стоимость Склад
1 Холодильник "Морозка" 5000 2
2 Микроволновка "ЭМИ" 4000 2
3 Фен "Вихрь" 1000 2
4 Фен "Вихрь" 1000 1
5 Телевизор "Радуга" 4500 2
Таблица "Склады"
ID Наименование
1 Производственный
2 Основной
Кольцова, 14 Ж, оф.197
Б.Васильковская, 93, оф.1
Адрес

11. fb.com/ebartamonov
21.06.2017 11
*Третя нормальна форма (3НФ, 3NF):
*Схема бази даних повинна відповідати всім
вимогам другої нормальної форми.
*Будь-яке поле, що залежить від основного
ключа та від будь-якого іншого поля, має
виноситись в окрему таблицю.

12. fb.com/ebartamonov
21.06.2017 12
Таблица "Товары"
ID Наименование Стоимость Склад
1 Холодильник "Морозка" 5000 2
2 Микроволновка "ЭМИ" 4000 2
3 Фен "Вихрь" 1000 2
4 Фен "Вихрь" 1000 1
5 Телевизор "Радуга" 4500 2
Таблица "Склады"
ID Наименование Индекс
1 Производственный 03184
2 Основной 03085
Таблица "Индексы"
Индекс Город
03184 1
03085 1
Таблица "Города"
ID Город
1 Киев
2 Бровары
Таблица "Товары"
ID Наименование Стоимость Склад
1 Холодильник "Морозка" 5000 2
2 Микроволновка "ЭМИ" 4000 2
3 Фен "Вихрь" 1000 2
4 Фен "Вихрь" 1000 1
5 Телевизор "Радуга" 4500 2
Таблица "Склады"
ID Наименование Город Индекс
1 Производственный Киев 03184
2 Основной Киев 03085

13. fb.com/ebartamonov
21.06.2017 13

14. fb.com/ebartamonov
21.06.2017 14
*Побудуйте 3НФ для
наступного
переліку даних:
Найменування
№ факультету
Назва факультету
Напрямок навчання
№ реєстрації студента (абітурієнта)
Код студента
Дата начала навчання
Дата закінчення навчання
Фамілія студента
Ім’я студента
По-батькові студента
Назва спеціальності на факультеті №
Назва спеціальності на факультеті №
Назва спеціальності на факультеті №
Назва спеціальності на факультеті №
Назва спеціальності на факультеті №
Запланована кількість прийому
студентів по факультетам
Фактична кількість студентів по
факультетам
Результати іспиту студентів

15. fb.com/ebartamonov
21.06.2017 15
*HSBC протидіє шахрайським операціям з пластиковими
картами (ефект > 10 млн. дол. США)
*VISA дозволяє в автоматичному режимі визначити
операції шахрайського характеру (2 млрд. дол. США
щорічно обмежень шахрайських операцій).
*Procter & Gamble проектують нові продукти і складають
глобальні маркетингові кампанії
*…
- Петре, прибори!
- 500!
- Що 500?
- А що прибори?

16. fb.com/ebartamonov
21.06.2017 16
*Роздрібна торгівля: Walgreens і Kroger
*Авіалінії: Southwest і Delta
*ЗМІ: Huffington Post і FT.com
*Логістика: UPS
*Телекомунікації: Sprint і Anonymous
*Финансовые услуги: AMEX і AIG
*Автомобильная отрасль: Tesla і Ford
*…

17. fb.com/ebartamonov
*Є база з розкладом занять:
*тиждень-пара-дисципліна-група-викладач
*5 хвилин для формування можливих
аналітичних запитів
21.06.2017 17

18. fb.com/ebartamonov
21.06.2017 18
*Варіант відповіді
Максимально завантажені аудиторії
43
44
45
46
47
48
49
50
51
52
5. 503
11. 419
5. 615
6. 101а
11. 327
11. 323
11. 115
С
пец
пол
5. 112
3. 302
11. 417
6. 101б
5. 203
11. 420
3. 212
8. 203
ауд
пар/2 тиж

19. fb.com/ebartamonov
21.06.2017 19
*Ще варіанти:
*завантаженість аудиторій
*завантаженість входів/виходів в корпуси
*завантаженість навчально-допоміжного
персоналу
*можливість вивільнення приміщень
*оптимізація переходів між аудиторіями
*…

20. fb.com/ebartamonov
21.06.2017 20
1. Кожну хвилину ми відсилаємо 204 млн електронних листів,
генеруємо близько 1,8 млн «лайків» у Facebook, відправляємо 278
тис. Твітів і завантажуємо близько 200 тис. Фотографій. Дана
заява має відношення до Інтернету речей (IoT) або Big Data?
2. 12 млн RFID-міток, які використовуються для збору даних і
відстеження руху об'єктів у фізичному світі, було продано в 2011
році. До 2021 року ця цифра, за оцінками фахівців, збільшиться до
209 млрд. Про що йде мова - про IoT або Big Data?
3. 3. Бум (IoT або Big Data?) Буде означати, що кількість пристроїв,
які підключаються до Всесвітньої павутини, зросте з сьогоднішніх
13 млрд до 50 млрд в 2020 році.
4. 4. Індустрія (IoT або Big Data?), Як очікується, виросте з $ 29 млрд
в 2014 році до $ 72,4 млрд в 2017 році.
Big Data
IoT
Big Data
IoT

21. fb.com/ebartamonov
21.06.2017 21
*Что такое облака и мифы о них в головах ИТшников:
мнения, стереотипы и жизнь в «облаках»
(https://habrahabr.ru/company/simnetworks/blog/308266/ )
*Big Data от А до Я.
(https://habrahabr.ru/company/dca/blog/267361/, …)
*Когда старый MapReduce лучше нового Tez
(https://habrahabr.ru/company/mailru/blog/312194/)
*Oracle - Реляционная модель – НОРМАЛИЗАЦИЯ
(http://www.firststeps.ru/sql/oracle/r.php?107 )
*20 интересных примеров влияния Big Data на крупные
компании