Томас Дэвенпорт и Ким Джин Хо "О чем говорят цифры"Vladimir Leonenko
Дорогие читатели!
Представляю вашему вниманию конспект книги Т. Дэвенпорта и К. Джин Хо "О чём говорят цифры. Как понимать и использовать данные".
Пока выбрал следующий формат: "схлопнуть" книгу до основных тезисов и мыслей. Надеюсь вам будет интересно.
В любом случае, мне важно получить вашу обратную связь - что положительную, что отрицательную.
G&T Power – сюжетная тестовая игра, которая измеряет четыре лидерских soft-компетенции:
1. системное мышление,
2. адаптивность,
3. способность достигать результат,
4. эффективное взаимодействие с другими людьми.
Томас Дэвенпорт и Ким Джин Хо "О чем говорят цифры"Vladimir Leonenko
Дорогие читатели!
Представляю вашему вниманию конспект книги Т. Дэвенпорта и К. Джин Хо "О чём говорят цифры. Как понимать и использовать данные".
Пока выбрал следующий формат: "схлопнуть" книгу до основных тезисов и мыслей. Надеюсь вам будет интересно.
В любом случае, мне важно получить вашу обратную связь - что положительную, что отрицательную.
G&T Power – сюжетная тестовая игра, которая измеряет четыре лидерских soft-компетенции:
1. системное мышление,
2. адаптивность,
3. способность достигать результат,
4. эффективное взаимодействие с другими людьми.
СУБД 2013 Лекция №10 "Нереляционное решение в области баз данных — NoSQL" Час...Technopark
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №10 "Нереляционное решение в области баз данных — NoSQL". Лектор - Станислав Ступников.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
СУБД 2013 Лекция №7 "Оптимизация запросов и индексирование"Technopark
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №7 "Оптимизация запросов и индексирование". Лектор - Павел Щербинин.
Вначале рассказывается об оптимизации доступа к данным, о декомпозиции соединения и состоянии запроса. Далее идёт большой блок, посвящённый оптимизатору запросов (изменение порядка соединения, применение алгебраических правил эквивалентности, оптимизации COUNT(), MIN(), MAX(), вычисление и свертка константных выражений, покрывающие индексы, оптимизация подзапросов, раннее завершение, сравнение по списку IN() и распространение равенства). Затем последовательно рассматриваются такие вещи, как соединение (JOIN) в MySQL, оптимизатор сортировки, коррелированные подзапросы, слияние и непоследовательный просмотр индексов, функции SELECT & UPDATE, COUNT(). После этого рассказывается об оптимизации запросов с помощью JOIN, GROUP BY, DISTINCT и LIMIT со смещением. В конце лекции даётся информация о кэшировании запросов, объединённых таблицах и секционировании.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №5 "Определение узких мест". Лектор - Павел Щербинин.
Вначале рассказывается о подсистемах хранения: MyISAM, InnoDB, Memory, о критериях выбора подсистем хранения, приводятся практические примеры. Затем обсуждается тема индексирования (B-tree, хеш-индексы) и EXPLAIN (столбцы id, table, possible_keys, key, key_len).
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Perfect-Result-Oriented Strategy of Thinking and Operating gets more and more popularity among directors and managers in tech, consulting, engineering, marketing, IT organizations.
Базовый инструментарий аналитика. Методы и техники используемые в инженерии т...Yury Buluy
Доклад, сделанный на конференции ReqLabs 2009, г. Москва. В докладе рассматривается подход к классификации методов и техник используемых в инженерии требований и описание ряда техник.
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Лекция 5. MapReduce в Hadoop (алгоритмы)Technopark
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Лекция 3. Распределённая файловая система HDFSTechnopark
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
Лекция 1. Введение в Big Data и MapReduceTechnopark
Техносфера Mail.ru Group, МГУ им. М.В. Ломоносова.
Курс "Методы распределенной обработки больших объемов данных в Hadoop"
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9rPxMIgPri9YnOpvyDAL9HD
СУБД 2013 Лекция №10 "Нереляционное решение в области баз данных — NoSQL"Technopark
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №10 "Нереляционное решение в области баз данных — NoSQL". Лектор - Станислав Ступников.
Вводная часть посвящена определению и истории развития концепции NoSQL. Даются характеристики, рассказывается о способах использования. Рассматриваются виды NoSQL БД, теоретические основы NoSQL, а в конце лекции обсуждаются недостатки NoSQL-решений, а также проводится сравнение разных NoSQL-решений.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №9 "Безопасность баз данных". Лектор - Павел Щербинин.
Открывается лекция рассказом о резервном копировании (о логических и физических резервных копиях, о выборе данных для копирования). Затем определяется терминология для обсуждения дальнейших вопросов. После этого рассматриваются основы учётных записей: таблицы доступа, привилегии, виды записей. Обсуждаются SQL-injection, список смежных вершин (Adjacency Set), вложенное множество (Nested Set), материализованный путь (Materialized Path) и комбинированный подход.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
СУБД 2013 Лекция №8 "Конфигурирование базы данных"Technopark
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №8 "Конфигурирование базы данных". Лектор - Павел Щербинин.
Сначала объясняются основы конфигурирования и общие принципы настройки. Далее рассказывается об области видимости, о настройке использования памяти, обсуждается размер блока ключей key_cache_block_size. Рассматривается устройство и использование кэша InnoDB, а также кэшей потоков и таблиц. Затем говорится об особенностях ввода/вывода в InnoDB. Далее рассказывается о табличном пространстве, оптимизации файловой сортировки, переменных состояния. Финальная часть лекции посвящена репликации: настройка, синхронизация, топология, планирование пропускной способности, администрирование и обслуживание, проблемы и их решения.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных".
Лекция №6 "Профилирование запросов. Сложноструктурированные SQL-запросы". Лектор - Павел Щербинин.
Лекция открывается рассказом о том, что такое профилирование запроса, каковы его этапы выполнения в MySQL. Рассказывается о том, как планировать запрос, как осуществляется протоколирование запросов, как собирается статистика. Объясняются основы индексирования, подробно обсуждаются стратегии индексирования для достижения высокой производительности: изоляция столбца, кластерные индексы (преимущества и недостатки), размещение данных в MyISAM и InnoDB, покрывающие индексы. Далее затрагивается тема нормализации и денормализации, а также таблиц счётчиков. В завершении рассказывается о версионировании схемы БД: о методах инкрементных изменений, идемпотентных изменений, уподобления структуры БД исходному коду.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
СУБД 2013 Лекция №4 "Расширенные возможности работы с базами данных. Триггеры...Technopark
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных". Лекция №4 "Расширенные возможности работы с базами данных. Триггеры и хранимые процедуры"
Лектор - Павел Щербинин.
Первая часть лекции посвящена хранимым процедурам (использование, примеры кода, аспекты безопасности при использовании хранимых процедур): LOOP, REPEAT, WHILE, HANDLER, курсоры, EXECUTE. Во второй части рассказывается о триггерах: BEFORE, AFTER, INSTEAD OF, о специальных таблицах inserted, updated и deleted, об использовании триггеров для поддержания целостности и бизнес-логики, о проблемах при использовании триггеров, приводятся примеры кода. В завершающей части лекции обсуждаются вопросы, связанные с транзакциями: концепция A.C.I.D.; уровни изоляции ANSI/ISO (SET TRANSACTION ISOLATION LEVEL); взаимовлияние транзакций и проблемы lost update, dirty read, non-repeatable read и phantom read; технология MVCC (контроль версионирования конкуренции); конкуренция; параллельность и согласованность.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
СУБД 2013 Лекция №3 "Выборка данных (продолжение). Транзакции"Technopark
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных". Лекция №3 "Выборка данных (продолжение). Транзакции"
Лектор - Павел Щербинин.
Лекция начинается с рассказа о добавлении данных и операторе INSERT, о модификации данных и операторе UPDATE, об удалении данных и операторе DELETE. Затем небольшая часть лекции посвящена пользовательским переменным. После этого даётся информация о подзапросах: SUBQUERIES, ROW SUBQUERIES, SUBQUERIES in FROM. Далее говорится об агрегации (UNION), о семействе функций JOIN и соединении таблиц, а в завершение лекции — о понятии VIEW (каковы преимущества, ограничения и особенности, алгоритмы использования и изменение).
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
СУБД 2013 Лекция №2 "Модификация данных. Выборка данных (начало)"Technopark
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных". Лекция №2 "Модификация данных. Выборка данных (начало)"
Лектор - Павел Щербинин.
Сначала завершается рассмотрение типа данных MySQL «Дата и время». Затем рассказывается о создании таблиц (CREATE TABLE): create_definition, column_definition, reference_defenition, обновление кортежа в родительском отношении. Далее обсуждается процедура изменения таблицы (ALTER TABLE), выборка данных и оператор SELECT, а также фильтрация (формирование групп, агрегаторы).
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
СУБД 2013 Лекция №1 "Введение и начало проектирования"Technopark
Технопарк Mail.ru Group, МГТУ им. Н.Э. Баумана. Курс "Базы данных". Лекция №1 "Введение и начало проектирования"
Лектор - Павел Щербинин.
В лекции обсуждаются значение и роли баз данных в IT, даются определения БД и СУБД. Затем рассказывается о реляционной модели данных, об основах реляционной алгебры. Далее говорится непосредственно о проектировании БД: каковы критерии оценки модели данных, особенности концептуального проектирования, этапы проектирования, что такое логическое проектирование. Остальная часть лекции посвящена типам данных MySQL: NULL, целые числа, числа с плавающей точкой, бинарные, строки, дата и время.
Видео лекции курса https://www.youtube.com/playlist?list=PLrCZzMib1e9obOz5K695ugYuiOOCBciEi
2. Контекст
ЖЦ Продукта
Стратегия
Продукта
Описание
Возмож-ти
Бизнес кейс
Рынок / Сегмент
Бизнес модель
Концепция продукта
Заинтересованные
стороны
Формулировка
проблемы
Возможности
ЖЦ Продукта
Стратегия
Продукта
Описание
Возмож-ти
Бизнес кейс
Рынок / Сегмент
Бизнес модель
Концепция продукта/Решения
Заинтересованные
стороны
Формулировка
проблемы
Возможности
Лекция №6. «Анализ и определение проблемы» 3
4. 5
«Правильная постановка задачи
даже важнее, чем ее решение»
Эйнштейн
Для нахождения приемлемого или оптимального решения задачи важно знать, в чем
она состоит. Как ни просто и прозрачно данное утверждение, чересчур многие
специалисты в науке управления игнорируют очевидное.
Миллионы долларов расходуются ежегодно на поиск элегантных и
глубокомысленных ответов на неверно поставленные вопросы».
К. Шеннон
Лекция №6. «Анализ и определение
5. Да это удовлетворяет моим требованиям,
но не решает мою Проблему
Что такое настоящий провал ?
Лекция №6. «Анализ и определение 6
6. Почему важен анализ проблемы ?
Для избежание проблемы “Да, …, Но ….”
“Да, {Это удовлетворяет требованиям},
но {это не решает мою проблему}.”
Решаемая проблема - это источник, и она направляет решение
Анализ проблемы вначале значительно выгоднее, чем потом …
Результаты анализа будут использованы в дальнейшем
Формулирование проблемы
Основное действующее лицо – заказчик:
“Мне необходимо …”
Формулирование требования
Основное действующее лицо – система:
“Система обеспечивает …”
Разработка требований
Лекция №6. «Анализ и определение 7
7. Покупателю нужна не дрель,
а отверстия
Покупателю нужны не отверстия,
а повесить полку
Покупателю нужно не повесить полку, а хранить
вещи
8
9. Какую проблему мы решаем?
Какая из идентифицированных причин имеет наибольший вклад?
То, что заказчик
называет
проблемой
Разработка требований
Лекция №6. «Анализ и определение 10
11. ДТР (current reality tree (CRT))
Это некая диаграмма, где наглядно показаны
причинно-следственные взаимосвязи, существующие
между корневой (ключевой) проблемой и
большинством нежелательных явлений (или всеми
нежелательными явлениями)
12Лекция №6. «Анализ и определение
12. Общий подход к построению
1. Определить нежелательные эффекты
2. Определяя ветки дерева вверх, дойти до
последствий
3. Определяя ветки дерева вниз, выявить корневую
причину всех бед и несчастий.
13Лекция №6. «Анализ и определение
13. Шаг 1. Начальный этап
На данном этапе осуществляем ревизию выделенных в
ходе интервью с проблем.
Цель ревизии – отобрать симптомы реальных
проблем, негативных эффектов
(НЭ) (или нежелательных явлений (НЯ)),
14Лекция №6. «Анализ и определение
14. Шаг 2. Построение начальной цепочки.
15
Связь явлений, понимаемая на интуитивном уровне,
должна быть представлена в форме логически непротиворечивой сети.
Для построения такой сети необходимо внести
необходимые дополнительные явления (эффекты),
предпосылки (гипотезы)
и связи между ними.
Лекция №6. «Анализ и определение
19. Force Field Analysis
Kurt Levin - американский социальный
психолог, автор концепции.
Force Field Diagram (Диаграмма силового
поля) - модель, построенная на идее, что
силы как способствуют, так и
сдерживают изменения.
Система находится в динамическом
«равновесии» при балансе сил.
Для проведения изменений, необходимо
чтобы сумма «движущих сил» (driving
forces), была больше суммы
«сдерживающих сил» (restraining forces)
Лекция №6. «Анализ и определение 20
21. Формулируем определение проблемы
Проблема
(The problem of)
Описание проблемы
Затрагивает
(Affects)
Заинтересованные лица
В результате чего
(The impact of which is)
Влияние проблемы
Успешное решение должно
(A successful solution would)
Ключевые выгоды решения
Лекция №6. «Анализ и определение 22
22. Пример – Технология Идентификации и печать
Лекция №6. «Анализ и определение 23
24. Формулируем определение проблемы
Проблема
(The problem of)
Печати сотрудниками не относящейся к рабочим
вопросам информации
Затрагивает
(Affects)
Руководство компании, руководителя ДИТ
В результате чего
(The impact of which is)
Расходуются ресурсы компании
Успешное решение должно
(A successful solution
would)
Обеспечить контроль над документами которые
сотрудники печатают на сетевых принтерах
Лекция №6. «Анализ и определение 25
26. Формулируем определение проблемы
Проблема
(The problem of)
Получения несанкционированного доступа к
распечаткам других сотрудников
Затрагивает
(Affects)
Руководителей владеющих конфиденциальной
информации
В результате чего
(The impact of which is)
Возможна утечка информации являющаяся
коммерческой тайной. Последствия вплоть до
увольнения сотрудника
Успешное решение должно
(A successful solution
would)
Санкционированный доступ к информации
отправленной на печать
Лекция №6. «Анализ и определение 27
28. Формулирование позиционирования продукта
Moore ‘91
Для (заказчик)
У которого (определение возможности или потребности )
(Название
продукта )
(категория продукта)
Который ( описание ключевых преимуществ
использования).
В отличие от (основная альтернатива)
Наш
продукт
(описание дифференциации)
Лекция №6. «Анализ и определение 29