Лекция и тренинг по базовым навыкам визуализации данных на географических картах в системе Tableau. Рассматриваются способы визуализации данных на картах, виды геоданных, геокодирование. Базовый тренинг посвящен созданию тематических карт в Tableau. Рассмотрены возможности геокодирования объектов на территории РФ, а также подключение с дополнительными источниками тайловых карт (Google, OpenStreet Map, Stamen, Apple...)
Материал разработан для курса "Информационные технологии в менеджменте" для факультета логистики НИУ ВШЭ, 2014 год
Визуализация данных на географических картах в Tableau. Следующий уровень.Gleb Zakhodiakin
Расширенный тренинг по созданию визуализаций на географических картах в Tableau. Рассматриваются визуализация линейных объектов, сетей распределения, использование собственных баз данных для геокодирования. Также рассматривается использование произвольных изображений в качестве подложки для визуализаций.
Материал разработан для курса Информационные технологии в менеджменте факультета логистики НИУ ВШЭ, 2014 год
Визуализация данных. Аналитическая платформа Tableau.Gleb Zakhodiakin
Роль визуализации в анализе данных. Аналитическая платформа Tableau.
курс: Информационные технологии в менеджменте для факультета логистики НИУ ВШЭ, 2014 год
Визуализация данных на географических картах - 2016Gleb Zakhodiakin
Обновленная версия тренинга по визуализации данных на географических картах. Добавлен пример создания картограмм на основе собственных полигонов с границами географических областей
Визуализация данных на географических картах в Tableau. Следующий уровень.Gleb Zakhodiakin
Расширенный тренинг по созданию визуализаций на географических картах в Tableau. Рассматриваются визуализация линейных объектов, сетей распределения, использование собственных баз данных для геокодирования. Также рассматривается использование произвольных изображений в качестве подложки для визуализаций.
Материал разработан для курса Информационные технологии в менеджменте факультета логистики НИУ ВШЭ, 2014 год
Визуализация данных. Аналитическая платформа Tableau.Gleb Zakhodiakin
Роль визуализации в анализе данных. Аналитическая платформа Tableau.
курс: Информационные технологии в менеджменте для факультета логистики НИУ ВШЭ, 2014 год
Визуализация данных на географических картах - 2016Gleb Zakhodiakin
Обновленная версия тренинга по визуализации данных на географических картах. Добавлен пример создания картограмм на основе собственных полигонов с границами географических областей
Вторая часть тренинга по решению задач оптимизации в пакете GLPK. На примере задачи о рационе рассматривается работа с параметрами, зависящими от двух множеств. Описаны способы определения данных для таких параметров. Разобрана структура отчета по устойчивости, формируемого GLPK. Описаны приемы форматированного вывода результатов решения задачи с помощью операторов for и printf.
Потоковая обработка событий клиентов и их отображение на интерактивной картеVoximplant
Александр Сербул (Битрикс24)
Потоковая обработка событий клиентов и их отображение на интерактивной карте
О спикере
Отвечает за контроль качества интеграции и внедрений компании «1С-Битрикс» и выступает в роли архитектора и разработчика проектов, связанных с высокой нагрузкой и отказоустойчивостью («Битрикс24»). Окончил кафедру «Автоматизация и информатика» Донского государственного технического университета. До 2002 года работал советником в администрации Президента России по Южному федеральному округу, разработал официальный портал Юго-Западного банка Сбербанка России. Увлекается философией Unix, гибкими методологиями разработки ПО, системным анализом и проектированием.
О докладе
Расскажем о тонкостях проектирования и реализации высоконагруженного лямбда-сервиса потоковой обработки хитов (событий) клиентов Битрикс24 и их отображения на «живой карте» на основе API Яндекс.Карты. Поделимся опытом приручения Amazon Kinesis, непростым выбором между Apache Kinesis/Kafka/Storm/Flume и кейсами эффективного использования Apache Spark Streaming. Отдельно остановимся на реализации серверной кластеризации/растеризации для быстрой работы Яндекс.Карт. Ссылка на проект:https://www.bitrix24.ru/online-domains-map
INTERCOM 2016, Москва
Сайт конференции: https://intercomconf.com/
К выступлению Жестковой Н.К. "Создание экскурсионного (туристического) маршрута на Google или Яндекс карте" (семинар-практикум «Развитие системы мобильного библиотечного обслуживания населения». Москва, октябрь 2014)
Тренинг GLPK, часть 1: Модель планирования производстваGleb Zakhodiakin
Первая часть тренинга по решению задач оптимизации в пакете GLPK. В презентации рассматриваются основные компоненты оптимизационной модели и их реализация на языке MathProg на примере задачи планирования производства. Рассматриваются автоматически формируемые отчеты по решению.
Третья часть тренинга по решению задач оптимизации в пакете GLPK. На примере решения транспортной задачи рассматриваются операции с множествами, доступные в MathProg
Алексей Романенко, SAS. Опыт построения системы оптимального распределения то...IBS
Подробности на www.ibs.ru
Опыт построения системы оптимального распределения товара со склада. Алексей Романенко, бизнес-консультант направления Аналитики SAS Россия/СНГ
Бизнес-завтрак IBS и SAS «Прогнозирование спроса и оптимизация товарных запасов в розничном бизнесе. Примеры из практики» (12.03.2015)
среднесрочное прогнозирование нефтяных цен в RAnton Belov
На основании широко известно статьи с хабра подготовил расчет среднесрочного и краткосрочного прогнозирования цен на нефть марки Брент. Нейронные сети откровенно не получились, но краткосрочное прогнозирование экспоненциальным сглаживанием кажется вполне приемлемым.
Вторая часть тренинга по решению задач оптимизации в пакете GLPK. На примере задачи о рационе рассматривается работа с параметрами, зависящими от двух множеств. Описаны способы определения данных для таких параметров. Разобрана структура отчета по устойчивости, формируемого GLPK. Описаны приемы форматированного вывода результатов решения задачи с помощью операторов for и printf.
Потоковая обработка событий клиентов и их отображение на интерактивной картеVoximplant
Александр Сербул (Битрикс24)
Потоковая обработка событий клиентов и их отображение на интерактивной карте
О спикере
Отвечает за контроль качества интеграции и внедрений компании «1С-Битрикс» и выступает в роли архитектора и разработчика проектов, связанных с высокой нагрузкой и отказоустойчивостью («Битрикс24»). Окончил кафедру «Автоматизация и информатика» Донского государственного технического университета. До 2002 года работал советником в администрации Президента России по Южному федеральному округу, разработал официальный портал Юго-Западного банка Сбербанка России. Увлекается философией Unix, гибкими методологиями разработки ПО, системным анализом и проектированием.
О докладе
Расскажем о тонкостях проектирования и реализации высоконагруженного лямбда-сервиса потоковой обработки хитов (событий) клиентов Битрикс24 и их отображения на «живой карте» на основе API Яндекс.Карты. Поделимся опытом приручения Amazon Kinesis, непростым выбором между Apache Kinesis/Kafka/Storm/Flume и кейсами эффективного использования Apache Spark Streaming. Отдельно остановимся на реализации серверной кластеризации/растеризации для быстрой работы Яндекс.Карт. Ссылка на проект:https://www.bitrix24.ru/online-domains-map
INTERCOM 2016, Москва
Сайт конференции: https://intercomconf.com/
К выступлению Жестковой Н.К. "Создание экскурсионного (туристического) маршрута на Google или Яндекс карте" (семинар-практикум «Развитие системы мобильного библиотечного обслуживания населения». Москва, октябрь 2014)
Тренинг GLPK, часть 1: Модель планирования производстваGleb Zakhodiakin
Первая часть тренинга по решению задач оптимизации в пакете GLPK. В презентации рассматриваются основные компоненты оптимизационной модели и их реализация на языке MathProg на примере задачи планирования производства. Рассматриваются автоматически формируемые отчеты по решению.
Третья часть тренинга по решению задач оптимизации в пакете GLPK. На примере решения транспортной задачи рассматриваются операции с множествами, доступные в MathProg
Алексей Романенко, SAS. Опыт построения системы оптимального распределения то...IBS
Подробности на www.ibs.ru
Опыт построения системы оптимального распределения товара со склада. Алексей Романенко, бизнес-консультант направления Аналитики SAS Россия/СНГ
Бизнес-завтрак IBS и SAS «Прогнозирование спроса и оптимизация товарных запасов в розничном бизнесе. Примеры из практики» (12.03.2015)
среднесрочное прогнозирование нефтяных цен в RAnton Belov
На основании широко известно статьи с хабра подготовил расчет среднесрочного и краткосрочного прогнозирования цен на нефть марки Брент. Нейронные сети откровенно не получились, но краткосрочное прогнозирование экспоненциальным сглаживанием кажется вполне приемлемым.
Архитектура портала услуг Росреестра и возможности использования картографиче...Vitaly Zagorovskiy
Презентация на коференции 11-й научно-практический семинар «Использование ГИС-технологий Esri в нефтегазовой отрасли» 24 – 25 мая 2012 года в городе Тюмень
2. План занятия
• Способы визуализации данных на картах
• Виды геоданных
• Геокодирование
• Построение тематических карт в Tableau
– Картограммы
– Карты со значками
– Картодиаграммы
• Расширение возможностей Tableau
– Геокодирование объектов на территории РФ
– Подключение дополнительных источников карт
2
3. Файлы данных
• Файлы данных для выполнения тренинга можно загрузить по
ссылке: https://yadi.sk/d/aDo7AnGUdVXvk
3
4. Тематическая карта
• Визуализация данных на географической карте повышает их наглядность
• Тематическая карта - карта, отражающая какой-нибудь один сюжет (тему,
объект, явление, отрасль) или сочетание сюжетов
4
5. Визуализация с помощью значков
• Изображение точек интересов (POI, points of interest) значками – наиболее
простой способ визуализации. Применим для данных, которые привязаны к
некоторой точке, либо для которых не важна точность отображения области
5
6. Картодиаграммы
• Картодиаграммы – это сочетание диаграмм с географической картой.
Применимы, если можно пренебречь размером области, для которой
отображаются показатели
• Популярные способы изображения:
– с помощью символов, размер которых пропорционален показываемой величине
(proportional symbol map)
– с помощью круговых диаграмм (pie chart map)
6
7. Картограммы
• Картограмма (choropleth) – карта, на которой цветом, насыщенностью или
штриховкой показывается интенсивность какого-либо показателя для различных
областей
• Областями обычно являются объекты административно-территориального
деления (страны, районы, города)
7
12. Картографическая проекция
• Картографическая проекция – математически определенный способ отображения
поверхности Земли на плоскость
• В любой проекции существуют искажения нескольких видов: длин, углов, площадей, форм
• На мелкомасштабных картах, используемых для визуализации, искажения особенно
заметны, поэтому в зависимости от задачи стараются выбрать проекцию с нужными
свойствами
12
Проекция Меркатора
13. Тайлы
• Карты, используемые как подложка для визуализаций, хранятся в растровом
формате
• Для ускорения загрузки изображение карты разбивается на отдельные элементы
– тайлы (tiles), которые загружаются по необходимости
• Для каждого масштаба карты (zoom level) используется свой набор тайлов
• Картографические сервисы могут предлагать разные наборы тайлов, отражающие
тематику карты
13
14. Геокодирование
• Геокодирование (geocoding) – определение географических
координат для объектов (POI, адреса, почтовые индексы)
• Для геокодирования используются базы данных
географических объектов (локальные или веб-службы)
14
15. Геокодирование в Tableau
• Полям набора данных можно назначить географическую роль (Geographic Role) –
например: широта, долгота, страна, город, почтовый индекс
• Значения полей, имеющих географическую роль, автоматически геокодируются с
использованием встроенной базы данных
• При добавлении на визуализацию полей с географическими ролями
автоматически выбирается тип визуализации - карта
15
16. Повторяющиеся названия
• Названия городов могут повторяться, поэтому необходимо
уточнять, к какому именно региону относится название
16
17. Уточнение названий
• Для уточнения принадлежности географических названий необходимо добавить
на визуализацию дополнительные поля, имеющие географическую роль
(например, страну, регион…)
17
18. Иерархия географических ролей
• В Tableau встроены несколько иерархий географических
ролей:
– Country (Name)
– Country (Name), State/Province
– Country (Name), State/Province, City
– Country (Name), State/Province, County
– Country (Name), ZIP Code/Postcode
– Country (Name), Area Code
• Можно дополнять и расширять существующие иерархии,
либо добавлять собственные
• Для объектов, имеющих площадь (страна, штат/регион), в
базе данных Tableau помимо точечных координат хранятся
также и полигоны
18
20. Файл данных (newlab)
• Создайте новую рабочую книгу Tableau
• Создайте новое подключение к файлу данных Access newlab.mdb
• Добавьте подключение к таблице ВсеЗаказы (эта таблица формируется на основе заранее
созданного в Access запроса)
• Для ускорения обработки, а также обеспечения возможности использования расширенных
возможностей Tableau для агрегирования данных, выберите режим подключения с
извлечением данных (Extract)
• Перейдите к рабочему листу (Go to Worksheet). Программа предложит сохранить
извлеченный набор данных – выберите тот же каталог, в котором находятся файл данных и
рабочая книга
20
21. Назначение географических ролей
• Tableau может автоматически определять географическую роль поля на основе
его названия. Однако это работает только если название поля приводится на
английском языке (City, Country, …)
• В остальных случаях роль нужно назначить вручную
с помощью контекстного меню поля
• Выберите географическую роль Country/Region
для измерения СтранаКлиента
• Выберите роль City для измерения ГородКлиента
21
22. Картограмма оборота по странам
• Двойным щелчком по измерению СтранаКлиента добавьте его на визуализацию
• Поле СтранаКлиента автоматически добавилось в область деталей, а полученные
в результате геокодирования координаты – в область строк и столбцов
• Переключите тип графических элементов (Marks) с Automatic на Filled Map
• Добавьте факт Выручка в область цвета (Color)
• Переименуйте рабочий лист: “Картограмма оборота по странам”
22
23. Картодиаграмма оборота по городам
• Создайте новый лист: “Картодиаграмма оборота по городам”
• Двойным щелчком добавьте на визуализацию сначала поле СтранаКлиента, а затем – поле ГородКлиента
• Несмотря на уточнение, 17 городов не удалось геокодировать
• Щелкните по надписи “17 unknows” в нижнем правом углу и выберите: “Edit Locations”
• В столбце Matching Location для не геокодированных городов выводится: Ambiguous (несколько
вариантов) или Unrecognized (значение не найдено в базе)
• Для дублирующихся названий требуется уточнить местоположение, указав дополнительные поля из
географической иерархии (в данном случае – штат). Но такие поля в этом наборе данных отсутствуют.
Также можно ввести координаты непосредственно
• Для нераспознанных названий можно выбрать подходящее название из списка в поле Matching Location.
Для ускорения поиска, можно набирать начало названия в поле Matching Location
23
24. Картодиаграмма оборота по городам
• Добавьте факт Выручка в область размера (Size)
• Для факта КодЗаказа выберите в контекстном меню агрегирующую функцию по умолчанию – Count
Distinct (число уникальных значений). Мы хотим посчитать, сколько заказов сделал каждый клиент, а в
наборе данных содержатся строки заказов. Поэтому коды заказов дублируются и нужно учитывать только
уникальные значения
• Добавьте факт КодЗаказа в область цвета (Color)
• Карту можно двигать с нажатой клавишей Shift, и масштабировать по Ctrl+колесо мыши, либо кнопками
управления. Вернуться к исходному положению можно нажав на кнопку с булавкой в окне карты
24
25. Картодиаграмма оборота по городам
• Создайте копию рабочего листа с оборотом по городам (команда Duplicate Sheet в
контекстном меню ярлыка
рабочего листа) и назовите
ее: Оборот по категориям
и городам
• Измените тип графических
элементов (Marks) на Pie
• В области цвета (Color)
замените поле на Категория
• Поместите поле Выручка
(из окна данных) в область
доли сектора (Angle)
• Увеличьте размер
графических элементов
• Выберите на карте масштаб,
удобный для просмотра
продаж в Европе
25
26. Совмещение картограммы и картодиаграммы
• Сделайте копию листа, который мы только что закончили, и назовите ее Совмещенная картограмма
• Продублируйте
(Ctrl-перетаскивание) поле
Latitude (generated)
в области строк (Rows)
Примечание: нужно
использовать именно активное
поле Latitude (generated)
в области Rows, а не
перетаскивать его из окна
данных еще раз
• В окне визуализации
должно появиться две
карты, расположенных
друг под другом
• Обратите внимание, что
на панели графических
элементов (Marks) теперь
стало три раздела – All
(все панели) и еще два
раздела – для верхней
и нижней панели
• Щелкните по заголовку
раздела для первой панели
чтобы развернуть его
26
27. Совмещение картограммы и картодиаграммы
• Уберите поле ГородКлиента
из области деталей (Detail)
• Измените тип графического
элемента на Filled Map
• Поместите поле КодЗаказа
в область цвета (Color)
• После этого выберите
в контекстном меню
второго поля с широтой
в области строк (Rows)
пункт: Dual Axis
• Результат показан
на следующем слайде
27
30. Встроенная база данных для геокодирования
• Встроенная база для геокодирования в Tableau содержит данные о российских
названиях, однако все они указаны в транслитерации
• Это означает, что при визуализации геоданных на территории РФ, требуется,
чтобы в наборе данных были указаны именно эти варианты названий
• Таблицы геокодирования, фрагменты которых приведены выше, можно
соединять с другими наборами данных, если задать соответствие названий на
русском языке и транслите, либо соотвествие кодов
• Есть и другие способы решения проблемы геокодирования, которые будут
рассмотрены позднее
30
Фрагмент списка Российских регионов и городов - russian_names.xlsx
31. Файл данных
• Создайте новую рабочую книгу Tableau: russian_names.twbx
• Создайте подключение к файлу Excel: russian_names.xlsx (лист Cities)
• Задайте для поля Name географическую роль: City, а для поля Region – роль State/Province
• Перейдите к рабочему листу (Go to Worksheet)
31
32. Расположение городов
• Постройте карту расположения известных Tableau российских городов, для этого:
– добавьте поле Region в детали (Detail), а поле Name – в область метки (Label)
– измените цвет маркера на красный и установите прозрачность (Transparency) 50%
– уменьшите размер маркера
• В правом нижнем углу выводится предупреждение о ненайденных объектах,
постарайтесь решить (уменьшить) эту проблему
32
33. Совмещенная картограмма
• Постройте на новом листе совмещенную картограмму: маркерами покажите расположение
городов, а заливка региона должна отражать число уникальных кодов городов в этом
регионе
• Чтобы посчитать число уникальных кодов, сделайте поле ID фактом и измените
агрегирующую функцию на Count Distinct
33
35. Файл данных
• Откройте в Excel файл данных hse_campus.xlsx
• Этот файл содержит список адресов общежитий, учебных и административных зданий, принадлежащих
ВШЭ (с сайта http://www.hse.ru/buildinghse)
• Tableau не содержит базы данных для геокодирования отдельных адресов, поэтому нам придется
воспользоваться услугами стороннего ресурса
35
36. Сервис пакетного геокодирования
• Откройте в браузере страницу: http://www.findlatitudeandlongitude.com/batch-geocode/
• Скопируйте содержимое столбца Address (без заголовка) из Excel и вставьте этот список
адресов в форму Input
• На панели Batch Geocode Output Fields установите флажок address out, чтобы выводился
адрес, распознанный службой
геокодирования. Это не обязательно,
но поможет проверить, правильно
ли обработан адрес
• Обратите внимание, что разделители
элементов адреса – запятые,
а для формата координат выбраны
градусы широты и долготы
• Нажмите на кнопку geocode и
подождите, пока завершится процесс
Должно обработаться 49 адресов
36
37. Добавление координат
• Сохраните вывод (Output) в текстовый файл (через блокнот) и импортируйте его в Excel
(команда Из Текста в разделе Данные на ленте). Желательно при импорте настроить формат
десятичных разделителей, указав точку
• Добавьте координаты в файл hse_campus.xlsx
• Если вы не меняли настройки десятичного разделителя при импорте, то все координаты
импортировались как текст. В этом случае выделите столбцы с координатами и выполните
массовую замену точек на запятые, иначе координаты не будут распознаны Tableau как
числа
• Сохраните файл как hse_campus_geocoded.xlsx
37
38. Добавление источников карт
• Распакуйте содержимое архива mapsources.zip в папку Мои
документыMy Tableau RepositoryMapsources
• В этом архиве содержатся описания дополнительных источников карт для
подложки
38
39. Визуализация размещения зданий университета
• Создайте новую книгу Tableau – hse_campus.twbx
• Перетащите файл hse_campus_geocoded.xlsx в окно Tableau
• Переименуйте лист в hse_buildings
• Постройте визуализацию размещения зданий Вышки (цвет обозначает тип здания)
• В меню Map>Background Maps выберите Google Satellite
39