Vitaly Vlasov. Open Data Workshop (OpenRefine and Google Fusion). Urban Data Hackathon Bishkek 2016

•

0 likes•200 views

Detailed instruction (screen by screen) about using ope refine for data investigating, cleaning, processing. How to visualize data in Google Fusion. How to map data without latitude and longitude (just with address). Geocoding in Google Fusion. Heat maps. Embed in web sites.

Data & Analytics

OPEN DATA WORKSHOP
Обработка в Open Reﬁne и визуализация в Google Fusion
для активистов и журналистов
Виталий Власов
Urban Data Hackathon, Bishkek, 2016

ПРОБЛЕМЫ ПРИ РАБОТЕ С
ДАННЫМИ
• Не в машиночитаемом формате (html, doc, pdf)
• «Грязные» данные: не нормализированные данные (одни и те же данные
записаны в разной форме) и пр.
• Отсутствие геокоординат (или разные системы) в датасетах с адресами
• Отсутствие технической поддержки
• Несвоевременное обновление данных
• Недостаточный уровень детализации данных
• Отсутствие актуальных наборов данных
• Использование латиницы вместо кириллицы

ФУНКЦИИ OPEN REFINE
- Преобразование данных к нужному формату
- Предварительная обработка. Нахождение ошибок и опечаток
- Получение представления о массиве данных
Установка:
1. Скачать OpenReﬁne: http://openreﬁne.org/
2. Запустить установщик
3. Открыть браузер и перейти по ссылке: http://127.0.0.1:3333
http://data.gov.spb.ru/datasets/69/

Настройка импорта файла. Выбор типа файла

Изменение имени проекта
Настройка кодировки

количество
строк в файле
количество
отображаемых
строк
название
столбца
Основные элементы страницы

Преобразование в числовой формат
Удаление пробелов: value.replace(" ", "")

Использование фасетов для изучения встречающихся значений
Текстовые фасеты

Использование фасетов для изучения встречающихся значений
Временные фасеты

Использование фасетов для изучения встречающихся значений
Числовые фасеты

• https://www.google.com/fusiontables/data?
dsrcid=implicit&pli=1
• Интерактивные диаграммы
• Визуализация данных на карте
• Встраивание на сайте (iframe)

http://data.un.org/Data.aspx?d=UNAIDS&f=inID%3a7

Виталий Власов
inxaoc@gmail.com
Open City Foundation
@OpenCityRu

Viewers also liked

Lyft meeting rev 1.28Erik Koral

Vývojářské Nástroje a TechnikyMartin Maly

La experiencia de las concesiones hospitalarias y las posibilidades de partne...Ignacio Riesgo

Become a citizen data scientistMohamed Jendoubi, M. Sc.

Ibtgroup & Eurofinsa.Catalogo de proyectos de construcción y equipamiento sec...Eurofinsa

El Pensamiento Complejo Eduardo Lopez Sandoval

Wiki conference - 2016Irina Radchenko

Lesson intro. Introduction to Open DataIrina Radchenko

Viewers also liked (8)

Lyft meeting rev 1.28

Vývojářské Nástroje a Techniky

La experiencia de las concesiones hospitalarias y las posibilidades de partne...

Become a citizen data scientist

Ibtgroup & Eurofinsa.Catalogo de proyectos de construcción y equipamiento sec...

El Pensamiento Complejo

Wiki conference - 2016

Lesson intro. Introduction to Open Data

Similar to Vitaly Vlasov. Open Data Workshop (OpenRefine and Google Fusion). Urban Data Hackathon Bishkek 2016

SharePoint 2010 in four easy steps (SharePoint Conference Russia)Ilia Sotnikov

Практика миграции реляционных баз данных в экосистему HadoopYury Petrov

Загрузка больших объемов данных для бизнес-аналитикиBadoo Development

DBD lection 4. Big Data, NoSQL. In Russian.mikhaelsmirnov

1C-Bitrix Corporate Intranet PortalIrina Zimitskaya

DE-Group.Microsoft SharePointDE-Group

Microsoft BI User Group: Работаем с 1С эффективноEugenia Korshunova (Pavlova)

Microsoft BI User Group: Работаем с 1С эффективноMarina Payvina

BigIntegrate - разрушение мифов по поводу ETL на HadoopAndrey Orlov

Лекция 2. Основы HadoopTechnopark

OSPconf Big Data Forum 2014 Ilya GershanovIlya Gershanov

SharePoint IntroductionVitaly Baum

"Теория и практика открытых данных" (Пермь) Часть 2: Порталы и использование ...Vitaly Vlasov

Data Pools - средство управления тестовыми даннымиSQALab

Евгений АраловSEO.UA

Обработка данных для построения цифровой истории в журналистике данныхIrina Radchenko

Слоны в облакахPavel Mezentsev

Презентация «1С:Документооборот. Обзор возможностей для конкретных областей п...Iuliia Usatiuk

Verification based on open data arrays [RUS]Mikhail Vink

Power BI для аналитики данных из 1С: практический опытMarina Payvina

Similar to Vitaly Vlasov. Open Data Workshop (OpenRefine and Google Fusion). Urban Data Hackathon Bishkek 2016 (20)

SharePoint 2010 in four easy steps (SharePoint Conference Russia)

Практика миграции реляционных баз данных в экосистему Hadoop

Загрузка больших объемов данных для бизнес-аналитики

DBD lection 4. Big Data, NoSQL. In Russian.

1C-Bitrix Corporate Intranet Portal

DE-Group.Microsoft SharePoint

Microsoft BI User Group: Работаем с 1С эффективно

BigIntegrate - разрушение мифов по поводу ETL на Hadoop

Лекция 2. Основы Hadoop

OSPconf Big Data Forum 2014 Ilya Gershanov

SharePoint Introduction

"Теория и практика открытых данных" (Пермь) Часть 2: Порталы и использование ...

Data Pools - средство управления тестовыми данными

Евгений Аралов

Обработка данных для построения цифровой истории в журналистике данных

Слоны в облаках

Презентация «1С:Документооборот. Обзор возможностей для конкретных областей п...

Verification based on open data arrays [RUS]

Power BI для аналитики данных из 1С: практический опыт

More from Vitaly Vlasov

Results of Open Transport Data Readiness Assessment in Kyrgyz Republic by Vit...Vitaly Vlasov

Open Data в DataLab (23-25 января 2017). Напутстсвие джежаямVitaly Vlasov

Как делать презентацию?Vitaly Vlasov

Open Transport data in Russia - Civic hacking, data, examplesVitaly Vlasov

Intorduction for Open Data Hackathon 2014: Hack for PiterVitaly Vlasov

Open Data in Russia (Open budget, Open transport, etc) for WeGO WebinarVitaly Vlasov

Startup Class - Business Model CanvasVitaly Vlasov

Startup Class - Введение и использование SCRUM для командной работыVitaly Vlasov

Презентация проекта "Liveable City"Vitaly Vlasov

Как использовать открытые данные для общественного контроля: инструменты и ре...Vitaly Vlasov

Мобильные приложения в экосистеме открытых данных (RIW 2013)Vitaly Vlasov

Презентация портала открытых данных Ульяновской ОбластиVitaly Vlasov

Евгений Емельянов "Портал открытых данных правительства Москвы"Vitaly Vlasov

"Теория и практика открытых данных" (Пермь) Часть 1: ВведениеVitaly Vlasov

Презентация о презентациях. Урок 101-ыйVitaly Vlasov

Case for open data in transitVitaly Vlasov

Local open government directive [DRAFT] Перевод на русский языкVitaly Vlasov

Open Data проекты в СШАVitaly Vlasov

Social media marketing: POE media, facebook, KPIVitaly Vlasov

Social media marketing в Facebook и TwitterVitaly Vlasov

More from Vitaly Vlasov (20)

Results of Open Transport Data Readiness Assessment in Kyrgyz Republic by Vit...

Open Data в DataLab (23-25 января 2017). Напутстсвие джежаям

Как делать презентацию?

Open Transport data in Russia - Civic hacking, data, examples

Intorduction for Open Data Hackathon 2014: Hack for Piter

Open Data in Russia (Open budget, Open transport, etc) for WeGO Webinar

Startup Class - Business Model Canvas

Startup Class - Введение и использование SCRUM для командной работы

Презентация проекта "Liveable City"

Как использовать открытые данные для общественного контроля: инструменты и ре...

Мобильные приложения в экосистеме открытых данных (RIW 2013)

Презентация портала открытых данных Ульяновской Области

Евгений Емельянов "Портал открытых данных правительства Москвы"

"Теория и практика открытых данных" (Пермь) Часть 1: Введение

Презентация о презентациях. Урок 101-ый

Case for open data in transit

Local open government directive [DRAFT] Перевод на русский язык

Open Data проекты в США

Social media marketing: POE media, facebook, KPI

Social media marketing в Facebook и Twitter

Vitaly Vlasov. Open Data Workshop (OpenRefine and Google Fusion). Urban Data Hackathon Bishkek 2016

1. OPEN DATA WORKSHOP Обработка в Open Reﬁne и визуализация в Google Fusion для активистов и журналистов Виталий Власов Urban Data Hackathon, Bishkek, 2016

2. ПРОБЛЕМЫ ПРИ РАБОТЕ С ДАННЫМИ • Не в машиночитаемом формате (html, doc, pdf) • «Грязные» данные: не нормализированные данные (одни и те же данные записаны в разной форме) и пр. • Отсутствие геокоординат (или разные системы) в датасетах с адресами • Отсутствие технической поддержки • Несвоевременное обновление данных • Недостаточный уровень детализации данных • Отсутствие актуальных наборов данных • Использование латиницы вместо кириллицы

3. ФУНКЦИИ OPEN REFINE - Преобразование данных к нужному формату - Предварительная обработка. Нахождение ошибок и опечаток - Получение представления о массиве данных Установка: 1. Скачать OpenReﬁne: http://openreﬁne.org/ 2. Запустить установщик 3. Открыть браузер и перейти по ссылке: http://127.0.0.1:3333 http://data.gov.spb.ru/datasets/69/

4. ЗАГРУЗКА МАССИВА ДАННЫХ

5. Создаем новый проект

6. Загрузка исходного массива

7. Настройка импорта файла. Выбор типа файла

8. Изменение имени проекта Настройка кодировки

9. Настройка кодировки

10. Настройка дополнительных параметров

11. ПРЕДВАРИТЕЛЬНАЯ ОЧИСТКА ДАННЫХ

12. количество строк в файле количество отображаемых строк название столбца Основные элементы страницы

13. Изменение наименований столбцов

14. Удаление столбцов

15. Преобразование в числовой формат Удаление пробелов: value.replace(" ", "")