Получить запись вебинара можно здесь: https://www.owox.com/c/1l8
Облачные технологии предоставляют бизнесу любого масштаба доступную, гибкую виртуальную среду для хранения и обработки информации.
«Облако» можно легко настроить соответственно потребностям бизнеса, а использовать облачную инфраструктуру удобнее и дешевле, чем содержать собственный дата-центр. Но, несмотря на все преимущества, доверить бизнес облачным технологиям спешат не все.
На совместном вебинаре от Google и OWOX BI мы расскажем, кому и для каких целей стоит использовать «облака» и в чем отличия Google Cloud Platform от других облачных сервисов.
На вебинаре вы узнаете:
➤Какие задачи проще решить с помощью облачных технологий, даже если у компании уже есть свой дата-центр;
➤В чем отличия Google Cloud Platform от других облачных сервисов;
➤Как обеспечивается безопасность и кто имеет доступ к данным в Google Cloud Platform;
➤Как применяют Google Cloud Platform крупные компании.
Вебинар будет полезен:
Аналитикам, маркетологам, специалистам по обработке и анализу данных, владельцам бизнеса и всем, кто хочет узнать больше о Google Cloud Platform.
New opensource geospatial software stack from NextGISMaxim Dubinin
NextGIS has been busy working on a new stack of geospatial software for the past few years and we're finally ready to present what we've accomplished. Our stack consists of 4 major components: web (NextGIS Web), mobile (NextGIS Mobile), desktop (NextGIS QGIS) and data management (NextGIS Manager). Three of those components are brand new, developed by NextGIS alone and were released just recently. For the fourth component, we participate in QGIS development since 2008 and use its codebase for our desktop component. The main focus of the stack is tight integration, ease of use and modularity. New stack features unique features, to name just the few: plugable renderers for NextGIS Web, multi-layer support for NextGIS Mobile, super-fast rendering and great formats support for NextGIS Manager and all-around integration with NextGIS QGIS. The presentation will provide an overview and will look at general architecture, use cases and plans for future development.
Получить запись вебинара можно здесь: https://www.owox.com/c/1l8
Облачные технологии предоставляют бизнесу любого масштаба доступную, гибкую виртуальную среду для хранения и обработки информации.
«Облако» можно легко настроить соответственно потребностям бизнеса, а использовать облачную инфраструктуру удобнее и дешевле, чем содержать собственный дата-центр. Но, несмотря на все преимущества, доверить бизнес облачным технологиям спешат не все.
На совместном вебинаре от Google и OWOX BI мы расскажем, кому и для каких целей стоит использовать «облака» и в чем отличия Google Cloud Platform от других облачных сервисов.
На вебинаре вы узнаете:
➤Какие задачи проще решить с помощью облачных технологий, даже если у компании уже есть свой дата-центр;
➤В чем отличия Google Cloud Platform от других облачных сервисов;
➤Как обеспечивается безопасность и кто имеет доступ к данным в Google Cloud Platform;
➤Как применяют Google Cloud Platform крупные компании.
Вебинар будет полезен:
Аналитикам, маркетологам, специалистам по обработке и анализу данных, владельцам бизнеса и всем, кто хочет узнать больше о Google Cloud Platform.
New opensource geospatial software stack from NextGISMaxim Dubinin
NextGIS has been busy working on a new stack of geospatial software for the past few years and we're finally ready to present what we've accomplished. Our stack consists of 4 major components: web (NextGIS Web), mobile (NextGIS Mobile), desktop (NextGIS QGIS) and data management (NextGIS Manager). Three of those components are brand new, developed by NextGIS alone and were released just recently. For the fourth component, we participate in QGIS development since 2008 and use its codebase for our desktop component. The main focus of the stack is tight integration, ease of use and modularity. New stack features unique features, to name just the few: plugable renderers for NextGIS Web, multi-layer support for NextGIS Mobile, super-fast rendering and great formats support for NextGIS Manager and all-around integration with NextGIS QGIS. The presentation will provide an overview and will look at general architecture, use cases and plans for future development.
Представление данных.
Окна.
Data View - содержимое текущего файла данных
Variable View – описание структуры файла данных
Шкалы измерения переменных (Type и Measure)
Кодирование данных (Values) и пропущенных данных (Missing values)
Вопросы для самопроверки. Маленькие хитрости
Визуализация данных на географических картах - 2016Gleb Zakhodiakin
Обновленная версия тренинга по визуализации данных на географических картах. Добавлен пример создания картограмм на основе собственных полигонов с границами географических областей
Визуализация данных. Аналитическая платформа Tableau.Gleb Zakhodiakin
Роль визуализации в анализе данных. Аналитическая платформа Tableau.
курс: Информационные технологии в менеджменте для факультета логистики НИУ ВШЭ, 2014 год
Промышленный подход к тюнингу PostgreSQL: эксперименты над базами данныхNikolay Samokhvalov
Shared_buffers = 25% – это много или мало? Или в самый раз? Как понять, подходит ли эта – довольно устаревшая – рекомендация в вашем конкретном случае?
Пришло время подойти к вопросу подбора параметров postgresql.conf "по-взрослому". Не с помощью слепых "автотюнеров" или устаревших советов из статей и блогов, а на основе:
строго выверенных экспериментов на БД, производимых автоматизированно, в больших количествах и в условиях, максимально приближенных к "боевым",
глубокого понимания особенностей работы СУБД и ОС.
Используя Nancy CLI (https://gitlab.com/postgres.ai/nancy), мы рассмотрим конкретный пример – пресловутые shared_buffers – в разных ситуациях, в разных проектах и попробуем разобраться, как же подобрать оптимальную настройку для нашей инфраструктуры, БД и нагрузки.
https://pgconf.ru/2019/242809
PostgreSQL + PostGIS + TimescaleDB is a ready-to-use symbiosis from a reliable RDBMS, a powerful set of geographical objects and calculations, and work with time-series data. This bundle perfectly solves the problem of storing telemetry, while leaving the whole PostgreSQL ecosystem in your hands.
Представление данных.
Окна.
Data View - содержимое текущего файла данных
Variable View – описание структуры файла данных
Шкалы измерения переменных (Type и Measure)
Кодирование данных (Values) и пропущенных данных (Missing values)
Вопросы для самопроверки. Маленькие хитрости
Визуализация данных на географических картах - 2016Gleb Zakhodiakin
Обновленная версия тренинга по визуализации данных на географических картах. Добавлен пример создания картограмм на основе собственных полигонов с границами географических областей
Визуализация данных. Аналитическая платформа Tableau.Gleb Zakhodiakin
Роль визуализации в анализе данных. Аналитическая платформа Tableau.
курс: Информационные технологии в менеджменте для факультета логистики НИУ ВШЭ, 2014 год
Промышленный подход к тюнингу PostgreSQL: эксперименты над базами данныхNikolay Samokhvalov
Shared_buffers = 25% – это много или мало? Или в самый раз? Как понять, подходит ли эта – довольно устаревшая – рекомендация в вашем конкретном случае?
Пришло время подойти к вопросу подбора параметров postgresql.conf "по-взрослому". Не с помощью слепых "автотюнеров" или устаревших советов из статей и блогов, а на основе:
строго выверенных экспериментов на БД, производимых автоматизированно, в больших количествах и в условиях, максимально приближенных к "боевым",
глубокого понимания особенностей работы СУБД и ОС.
Используя Nancy CLI (https://gitlab.com/postgres.ai/nancy), мы рассмотрим конкретный пример – пресловутые shared_buffers – в разных ситуациях, в разных проектах и попробуем разобраться, как же подобрать оптимальную настройку для нашей инфраструктуры, БД и нагрузки.
https://pgconf.ru/2019/242809
PostgreSQL + PostGIS + TimescaleDB is a ready-to-use symbiosis from a reliable RDBMS, a powerful set of geographical objects and calculations, and work with time-series data. This bundle perfectly solves the problem of storing telemetry, while leaving the whole PostgreSQL ecosystem in your hands.
Kleshnin A. PostGIS-open solution for spatial data-databaseAnton Biatov
PostGIS - open solution for storing and processing of spatial data in the databaseAlexander Kleshnin, Kharkiv, Intetics Co
Презентация с семинара "ГИС и заповедные территории - 2013" http://pzf.gis.kh.ua
Сага о кластере. Все что вы хотели знать про горизонтальное масштабирование в...Ontico
Популярность постгреса в мире и России растет, с каждым новым релизом появляется все новая и новая функциональность, постгрес становится реальной угрозой монополии Оракл, уже подвинул Монго на поле свободных NoSQL СУБД, однако мировое сообщество ждет решения для горизонтального масштабирования. Создание постгресового кластера является крайне трудной задачей, так как постгрес является базой данных, ориентированной на целостность данных, а используемый алгоритм обеспечения конкурентности транзакций ставит серьезные челленджи перед разработчиками алгоритмов распределенных транзакций.
Оказывается, уже целых пять групп работает над этой задачей, и мы расскажем про их подходы, трудности, в том числе, и политические. Отдельно остановимся на российском опыте и нашем вкладе в решение этой задачи.
Алексей Чернигин — Магия метапрограммирования на примере Boost.GeometryYandex
Разрабатывая своё API, мы стараемся скрывать сторонние используемые библиотеки в реализации, чтобы не усложнять жизнь пользователям дополнительными зависимостями. Для этого приходится писать различные обёртки над библиотечными структурами данных и алгоритмами, делать внутри них конвертацию между форматами, согласовывать интерфейсы, создавать библиотечные объекты на основе наших собственных и выполнять другие избыточные действия. Благодаря своей шаблонной архитектуре библиотека Boost.Geometry способна работать с нашими структурами данных так же эффективно, как и со своими собственными, сводя накладные расходы на адаптацию к минимуму. Я расскажу о техниках современного метапрограммирования, которые используются в Boost.Geometry и делают возможной интеграцию алгоритмов этой библиотеки c нашими собственными структурами данных.
Алгоритмы и структуры данных BigData для графов большой размерностиAlexey Zinoviev
Article "Algorithms and Data Structures Big Data for large-scale graphs" presented on School-conference on Mathematical Problems of Informatics http://omskconf2013.oscsbras.ru/index.html by Alexey Zinoviev
Применение фреймворка GStreamer в системе видеонаблюденияcorehard_by
Я хочу рассказать о фреймворке GStreamer, который предназначен для обработки аудио/видеоданных. А также для чего мы его использовали в одном из наших проектов.
Эксперименты с Postgres в Docker и облаках — оптимизация настроек и схемы ва...Nikolay Samokhvalov
Администрирование баз данных в будущем будет полностью автоматизировано. Это уже так для базовых операций DBA: поднятие инстансов, бэкапы, управление репликацией, failover — мы наблюдаем это по бурному развитию облачных «управляемых» СУБД (AWS RDS, Google Cloud SQL и десятков игроков поменьше), работе над k8s-оператором для Postgres и MySQL в ряде компаний, внедрению внутренних RDS-like DBaaS (database-as-a-service) решений внутри крупных организаций.
Но диагностика и оптимизация производительности баз данных сегодня всё ещё очень «ручные». Например, в Postgres: находим медленную группу запросов в pg_stat_statements, ищем конкретный пример (а то и «выдумываем» его на ходу), пробуем EXPLAIN ANALYZE сначала в dev/staging-окружении, где, как правило, данных не так много, а потом на prod'е... Подбираем индекс, убеждаемся, что он ускоряет (вроде бы) один SQL-запрос и — всё, отправляем в production. Метод «чик-чик и в production» должен остаться в прошлом! Как остались в прошлом развёртывание и настройка серверов и сервисов вручную.
Nancy CLI (https://github.com/postgres-ai/nancy) – открытый фреймворк для проведения экспериментов над базами данных PostgreSQL, позволяющий любому инженеру наладить системный подход к анализу и оптимизации производительности БД. Nancy поддерживает проведение экспериментов локально (на любом сервере) и удалённо на дешёвых высокопроизводительных спот-инстансах AWS EC2.
Без каких-либо специальных знаний, используя Nancy CLI, любой инженер может теперь:
- собрать подробную информацию о поведении «SQL-запросов с прода» на «клоне прода», но «не трогая прод» с целью выявления узких мест (на «проде» под нагрузкой включать обширную диагностику неразумно, а иногда и невозможно);
- проверить, как тот или иной индекс влияет на производительность SQL (в том числе, насколько он замедлит UPDATE'ы);
- подобрать оптимальные параметры настройки Postgres'а (пример: запустить в облаке проверку 100 вариантов default_statistics_target с подробным исследованием эффекта и анализом для каждой группы SQL-запросов);
- сравнить 2+ прогонов моделированной нагрузки на клоне реальной БД в различных условиях (разное оборудование, разные версии Postgres, разные настройки, разные наборы индексов).
В докладе мы также обсудим конкретные примеры внедрения метода автоматизации экспериментов над БД и Nancy CLI в ряд проектов различных компаний (БД до 2ТБ, hybrid workload, до 15k TPS) и трудности, которые пришлось преодолеть на пути:
1. Включение полного логирования запросов: когда это просто страх, а когда это действительно серьёзный стресс для сервера? Как быть, если диски «не тянут» полное логирование?
2. Вопросы безопасности: нужно ли давать доступ к экспериментальным узлам всем разработчикам или можно обойтись без этого? Обфускировать ли данные?
3. Как убедиться, что результаты эксперимента достоверны?
4. Как проводить эксперименты над терабайтной базой данных быстро?
5. Стоит ли включать Nancy в CI/CD-конвейер?
Последние новости постгреса с PGCon / О.Бартунов, А.Коротков, Ф.Сигаев (Postg...Ontico
Как быстро развивается сейчас PostgreSQL — общеизвестно. За несколько дней до РИТ++ заканчивается главный мировой форум разработчиков этой СУБД — конференция PGCon в Канаде. Большая команда разработчиков Postgres Professional принимает участие в этой конференции и готова рассказать все последние новости прямо с PGCon.
Параллельное исполнение запросов, новые стораджи, неутихающая тема Postgres vs key-value storage, распределенный Postgres, высокая доступность, многочисленные улучшения производительности, планы и интриги разработчиков — вот основные темы этой конференции.
Я остановлюсь подробнее на нашем вкладе в ожидаемый релиз 9.6 и планах на, возможно, релиз 10.0.
Руслан Гроховецкий "Как Python стал делать погоду в Яндексе"Yandex
2 июля 2011, Я.Субботник в Екатеринбурге
Руслан Гроховецкий "Как Python стал делать погоду в Яндексе"
О докладе:
Про Python и Django: зачем нужна красота и простота перфекционистам с дедлайнами, на примере Яндекс.Погоды.
Когда число сервисов, которые делаются в Яндексе, стало возрастать, дедлайны — поджимать, а от процесса разработки требовалось стать более гибким, возникла потребность в свежих решениях. В докладе на примере Яндекс.Погоды рассказывается, как в Яндексе делают сервисы с помощью языка Python и веб-фреймворка Django.
DevConf 2016
"Новые возможности MySQL 5.7", Дмитрий Ленев (Oracle)
MySQL 5.7 наиболее свежая стабильная ветка СУБД MySQL. Данный доклад
посвящен новым функциональным возможностям появившимся в этой версии.
В частности мы поговорим о:
- родной поддержке JSON данных и операций с ними
- генерируемых столбцах
- улучшениях в системе безопасности
- многочисленных измененениях в InnoDB
- изменениях в репликации, таких как поддержка multi-source репликации.
- многом другом
Кроме того будут освещены возможности связанные с новым X плагином, который
стал доступен с релизом версии 5.7.12 в апреле этого года.
Обсудим использование MySQL как Document Store, новый протокол и X DevApi
для коннекторов, новый клиент MySQL Shell.
Партицирование и миграции данных на примере PostgreSQL — Денис Иванов, 2ГИС2ГИС Технологии
- Автоматическое распределение данных по партициям, а также чтение, обновление и удаление данных без единой правки кода.
- Автоматическое обновление структур партиций (индексы, ограничения (constraints), триггеры, правила (rules) и т.д.).
- Удобные и гибкие миграции для больших команд с большим количеством данных, хранимых процедур, представлений, таблиц, типов, миграций, дельт и т.п. Как это всё организовать и поддерживать?
- Инструменты и утилиты, которые мы используем для вышеперечисленных целей.
Similar to Место Postgres/PostGIS в экосистеме открытого ПО (20)